Verbotene KI-Praktiken: die roten Linien des AI Act (Art. 5)

Kurz beantwortet: Der EU AI Act untersagt bestimmte KI-Praktiken vollständig, darunter manipulative Systeme, das Ausnutzen von Schutzbedürftigkeit, Social Scoring, die Emotionserkennung am Arbeitsplatz und die biometrische Kategorisierung nach sensiblen Merkmalen. Diese Verbote gelten bereits seit dem 2. Februar 2025 und sind mit dem höchsten Bußgeldrahmen des AI Act bewehrt. Ab dem 2. Dezember 2026 kommen zwei Verbote für bestimmte generative KI-Systeme hinzu. Auch normale Softwareunternehmen sollten neue KI-Features früh gegen diese roten Linien prüfen.

Der EU AI Act arbeitet risikobasiert, und ganz oben steht das schlichte Verbot. Bestimmte KI-Praktiken sind unabhängig von jeder Einzelfallprüfung untersagt. Diese Verbote gelten bereits seit dem 2. Februar 2025, und ihre Verletzung ist mit den höchsten Bußgeldern des AI Act bewehrt.

Was verbietet Art. 5 KI-VO konkret?

Art. 5 KI-VO listet die verbotenen Praktiken. Für Unternehmen besonders relevant sind:

• Manipulative Systeme: KI, die mit unterschwelligen oder täuschenden Techniken das Verhalten von Menschen wesentlich verändert und ihnen dadurch erheblichen Schaden zufügt (Art. 5 Abs. 1 lit. a KI-VO), die harte Grenze für „Dark Patterns“ auf KI-Basis.
• Ausnutzen von Schutzbedürftigkeit: KI, die Alter, Behinderung oder eine soziale oder wirtschaftliche Notlage ausnutzt (lit. b).
• Social Scoring: die Bewertung von Personen nach ihrem sozialen Verhalten mit benachteiligender Wirkung (lit. c).
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer aus medizinischen oder Sicherheitsgründen (lit. f). Wichtig für HR- und Kollaborationstools.
• Biometrische Kategorisierung nach sensiblen Merkmalen wie Weltanschauung, Gewerkschaftszugehörigkeit oder sexueller Orientierung (lit. g).

Hinzu kommen, vor allem im behördlichen Kontext, das ungezielte Auslesen von Gesichtsbildern zum Aufbau von Erkennungsdatenbanken, bestimmte Formen des Predictive Policing und die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum.

Welche Verbote kommen ab dem 2. Dezember 2026 hinzu?

Der KI-Omnibus hat Art. 5 Abs. 1 KI-VO um zwei Verbote ergänzt, die ab dem 2. Dezember 2026 gelten (Art. 113 Abs. 3 lit. a KI-VO). Untersagt sind KI-Systeme, die realistische Inhalte erzeugen oder manipulieren, in denen intime Körperteile oder eindeutig sexuelle Handlungen einer bestimmbaren Person ohne deren ausdrückliche Zustimmung dargestellt werden (lit. ba), sowie Systeme, die Darstellungen sexuellen Kindesmissbrauchs erzeugen oder manipulieren (lit. bb). Das Inverkehrbringen ist nach Art. 5 Abs. 1a KI-VO verboten, wenn diese Erzeugung die Zweckbestimmung des Systems ist oder ein vorhersehbares, reproduzierbares Ergebnis, ohne dass wirksame technische Schutzvorkehrungen bestehen. Wer generative Bild-, Video- oder Tonfunktionen anbietet, sollte diese Schutzvorkehrungen bis dahin prüfen und dokumentieren.

Betrifft das auch normale Softwareunternehmen?

Viele halten die Verbote für ein Thema von Überwachungsstaaten und Big Tech. Doch die Grenzen zu manipulativem Design, zur Emotionsauswertung in Mitarbeiter-Tools oder zur biometrischen Kategorisierung sind schneller berührt, als man denkt, gerade wenn KI-Features experimentierfreudig eingebaut werden. Zwei generische Praxisbeispiele: Ein KI-Onboarding, das gezielt Unsicherheit oder Zeitdruck erzeugt, um eine Vertragsverlängerung durchzusetzen, kann bereits als manipulative Praktik nach lit. a gelten. Ein internes Tool, das die Stimmung von Mitarbeitern in Video-Calls auswertet, berührt regelmäßig das Verbot der Emotionserkennung am Arbeitsplatz nach lit. f. Wer ein KI-Feature plant, sollte es früh gegen diese roten Linien prüfen, nicht erst kurz vor dem Launch.

Was kostet ein Verstoß gegen das Verbot?

Verbotene Praktiken sind mit dem höchsten Bußgeldrahmen des AI Act belegt: bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist; für KMU einschließlich Start-ups gilt nach Art. 99 Abs. 6 KI-VO der niedrigere Betrag (vertiefend zur Bußgeld-Staffelung: Sanktionen und Bußgelder der KI-VO). Anders als bei den Hochrisiko-Pflichten gelten die ursprünglichen Verbote bereits, die neuen ab dem 2. Dezember 2026 (den vollständigen Fristen-Überblick zeigt die Fristen-Referenz zum EU AI Act). Die gute Nachricht ist, dass sich die roten Linien für die allermeisten Produkte mit etwas Aufmerksamkeit klar einhalten lassen.

Wer regelmäßig neue KI-Features plant, prüft diese roten Linien nicht nur einmalig, sondern als festen Bestandteil einer laufenden KI-Compliance-Begleitung.

Wie sich die Verbote zu den abgestuften Pflichten für erlaubte Systeme verhalten, ordnet der Leitfaden zum EU AI Act ein.

Wie das in der Praxis aussieht

Ein Beispiel, wie es in dieser Form häufig vorkommt: Ein Anbieter von Kollaborationssoftware mit rund 80 Mitarbeitenden plant zwei KI-Funktionen. Die eine soll Teamleitungen nach Videocalls anzeigen, wie die Stimmung im Team war. Die andere soll Kunden, die kündigen wollen, im Kündigungsdialog mit wechselnden Hinweisen auf ablaufende Rabatte und drohenden Datenverlust zum Bleiben bewegen. Die Produktleitung möchte beides im nächsten Quartal ausliefern, die Geschäftsführung will vorher wissen, ob eine rote Linie berührt ist. Geprüft wird je Funktion, was sie auswertet, auf wen sie wirkt und mit welchen Mitteln.

Danach trennen sich die Wege. Die Stimmungsauswertung von Mitarbeitenden am Arbeitsplatz berührt regelmäßig das Verbot der Emotionserkennung; sie wird in dieser Form nicht entwickelt. Beim Kündigungsdialog kommt es auf die Gestaltung an: Erzeugt er gezielt Zeitdruck oder Unsicherheit, um die Verlängerung durchzusetzen, rückt er in die Nähe einer manipulativen Praktik und wird neu gestaltet, mit sachlichen Informationen und einer gut erreichbaren Kündigung. Am Ende stehen ein Prüfvermerk je Funktion und ein fester Prüfschritt, bevor neue KI-Funktionen in die Entwicklung gehen. Wo KI in Ihrem Unternehmen bereits läuft, erfasst das Rechtliche Audit.

Häufige Fragen

Welche KI-Praktiken sind nach dem AI Act verboten?

Art. 5 KI-VO untersagt unter anderem manipulative Systeme, die das Verhalten von Menschen mit unterschwelligen oder täuschenden Techniken wesentlich verändern, das Ausnutzen von Schutzbedürftigkeit, Social Scoring, die Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen sowie die biometrische Kategorisierung nach sensiblen Merkmalen. Hinzu kommen vor allem im behördlichen Kontext das ungezielte Auslesen von Gesichtsbildern und bestimmte Formen der biometrischen Echtzeit-Fernidentifizierung.

Seit wann gelten die Verbote?

Die ursprünglichen Verbote des Art. 5 KI-VO gelten bereits seit dem 2. Februar 2025 und sind schon jetzt uneingeschränkt einzuhalten. Die durch den KI-Omnibus eingefügten Verbote für nicht einvernehmliche intime Deepfakes und Darstellungen sexuellen Kindesmissbrauchs (Art. 5 Abs. 1 lit. ba, bb KI-VO) gelten ab dem 2. Dezember 2026.

Betreffen die Verbote auch normale Softwareunternehmen?

Ja. Die Grenzen zu manipulativem Design, zur Emotionsauswertung in Mitarbeiter-Tools oder zur biometrischen Kategorisierung sind schneller berührt, als viele annehmen, gerade wenn KI-Features experimentierfreudig eingebaut werden. Ein KI-Onboarding, das gezielt Zeitdruck erzeugt, oder ein Tool, das die Stimmung von Mitarbeitern in Video-Calls auswertet, kann bereits ein Verbot berühren. Wer ein KI-Feature plant, sollte es deshalb früh gegen die roten Linien prüfen.

Was kostet ein Verstoß gegen ein Verbot?

Verbotene Praktiken sind mit dem höchsten Bußgeldrahmen des AI Act belegt, bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist; für KMU und Start-ups gilt der niedrigere Betrag. Für die ursprünglichen Verbote greift der Rahmen bereits, sodass sich eine frühzeitige Prüfung neuer Features unmittelbar auszahlt.

Welche KI-Funktionen im Unternehmen bereits laufen, weiß die Geschäftsführung oft nur ungefähr. Das Rechtliche Audit erfasst Ihren KI-Einsatz gemeinsam mit Verträgen und Datenschutz und bewertet jeden Bereich nachvollziehbar. Rechtliches Audit: Bestandsaufnahme einschließlich KI-Einsatz

Sie wollen sicher sein, dass Ihr KI-Feature keine verbotene Praktik berührt? In einem 60-minütigen Strategiegespräch prüfen wir Ihr Vorhaben gegen die roten Linien.