Verbotene KI-Praktiken: die roten Linien des AI Act (Art. 5)

Kurz beantwortet: Der EU AI Act untersagt bestimmte KI-Praktiken vollständig, darunter manipulative Systeme, das Ausnutzen von Schutzbedürftigkeit, Social Scoring, die Emotionserkennung am Arbeitsplatz und die biometrische Kategorisierung nach sensiblen Merkmalen. Diese Verbote gelten bereits seit dem 2. Februar 2025 und sind mit dem höchsten Bußgeldrahmen des AI Act bewehrt. Auch normale Softwareunternehmen sollten neue KI-Features früh gegen diese roten Linien prüfen.

Der EU AI Act arbeitet risikobasiert, und ganz oben steht das schlichte Verbot. Bestimmte KI-Praktiken sind unabhängig von jeder Einzelfallprüfung untersagt. Diese Verbote gelten bereits seit dem 2. Februar 2025, und ihre Verletzung ist mit den höchsten Bußgeldern des AI Act bewehrt.

Was verbietet Art. 5 KI-VO konkret?

Art. 5 KI-VO listet die verbotenen Praktiken. Für Unternehmen besonders relevant sind:

• Manipulative Systeme: KI, die mit unterschwelligen oder täuschenden Techniken das Verhalten von Menschen wesentlich verändert und ihnen dadurch erheblichen Schaden zufügt (Art. 5 Abs. 1 lit. a KI-VO), die harte Grenze für „Dark Patterns“ auf KI-Basis.
• Ausnutzen von Schutzbedürftigkeit: KI, die Alter, Behinderung oder eine soziale oder wirtschaftliche Notlage ausnutzt (lit. b).
• Social Scoring: die Bewertung von Personen nach ihrem sozialen Verhalten mit benachteiligender Wirkung (lit. c).
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer aus medizinischen oder Sicherheitsgründen (lit. f). Wichtig für HR- und Kollaborationstools.
• Biometrische Kategorisierung nach sensiblen Merkmalen wie Weltanschauung, Gewerkschaftszugehörigkeit oder sexueller Orientierung (lit. g).

Hinzu kommen, vor allem im behördlichen Kontext, das ungezielte Auslesen von Gesichtsbildern zum Aufbau von Erkennungsdatenbanken, bestimmte Formen des Predictive Policing und die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum.

Betrifft das auch normale Softwareunternehmen?

Viele halten die Verbote für ein Thema von Überwachungsstaaten und Big Tech. Doch die Grenzen zu manipulativem Design, zur Emotionsauswertung in Mitarbeiter-Tools oder zur biometrischen Kategorisierung sind schneller berührt, als man denkt, gerade wenn KI-Features experimentierfreudig eingebaut werden. Zwei generische Praxisbeispiele: Ein KI-Onboarding, das gezielt Unsicherheit oder Zeitdruck erzeugt, um eine Vertragsverlängerung durchzusetzen, kann bereits als manipulative Praktik nach lit. a gelten. Ein internes Tool, das die Stimmung von Mitarbeitern in Video-Calls auswertet, berührt regelmäßig das Verbot der Emotionserkennung am Arbeitsplatz nach lit. f. Wer ein KI-Feature plant, sollte es früh gegen diese roten Linien prüfen, nicht erst kurz vor dem Launch.

Was kostet ein Verstoß gegen das Verbot?

Verbotene Praktiken sind mit dem höchsten Bußgeldrahmen des AI Act belegt: bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (vertiefend zur Bußgeld-Staffelung: Sanktionen und Bußgelder der KI-VO). Anders als bei den Hochrisiko-Pflichten gibt es hier keine Übergangsfrist mehr, das Verbot gilt bereits (den vollständigen Fristen-Überblick zeigt die Fristen-Referenz zum EU AI Act). Die gute Nachricht ist, dass sich die roten Linien für die allermeisten Produkte mit etwas Aufmerksamkeit klar einhalten lassen.

Wer regelmäßig neue KI-Features plant, prüft diese roten Linien am wirksamsten nicht einmalig, sondern als festen Bestandteil einer laufenden KI-Compliance-Begleitung.

Häufige Fragen

Welche KI-Praktiken sind nach dem AI Act verboten?

Art. 5 KI-VO untersagt unter anderem manipulative Systeme, die das Verhalten von Menschen mit unterschwelligen oder täuschenden Techniken wesentlich verändern, das Ausnutzen von Schutzbedürftigkeit, Social Scoring, die Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen sowie die biometrische Kategorisierung nach sensiblen Merkmalen. Hinzu kommen vor allem im behördlichen Kontext das ungezielte Auslesen von Gesichtsbildern und bestimmte Formen der biometrischen Echtzeit-Fernidentifizierung.

Seit wann gelten die Verbote?

Die Verbote des Art. 5 KI-VO gelten bereits seit dem 2. Februar 2025. Anders als bei den Hochrisiko-Pflichten besteht hier keine Übergangsfrist mehr, sodass die roten Linien schon jetzt uneingeschränkt einzuhalten sind.

Betreffen die Verbote auch normale Softwareunternehmen?

Ja. Die Grenzen zu manipulativem Design, zur Emotionsauswertung in Mitarbeiter-Tools oder zur biometrischen Kategorisierung sind schneller berührt, als viele annehmen, gerade wenn KI-Features experimentierfreudig eingebaut werden. Ein KI-Onboarding, das gezielt Zeitdruck erzeugt, oder ein Tool, das die Stimmung von Mitarbeitern in Video-Calls auswertet, kann bereits ein Verbot berühren. Wer ein KI-Feature plant, sollte es deshalb früh gegen die roten Linien prüfen.

Was kostet ein Verstoß gegen ein Verbot?

Verbotene Praktiken sind mit dem höchsten Bußgeldrahmen des AI Act belegt, bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Da keine Übergangsfrist mehr besteht, greift der Rahmen bereits, sodass sich eine frühzeitige Prüfung neuer Features unmittelbar auszahlt.

Sie wollen sicher sein, dass Ihr KI-Feature keine verbotene Praktik berührt? In einem 30-minütigen Erstgespräch prüfen wir Ihr Vorhaben gegen die roten Linien.

→ Erstgespräch anfragen