Kurz beantwortet: Diskriminiert Ihr KI-System mittelbar (§ 3 Abs. 2 AGG), haftet Ihr Unternehmen nach dem AGG, unabhängig von der Absicht. Besonders tückisch ist, dass sich bei begründetem Verdacht die Beweislast zu Ihren Lasten dreht (§ 22 AGG).

KI-Systeme entscheiden zunehmend über Menschen, wer zum Bewerbungsgespräch eingeladen wird, wer einen Bonus bekommt, wessen Antrag durchgeht. Problematisch ist, dass KI aus Vergangenheitsdaten lernt und deren Verzerrungen reproduzieren kann. Damit gerät der KI-Einsatz in den Anwendungsbereich des Antidiskriminierungsrechts. Wer das ignoriert, riskiert Ansprüche nach dem AGG, auch ohne jede Absicht.

Das Wichtigste in Kürze

  • Setzt Ihr Unternehmen KI für Entscheidungen über Menschen ein, haftet es nach dem AGG, und zwar unabhängig von einer Absicht.
  • Praktisch wichtigster Fall ist die mittelbare Benachteiligung nach § 3 Abs. 2 AGG durch scheinbar neutrale Kriterien.
  • Bei begründetem Verdacht kehrt sich die Beweislast um, sodass der Arbeitgeber das Fehlen eines Verstoßes beweisen muss (§ 22 AGG).
  • Erklärbarkeit der Systeme, Bias-Tests und Dokumentation sind im Streitfall Ihre Verteidigung.

Gilt das Diskriminierungsverbot auch für KI-Entscheidungen?

Das Allgemeine Gleichbehandlungsgesetz verbietet in § 7 AGG die Benachteiligung von Beschäftigten wegen eines der in § 1 AGG genannten Merkmale, Rasse und ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter und sexuelle Identität. Ob die Benachteiligung durch einen Menschen oder ein algorithmisches System erfolgt, ist unerheblich: Verantwortlich bleibt der Arbeitgeber, der das System einsetzt. Ein KI-Tool ist kein Haftungsschild, sondern ein Werkzeug, dessen Ergebnisse dem Nutzer zugerechnet werden.

Was ist der Kernfall: die mittelbare Benachteiligung?

KI diskriminiert selten offen. Der praktisch wichtigste Fall ist die mittelbare Benachteiligung nach § 3 Abs. 2 AGG: Dem Anschein nach neutrale Kriterien oder Verfahren, die Personen wegen eines geschützten Merkmals in besonderer Weise benachteiligen können, sind unzulässig, es sei denn, sie sind durch ein rechtmäßiges Ziel sachlich gerechtfertigt und verhältnismäßig. Genau hier liegt das KI-Risiko: Ein Modell, das auf scheinbar neutrale Merkmale wie Postleitzahl, Lücken im Lebenslauf oder Sprachmuster abstellt, kann faktisch nach Herkunft, Geschlecht oder Alter aussortieren, ohne dass diese Merkmale je programmiert wurden. Besonders häufig zeigt sich dieses Muster im Recruiting, dazu vertiefend: KI im Recruiting: die Hochrisiko-Falle.

Wie wirkt sich die Beweislast aus?

Besonders heikel ist § 22 AGG: Beweist die betroffene Person Indizien, die eine Benachteiligung wegen eines geschützten Merkmals vermuten lassen, trägt die andere Partei, also der Arbeitgeber, die Beweislast dafür, dass kein Verstoß vorlag. Bei einer Blackbox-KI, deren Entscheidungslogik selbst der Anwender nicht vollständig erklären kann, ist dieser Gegenbeweis schwer zu führen. Auffällige Muster in den Ergebnissen, etwa eine systematisch niedrigere Trefferquote einer Gruppe, können bereits als Indiz genügen.

Was sollten Sie konkret tun?

Maßnahme Worauf es ankommt
Auswahlkriterien prüfen Welche Merkmale fließen ein, und können sie mittelbar diskriminieren?
Ergebnisse testen Die Trefferquoten über geschützte Gruppen hinweg auswerten (Bias-Testing) und dokumentieren.
Menschliche Letztentscheidung Eine echte, nicht nur formale Kontrolle des KI-Vorschlags einbauen.
Erklärbarkeit sichern Systeme bevorzugen, deren Entscheidungen nachvollziehbar sind, um den Gegenbeweis nach § 22 AGG führen zu können.
Dokumentation Kriterien, Tests und Kontrollen festhalten; sie sind im Streitfall Ihre Verteidigung.

Der AGG-Rahmen greift damit unabhängig vom AI Act und schon heute, er ist der praktische Grund, KI-gestützte Entscheidungen über Menschen von Anfang an auf Diskriminierungsfreiheit zu prüfen. Wie sich diese Anforderung mit der datenschutzrechtlichen Grenze für vollautomatisierte Entscheidungen verzahnt, ordnet der Beitrag Automatisierte Entscheidungen und Profiling ein.

Häufige Fragen

Gilt das AGG auch, wenn eine KI die Entscheidung trifft?

Ja. Verantwortlich bleibt der Arbeitgeber, der das System einsetzt. Ein KI-Tool wird als Werkzeug behandelt, dessen Ergebnisse dem Nutzer zugerechnet werden.

Was bedeutet mittelbare Benachteiligung bei KI?

Nach § 3 Abs. 2 AGG liegt sie vor, wenn dem Anschein nach neutrale Kriterien Personen wegen eines geschützten Merkmals in besonderer Weise benachteiligen können, ohne dass dies sachlich gerechtfertigt und verhältnismäßig ist. Ein Modell kann so faktisch nach Herkunft, Geschlecht oder Alter aussortieren, ohne dass diese Merkmale je programmiert wurden.

Wie wirkt sich die Beweislast nach § 22 AGG aus?

Beweist die betroffene Person Indizien, die eine Benachteiligung wegen eines geschützten Merkmals vermuten lassen, trägt der Arbeitgeber die Beweislast dafür, dass kein Verstoß vorlag. Bei einer nicht erklärbaren Blackbox-KI ist dieser Gegenbeweis schwer zu führen.

Reicht eine formale Kontrolle des KI-Vorschlags aus?

Erforderlich ist eine echte menschliche Letztentscheidung, nicht nur ein formales Abnicken. Ergänzend sollten Auswahlkriterien, Bias-Tests und Kontrollen dokumentiert werden.

Quellen & Rechtsgrundlagen

Sie setzen KI für Entscheidungen über Menschen ein und wollen das Diskriminierungsrisiko begrenzen? In einem 30-minütigen Erstgespräch prüfen wir Ihre Systeme und Prozesse. Vertiefend zu allen Facetten des betrieblichen KI-Einsatzes: der Leitfaden KI im Unternehmen einsetzen. Fachliche Begleitung im IT-Recht: IT-Recht als Leistung.

→ Erstgespräch anfragen