Kurz beantwortet: Diskriminiert Ihr KI-System mittelbar (§ 3 Abs. 2 AGG), haftet Ihr Unternehmen nach dem AGG, unabhängig von der Absicht. Besonders tückisch ist, dass sich bei begründetem Verdacht die Beweislast zu Ihren Lasten dreht (§ 22 AGG).

KI-Systeme entscheiden zunehmend über Menschen, wer zum Bewerbungsgespräch eingeladen wird, wer einen Bonus bekommt, wessen Antrag durchgeht. Problematisch ist, dass KI aus Vergangenheitsdaten lernt und deren Verzerrungen reproduzieren kann. Damit gerät der KI-Einsatz in den Anwendungsbereich des Antidiskriminierungsrechts. Wer das ignoriert, riskiert Ansprüche nach dem AGG, auch ohne jede Absicht.

Das Wichtigste in Kürze

  • Benachteiligt eine KI, die Ihr Unternehmen für Entscheidungen über Beschäftigte oder Bewerber einsetzt, wegen eines geschützten Merkmals, haftet das Unternehmen nach dem AGG, und zwar unabhängig von einer Absicht (§ 15 AGG).
  • Praktisch wichtigster Fall ist die mittelbare Benachteiligung nach § 3 Abs. 2 AGG durch scheinbar neutrale Kriterien.
  • Bei begründetem Verdacht kehrt sich die Beweislast um, sodass der Arbeitgeber das Fehlen eines Verstoßes beweisen muss (§ 22 AGG).
  • Erklärbarkeit der Systeme, Bias-Tests und Dokumentation sind im Streitfall Ihre Verteidigung.

Gilt das Diskriminierungsverbot auch für KI-Entscheidungen?

Das Allgemeine Gleichbehandlungsgesetz verbietet in § 7 AGG die Benachteiligung von Beschäftigten wegen eines der in § 1 AGG genannten Merkmale, Rasse und ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter und sexuelle Identität. Ob die Benachteiligung durch einen Menschen oder ein algorithmisches System erfolgt, ist unerheblich: Verantwortlich bleibt der Arbeitgeber, der das System einsetzt. Ein KI-Tool ist kein Haftungsschild, sondern ein Werkzeug, dessen Ergebnisse dem Nutzer zugerechnet werden.

Was ist der Kernfall: die mittelbare Benachteiligung?

KI diskriminiert selten offen. Der praktisch wichtigste Fall ist die mittelbare Benachteiligung nach § 3 Abs. 2 AGG: Dem Anschein nach neutrale Kriterien oder Verfahren, die Personen wegen eines geschützten Merkmals in besonderer Weise benachteiligen können, sind unzulässig, es sei denn, sie sind durch ein rechtmäßiges Ziel sachlich gerechtfertigt und verhältnismäßig. Genau hier liegt das KI-Risiko: Ein Modell, das auf scheinbar neutrale Merkmale wie Postleitzahl, Lücken im Lebenslauf oder Sprachmuster abstellt, kann faktisch nach Herkunft, Geschlecht oder Alter aussortieren, ohne dass diese Merkmale je programmiert wurden. Besonders häufig zeigt sich dieses Muster im Recruiting, dazu vertiefend: KI im Recruiting: Hochrisiko-Einstufung und Pflichten.

Wie wirkt sich die Beweislast aus?

Besonders heikel ist § 22 AGG: Beweist die betroffene Person Indizien, die eine Benachteiligung wegen eines geschützten Merkmals vermuten lassen, trägt die andere Partei, also der Arbeitgeber, die Beweislast dafür, dass kein Verstoß vorlag. Bei einer Blackbox-KI, deren Entscheidungslogik selbst der Anwender nicht vollständig erklären kann, ist dieser Gegenbeweis schwer zu führen. Auffällige Muster in den Ergebnissen, etwa eine systematisch niedrigere Trefferquote einer Gruppe, können bereits als Indiz genügen. Diese schwere Beweisführung ist ein Anwendungsfall der allgemeinen Regel, dass Sie für den Fehler der KI wie für einen eigenen haften, dazu der Beitrag zur Haftung für KI-Fehler.

Was sollten Sie konkret tun?

Maßnahme Worauf es ankommt
Auswahlkriterien prüfen Welche Merkmale fließen ein, und können sie mittelbar diskriminieren?
Ergebnisse testen Die Trefferquoten über geschützte Gruppen hinweg auswerten (Bias-Testing) und dokumentieren.
Menschliche Letztentscheidung Eine inhaltliche Kontrolle des KI-Vorschlags einbauen, die über eine bloße Bestätigung hinausgeht.
Erklärbarkeit sichern Systeme bevorzugen, deren Entscheidungen nachvollziehbar sind, um den Gegenbeweis nach § 22 AGG führen zu können.
Dokumentation Kriterien, Tests und Kontrollen festhalten; sie sind im Streitfall Ihre Verteidigung.

Der AGG-Rahmen greift damit unabhängig vom AI Act und schon heute, er ist der praktische Grund, KI-gestützte Entscheidungen über Menschen von Anfang an auf Diskriminierungsfreiheit zu prüfen. Wie sich diese Anforderung mit der datenschutzrechtlichen Grenze für vollautomatisierte Entscheidungen verzahnt, ordnet der Beitrag Automatisierte Entscheidungen und Profiling ein.

Wie das in der Praxis aussieht

Ein Beispiel, wie es in dieser Form häufig vorkommt: Eine Hotelgruppe mit rund 350 Mitarbeitenden nutzt ein eingekauftes KI-Werkzeug, das Bewerbungen für die Rezeption vorsortiert. Der Personalabteilung fällt auf, dass Lebensläufe mit Lücken fast nie oben landen. Zu klären ist eine mittelbare Benachteiligung: Ein dem Anschein nach neutrales Kriterium ist unzulässig, wenn es Personen wegen eines geschützten Merkmals, etwa Geschlecht oder Alter, in besonderer Weise benachteiligen kann und nicht durch ein rechtmäßiges Ziel sachlich gerechtfertigt ist und die Mittel angemessen und erforderlich sind. Verantwortlich bleibt die Arbeitgeberin, die bei Indizien beweisen muss, dass kein Verstoß vorlag.

Danach trennen sich die Wege. Legt der Anbieter offen, welche Merkmale einfließen, wird das Lückenkriterium entfernt oder sachlich begründet, und die Trefferquoten werden über geschützte Gruppen getestet und dokumentiert. Kann er die Entscheidungslogik nicht erklären, wird das Werkzeug auf eine unterstützende Rolle beschränkt oder ersetzt, weil sich der Gegenbeweis sonst kaum führen lässt. In beiden Fällen entscheidet eine Person, die den KI-Vorschlag inhaltlich prüft. Am Ende stehen dokumentierte Kriterien, Tests und Kontrollen. Wie solche Prüfungen vor dem Einsatz verankert werden, zeigt das Rechtssystem.

Häufige Fragen

Gilt das AGG auch, wenn eine KI die Entscheidung trifft?

Ja. Verantwortlich bleibt der Arbeitgeber, der das System einsetzt. Ein KI-Tool wird als Werkzeug behandelt, dessen Ergebnisse dem Nutzer zugerechnet werden.

Was bedeutet mittelbare Benachteiligung bei KI?

Nach § 3 Abs. 2 AGG liegt sie vor, wenn dem Anschein nach neutrale Kriterien Personen wegen eines geschützten Merkmals in besonderer Weise benachteiligen können, ohne dass dies sachlich gerechtfertigt und verhältnismäßig ist. Ein Modell kann so faktisch nach Herkunft, Geschlecht oder Alter aussortieren, ohne dass diese Merkmale je programmiert wurden.

Wie wirkt sich die Beweislast nach § 22 AGG aus?

Beweist die betroffene Person Indizien, die eine Benachteiligung wegen eines geschützten Merkmals vermuten lassen, trägt der Arbeitgeber die Beweislast dafür, dass kein Verstoß vorlag. Bei einer nicht erklärbaren Blackbox-KI ist dieser Gegenbeweis schwer zu führen.

Reicht eine formale Kontrolle des KI-Vorschlags aus?

Erforderlich ist eine echte menschliche Letztentscheidung, nicht nur ein formales Abnicken. Ergänzend sollten Auswahlkriterien, Bias-Tests und Kontrollen dokumentiert werden.

Quellen & Rechtsgrundlagen

Ob ein KI-Tool Bewerber oder Kunden benachteiligt, prüft im Alltag oft niemand, bis eine Beschwerde kommt. Das Rechtssystem legt KI-Richtlinie und Freigabeweg fest, damit solche Tools vor dem Einsatz geprüft und regelmäßig überprüft werden. Rechtssystem: KI-Tools vor dem Einsatz prüfen

Sie setzen KI für Entscheidungen über Menschen ein und wollen das Diskriminierungsrisiko begrenzen? In einem 60-minütigen Strategiegespräch prüfen wir Ihre Systeme und Prozesse. Vertiefend zu allen Facetten des betrieblichen KI-Einsatzes: der Leitfaden KI im Unternehmen einsetzen. Fachliche Begleitung im IT-Recht: IT-Recht als Leistung.