Eingekaufte KI-Tools: Ihre Pflichten als Betreiber

Die meisten Unternehmen entwickeln keine eigene KI, sondern kaufen sie ein: ein KI-Recruiting-Tool, ein Chatbot für den Support, eine KI-gestützte Bonitätsprüfung. Viele nehmen an, die Pflichten aus dem EU AI Act träfen dann allein den Hersteller. Das stimmt nicht, denn auch wer ein fremdes KI-System nur einsetzt, ist Betreiber, und Betreiber haben eigene Pflichten.

Anbieter oder Betreiber: Der Unterschied entscheidet

Der AI Act trennt zwei Rollen. Anbieter ist, wer ein KI-System entwickelt oder unter eigenem Namen in Verkehr bringt. Betreiber ist, wer ein KI-System in eigener Verantwortung verwendet. Wenn Sie ein Tool von der Stange einkaufen und einsetzen, sind Sie in aller Regel Betreiber. Das ist der leichtere Pflichtenkreis als beim Anbieter, aber er ist nicht leer.

Ihre Pflichten als Betreiber eines Hochrisiko-Systems (Art. 26 KI-VO)

Setzen Sie ein Hochrisiko-KI-System ein, etwa im Recruiting oder in der Kreditwürdigkeitsprüfung, treffen Sie nach Art. 26 der KI-Verordnung insbesondere folgende Pflichten:

• Betrieb nach Betriebsanleitung: Sie müssen das System entsprechend der Gebrauchsanweisung des Anbieters verwenden.
• Menschliche Aufsicht: Sie müssen die Aufsicht kompetenten Personen übertragen, die das System überwachen können.
• Eingabedaten-Kontrolle, soweit Sie diese kontrollieren: Die Daten müssen für den Zweck erheblich und hinreichend repräsentativ sein.
• Protokollierung: Die automatisch erzeugten Protokolle sind aufzubewahren.
• Überwachung und Meldung: Bei Anzeichen für ein Risiko oder einen schwerwiegenden Vorfall müssen Sie Anbieter und gegebenenfalls Behörde informieren.
• Information betroffener Personen: Wer einer Entscheidung durch ein Hochrisiko-System unterliegt, ist zu informieren.

Der Sonderfall: Sie werden zum Anbieter

Vorsicht bei einem verbreiteten Missverständnis: Wer ein eingekauftes System wesentlich verändert, es unter eigenem Namen weitervertreibt oder seine Zweckbestimmung so ändert, dass es zum Hochrisiko-System wird, gilt selbst als Anbieter, mit dem vollen Pflichtenkreis. Wer ein KI-Tool also nicht nur nutzt, sondern anpasst und weitergibt, sollte diese Schwelle sehr genau prüfen (vertiefend: Anbieter oder Betreiber? Die zwei Rollen im AI Act).

Was das für Ihre Einkaufsverträge bedeutet

Viele Betreiberpflichten können Sie nur erfüllen, wenn der Anbieter mitspielt: Sie brauchen die Betriebsanleitung, die Dokumentation und die Informationen, um Ihre eigenen Pflichten überhaupt zu erfüllen. Deshalb gehört der AI Act in den Einkaufsvertrag, mit Zusicherungen zur Konformität des Systems, zur Bereitstellung der Dokumentation und zur Zusammenarbeit im Vorfallsfall. Der beste Zeitpunkt dafür ist vor der Unterschrift, nicht nach dem ersten Behördenkontakt.

Was Sie von Ihrem KI-Anbieter verlangen sollten

Die folgende Checkliste eignet sich als Vorlage für ein Vendor-Assessment vor dem Einkauf oder als Nachtrag zu einem bestehenden Vertrag. Sie ist bewusst so formuliert, dass Sie sie direkt an einen Anbieter weiterreichen können.

1. Rollenklärung: Bestätigt der Anbieter schriftlich, welche Rolle er nach dem AI Act einnimmt, und benennt er, ob das System als Hochrisiko-System nach Anhang III einzuordnen ist?
2. Konformitätsnachweis: Liegt für Hochrisiko-Systeme eine EU-Konformitätserklärung samt CE-Kennzeichnung vor, und ist sie Ihnen zugänglich?
3. Betriebsanleitung: Erhalten Sie eine vollständige, verständliche Gebrauchsanweisung, die Ihnen erlaubt, das System bestimmungsgemäß und mit angemessener menschlicher Aufsicht zu betreiben?
4. Technische Dokumentation: Stellt der Anbieter die technische Dokumentation und Informationen zu Trainingsdaten, Leistungskennzahlen und bekannten Grenzen bereit, soweit für Ihre Betreiberpflichten erforderlich?
5. Protokollierungsfunktion: Erzeugt das System automatisch Protokolle, und können Sie diese in der vom AI Act geforderten Form aufbewahren?
6. Änderungsmitteilung: Verpflichtet sich der Anbieter, Sie über wesentliche Änderungen am System zu informieren, die Ihre Einordnung als Betreiber oder gar Ihre Rolle selbst berühren könnten?
7. Vorfall- und Meldewege: Gibt es einen definierten Kontaktweg für den Fall, dass Sie ein Risiko oder einen schwerwiegenden Vorfall melden müssen, und sichert der Anbieter Mitwirkung zu?
8. Subunternehmer-Transparenz: Offenbart der Anbieter, ob und welche Basismodelle oder Sub-Anbieter er selbst einsetzt, damit Sie Ihre eigene Lieferkette einschätzen können?
9. Vertragliche Zusicherung: Ist die Einhaltung des AI Act als eigene Zusicherung (Garantie) im Vertrag verankert, statt nur als allgemeiner Compliance-Hinweis?

Für die Einordnung, ob Ihr eingekauftes System überhaupt in den Hochrisiko-Bereich fällt, hilft die Prüfung Hochrisiko-KI: Ist mein System betroffen?; den vollständigen Fristenplan für Ihre Planung finden Sie in der Fristen-Referenz zum EU AI Act.

Wenn Sie diese Checkliste systematisch für mehrere eingekaufte Tools durchgehen wollen, ordnet die laufende KI-Compliance-Begleitung Ihre Einkaufsverträge und Betreiberpflichten dauerhaft ein. Die spiegelbildliche Perspektive, wie Sie als Anbieter auf den Vendor-Fragebogen eines Enterprise-Kunden reagieren, zeigt der Beitrag zum Procurement-Fragebogen und Vendor Security Assessment.

Häufige Fragen

Bin ich als Käufer eines KI-Tools Anbieter oder Betreiber?

In aller Regel Betreiber. Wer ein Tool von der Stange einkauft und in eigener Verantwortung einsetzt, ist Betreiber, während Anbieter ist, wer ein System entwickelt oder unter eigenem Namen in Verkehr bringt.

Welche Pflichten habe ich als Betreiber eines Hochrisiko-Systems?

Nach Art. 26 KI-VO müssen Sie das System nach der Betriebsanleitung verwenden, die Aufsicht kompetenten Personen übertragen, die Eingabedaten kontrollieren, soweit Sie diese kontrollieren, die Protokolle aufbewahren, Risiken und schwerwiegende Vorfälle melden sowie betroffene Personen informieren.

Kann ich durch den Einsatz eines eingekauften Tools selbst zum Anbieter werden?

Ja. Wer ein eingekauftes System wesentlich verändert, es unter eigenem Namen weitervertreibt oder seine Zweckbestimmung so ändert, dass es zum Hochrisiko-System wird, gilt selbst als Anbieter mit dem vollen Pflichtenkreis.

Was sollte im Einkaufsvertrag für ein KI-Tool geregelt sein?

Der Vertrag sollte Zusicherungen zur Konformität des Systems, zur Bereitstellung von Betriebsanleitung und technischer Dokumentation sowie zur Zusammenarbeit im Vorfallsfall enthalten, damit Sie Ihre Betreiberpflichten überhaupt erfüllen können.

Sie setzen eingekaufte KI-Tools ein und wollen Ihre Betreiberpflichten sauber abbilden? In einem 30-minütigen Erstgespräch ordnen wir Ihre Rolle und Ihre Verträge ein.

→ Erstgespräch anfragen