Eingekaufte KI-Tools: Ihre Pflichten als Betreiber

Kurz beantwortet: Wer ein fremdes KI-System einsetzt, ist Betreiber und hat eigene Pflichten aus dem EU AI Act. Bei Hochrisiko-Systemen gehören dazu nach Art. 26 KI-VO vor allem die Beachtung der Betriebsanleitung, menschliche Aufsicht, Protokolle und Meldungen, ab dem 2. Dezember 2027 (Anhang III) beziehungsweise dem 2. August 2028 (Anhang I). Wer das System unter eigenem Namen anbietet oder wesentlich verändert, wird selbst Anbieter (Art. 25 Abs. 1 KI-VO).

Die meisten Unternehmen entwickeln keine eigene KI, sondern kaufen sie ein: ein KI-Recruiting-Tool, ein Chatbot für den Support, eine KI-gestützte Bonitätsprüfung. Viele nehmen an, die Pflichten aus dem EU AI Act träfen dann allein den Hersteller. Das stimmt nicht, denn auch wer ein fremdes KI-System nur einsetzt, ist Betreiber, und Betreiber haben eigene Pflichten.

Anbieter oder Betreiber: Der Unterschied entscheidet

Der AI Act trennt zwei Rollen. Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt, auch für den eigenen Gebrauch (Art. 3 Nr. 3 KI-VO). Betreiber ist, wer ein KI-System in eigener Verantwortung verwendet. Wenn Sie ein Tool von der Stange einkaufen und einsetzen, sind Sie in aller Regel Betreiber. Das ist der leichtere Pflichtenkreis als beim Anbieter, aber er ist nicht leer.

Ihre Pflichten als Betreiber eines Hochrisiko-Systems (Art. 26 KI-VO)

Setzen Sie ein Hochrisiko-KI-System ein, etwa im Recruiting oder in der Kreditwürdigkeitsprüfung, treffen Sie nach Art. 26 der KI-Verordnung insbesondere folgende Pflichten. Sie gelten nach dem KI-Omnibus (VO (EU) 2026/1744) ab dem 2. Dezember 2027 für Hochrisiko-Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I (Art. 113 Abs. 3 lit. c KI-VO):

• Betrieb nach Betriebsanleitung: Sie müssen das System entsprechend der Gebrauchsanweisung des Anbieters verwenden.
• Menschliche Aufsicht: Sie müssen die Aufsicht kompetenten Personen übertragen, die das System überwachen können.
• Eingabedaten-Kontrolle, soweit Sie diese kontrollieren: Die Daten müssen der Zweckbestimmung des Systems entsprechen und ausreichend repräsentativ sein.
• Protokollierung: Die automatisch erzeugten Protokolle sind, soweit sie Ihrer Kontrolle unterliegen, mindestens sechs Monate aufzubewahren.
• Überwachung und Meldung: Bei Anzeichen für ein Risiko oder einen schwerwiegenden Vorfall müssen Sie Anbieter und gegebenenfalls Behörde informieren.
• Information betroffener Personen: Setzen Sie ein Hochrisiko-System nach Anhang III ein, das Entscheidungen über natürliche Personen trifft oder unterstützt, sind diese Personen darüber zu informieren (Art. 26 Abs. 11 KI-VO).
• Information der Beschäftigten: Als Arbeitgeber informieren Sie Arbeitnehmervertreter und betroffene Beschäftigte vor dem Einsatz eines Hochrisiko-Systems am Arbeitsplatz (Art. 26 Abs. 7 KI-VO).

Der Sonderfall: Sie werden zum Anbieter

Vorsicht bei einem verbreiteten Missverständnis: Wer ein eingekauftes Hochrisiko-System mit seinem Namen oder seiner Marke versieht oder es wesentlich verändert, oder wer die Zweckbestimmung eines Systems so ändert, dass es zum Hochrisiko-System wird, gilt selbst als Anbieter, mit dem vollen Pflichtenkreis (Art. 25 Abs. 1 KI-VO). Bei sonstigen KI-Systemen werden Sie Anbieter, wenn Sie das System unter eigenem Namen oder eigener Marke in Verkehr bringen oder in Betrieb nehmen (Art. 3 Nr. 3 KI-VO). Wer ein KI-Tool also nicht nur nutzt, sondern anpasst und weitergibt, sollte diese Schwelle sehr genau prüfen (vertiefend: Anbieter oder Betreiber? Die zwei Rollen im AI Act).

Was das für Ihre Einkaufsverträge bedeutet

Viele Betreiberpflichten können Sie nur erfüllen, wenn der Anbieter mitspielt: Sie brauchen die Betriebsanleitung, die Dokumentation und die Informationen, um Ihre eigenen Pflichten überhaupt zu erfüllen. Deshalb gehört der AI Act in den Einkaufsvertrag, mit Zusicherungen zur Konformität des Systems, zur Bereitstellung der Dokumentation und zur Zusammenarbeit im Vorfallsfall. Das gehört in den Vertrag, bevor er unterschrieben wird. Für Hochrisiko-Systeme gibt der KI-Omnibus (VO (EU) 2026/1744) zusätzlich einen Rahmen vor: Wird ein System an Sie weitergegeben und werden Sie selbst Anbieter, muss der Erstanbieter mit Ihnen zusammenarbeiten, etwa durch technische Unterlagen, Informationen über bekannte Einschränkungen und Fehlerarten sowie gezielten technischen Zugang (Art. 25 Abs. 2 KI-VO), sofern er die Umwandlung in ein Hochrisiko-System nicht eindeutig ausgeschlossen hat. Der Anbieter eines Hochrisiko-Systems und Dritte, die ihm KI-Systeme, KI-Modelle, Instrumente, Dienste oder Komponenten liefern, legen die nötigen Informationen, Fähigkeiten, den technischen Zugang und die Unterstützung in einer schriftlichen Vereinbarung fest (Art. 25 Abs. 4 KI-VO). Verstöße gegen beide Pflichten sind nach Art. 99 Abs. 4 lit. da KI-VO bußgeldbewehrt; sie gelten ab dem 2. Dezember 2027 (Anhang III) beziehungsweise dem 2. August 2028 (Anhang I). Basiert das eingekaufte Tool auf einem Modell mit allgemeinem Verwendungszweck, kommen eigene GPAI-Dokumentationspflichten des Modell-Anbieters hinzu, dazu der Beitrag zu den GPAI-Pflichten. Welche rechtlichen Themen für Unternehmen zusammenkommen, die KI einkaufen oder selbst anbieten, fasst die Rechtsberatung für KI-Anwender und KI-Anbieter zusammen.

Was Sie von Ihrem KI-Anbieter verlangen sollten

Die folgende Checkliste eignet sich als Vorlage für ein Vendor-Assessment vor dem Einkauf oder als Nachtrag zu einem bestehenden Vertrag. Sie ist bewusst so formuliert, dass Sie sie direkt an einen Anbieter weiterreichen können.

1. Rollenklärung: Bestätigt der Anbieter schriftlich, welche Rolle er nach dem AI Act einnimmt, und benennt er, ob das System als Hochrisiko-System nach Anhang III einzuordnen ist?
2. Konformitätsnachweis: Liegt für Hochrisiko-Systeme eine EU-Konformitätserklärung samt CE-Kennzeichnung vor, und ist sie Ihnen zugänglich?
3. Betriebsanleitung: Erhalten Sie eine vollständige, verständliche Gebrauchsanweisung, die Ihnen erlaubt, das System bestimmungsgemäß und mit angemessener menschlicher Aufsicht zu betreiben?
4. Technische Dokumentation: Stellt der Anbieter die technische Dokumentation und Informationen zu Trainingsdaten, Leistungskennzahlen und bekannten Grenzen bereit, soweit für Ihre Betreiberpflichten erforderlich?
5. Protokollierungsfunktion: Erzeugt das System automatisch Protokolle, und können Sie diese in der vom AI Act geforderten Form aufbewahren?
6. Änderungsmitteilung: Verpflichtet sich der Anbieter, Sie über wesentliche Änderungen am System zu informieren, die Ihre Einordnung als Betreiber oder gar Ihre Rolle selbst berühren könnten?
7. Vorfall- und Meldewege: Gibt es einen definierten Kontaktweg für den Fall, dass Sie ein Risiko oder einen schwerwiegenden Vorfall melden müssen, und sichert der Anbieter Mitwirkung zu?
8. Subunternehmer-Transparenz: Offenbart der Anbieter, ob und welche Basismodelle oder Sub-Anbieter er selbst einsetzt, damit Sie Ihre eigene Lieferkette einschätzen können?
9. Vertragliche Zusicherung: Ist die Einhaltung des AI Act als eigene Zusicherung (Garantie) im Vertrag verankert, statt nur als allgemeiner Compliance-Hinweis?

Für die Einordnung, ob Ihr eingekauftes System überhaupt in den Hochrisiko-Bereich fällt, hilft die Prüfung Hochrisiko-KI: Ist mein System betroffen?; den vollständigen Fristenplan für Ihre Planung finden Sie in der Fristen-Referenz zum EU AI Act.

Wenn Sie diese Checkliste systematisch für mehrere eingekaufte Tools durchgehen wollen, ordnet die laufende KI-Compliance-Begleitung Ihre Einkaufsverträge und Betreiberpflichten dauerhaft ein. Die spiegelbildliche Perspektive, wie Sie als Anbieter auf den Vendor-Fragebogen eines Enterprise-Kunden reagieren, zeigt der Beitrag zum Procurement-Fragebogen und Vendor Security Assessment.

Den vollständigen Überblick über Pflichten, Rollen und Fristen bietet der Leitfaden zum EU AI Act.

Wie das in der Praxis aussieht

Ein Beispiel, wie es in dieser Form häufig vorkommt: Ein Facility-Management-Unternehmen mit rund 400 Beschäftigten will ein eingekauftes KI-Tool einführen, das Reinigungsteams ihre Objekte zuweist und ihre Leistung auswertet. Eine Betriebsanleitung fehlt, und der Vertrag erwähnt den AI Act nicht. Zu klären ist, ob das System unter die Hochrisiko-Fälle des Anhangs III fällt. Trifft das zu, hat das Unternehmen als Betreiber eigene Pflichten: Betrieb nach Anleitung, menschliche Aufsicht, Aufbewahrung der Protokolle und Information der Beschäftigten vor dem Einsatz. Für solche Systeme gelten diese Pflichten ab dem 2. Dezember 2027.

Danach trennen sich die Wege. Bleibt es beim Einsatz des Tools, wie es geliefert wird, geht es um den Einkaufsvertrag: Betriebsanleitung, Dokumentation, Protokollfunktion, Mitteilung von Änderungen und ein Meldeweg für Vorfälle werden ausdrücklich zugesichert. Will das Unternehmen das Tool unter eigener Marke an Tochtergesellschaften weitergeben oder es wesentlich verändern, wird es selbst Anbieter und trägt den vollen Pflichtenkreis. Am Ende stehen eine Rollenbewertung, die nötigen Zusicherungen und ein Zeitplan. Welche KI-Tools bei Ihnen laufen und welche Verträge dahinterstehen, erfasst das Rechtliche Audit.

Häufige Fragen

Bin ich als Käufer eines KI-Tools Anbieter oder Betreiber?

In aller Regel Betreiber. Wer ein Tool von der Stange einkauft und in eigener Verantwortung einsetzt, ist Betreiber, während Anbieter ist, wer ein System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt, auch für den eigenen Gebrauch (Art. 3 Nr. 3 KI-VO).

Welche Pflichten habe ich als Betreiber eines Hochrisiko-Systems?

Nach Art. 26 KI-VO müssen Sie das System nach der Betriebsanleitung verwenden, die Aufsicht kompetenten Personen übertragen, die Eingabedaten kontrollieren, soweit Sie diese kontrollieren, die Protokolle aufbewahren, Risiken und schwerwiegende Vorfälle melden sowie bei Anhang-III-Systemen betroffene Personen informieren. Diese Pflichten gelten ab dem 2. Dezember 2027 (Anhang III) beziehungsweise dem 2. August 2028 (Anhang I).

Kann ich durch den Einsatz eines eingekauften Tools selbst zum Anbieter werden?

Ja. Wer ein eingekauftes Hochrisiko-System mit eigenem Namen versieht oder wesentlich verändert oder die Zweckbestimmung eines Systems so ändert, dass es zum Hochrisiko-System wird, gilt nach Art. 25 Abs. 1 KI-VO selbst als Anbieter mit dem vollen Pflichtenkreis.

Was sollte im Einkaufsvertrag für ein KI-Tool geregelt sein?

Der Vertrag sollte Zusicherungen zur Konformität des Systems, zur Bereitstellung von Betriebsanleitung und technischer Dokumentation sowie zur Zusammenarbeit im Vorfallsfall enthalten, damit Sie Ihre Betreiberpflichten überhaupt erfüllen können.

Welche eingekauften KI-Tools im Unternehmen laufen und welche Verträge dahinterstehen, weiß die Geschäftsführung oft nur ungefähr. Das Rechtliche Audit erfasst Ihren KI-Einsatz gemeinsam mit den Einkaufsverträgen und bewertet jeden Bereich nachvollziehbar. Rechtliches Audit: eingekaufte KI-Tools und ihre Verträge erfassen

Sie setzen eingekaufte KI-Tools ein und wollen Ihre Betreiberpflichten sauber abbilden? In einem 60-minütigen Strategiegespräch ordnen wir Ihre Rolle und Ihre Verträge ein.