Risiko, Angemessenheit und Restschaden nach dem EU-KI-Gesetz

Ein konzeptioneller Rahmen für verhältnismäßige Ex-ante-Kontrollen

04/2026

I. Einleitung

Das Gesetz der Europäischen Union über künstliche Intelligenz (KI) (Verordnung (EU) 2024/1689) verkörpert einen risikobasierten Ansatz für die KI-Governance und stellt weltweit den ersten umfassenden Versuch dar, Ex-ante-Kontrollen einzuführen, die auf die Risikostufen von KI zugeschnitten sind. Nach diesem Ansatz, der von der Europäischen Kommission als „Pyramide der Kritikalität“ bezeichnet wird, werden KI-Systeme in vier Stufen eingeteilt: minimales Risiko, begrenztes Risiko, hohes Risiko und inakzeptables Risiko. Jede Stufe ist mit einem angemessenen Maß an regulatorischen Anforderungen verbunden, die von im Wesentlichen keinen Verpflichtungen für Anwendungen mit minimalem Risiko bis hin zu vollständigen Verboten für Systeme reichen, von denen angenommen wird, dass sie „inakzeptable“ Risiken für die Sicherheit oder grundlegende Werte darstellen. Dieses Modell zielt darauf ab, das Vorsorgeprinzip (Verhinderung schwerwiegender oder irreparabler Schäden unter Unsicherheit) mit innovationsfreundlicher Verhältnismäßigkeit (Vermeidung unangemessener Belastungen für KI mit geringem Risiko) in Einklang zu bringen. Das Ergebnis ist ein heikler rechtlicher Balanceakt, der einen klaren konzeptionellen Rahmen erfordert, um die Auslegung und Umsetzung zu leiten.

These und Beitrag: Dieser Artikel argumentiert, dass die risikobasierte Logik des KI-Gesetzes durch die Einbeziehung von Konzepten aus der Risikoregulierungstheorie (insbesondere Angemessenheit und Restrisiko) in die rechtliche Analyse verdeutlicht werden kann. Wir schlagen einen Rahmen vor, der die Kernbegriffe des Gesetzes – „vernünftigerweise vorhersehbarer Missbrauch“, „Stand der Technik“ und „akzeptables Restrisiko“ – mit den etablierten Prinzipien der Vorsorge, der Verhältnismäßigkeit und dem ALARP-Ansatz („so niedrig wie vernünftigerweise praktikabel“) in der Sicherheitsregulierung verknüpft. Wir verdeutlichen damit, wie Ex-ante-Verpflichtungen auf die Schwere und Unsicherheit von KI-Risiken abgestimmt werden sollten. Der Beitrag des Artikels ist dreigeteilt: (1) Abgleich der abgestuften Risikotaxonomie des KI-Gesetzes mit den zugrunde liegenden Regulierungsgrundsätzen und ethischen Prinzipien (einschließlich des Schutzes der Grundrechte als Risikokennzahl); (2) die Formulierung „konzeptioneller Prüfkriterien“ dafür, was unter den Anforderungen des Gesetzes eine angemessene und dem Stand der Technik entsprechende Risikominderung darstellt; und (3) die Bereitstellung von Kriterien zur Anpassung zentraler Kontrollmaßnahmen (Daten-Governance, Transparenz, menschliche Aufsicht, technische Robustheit und Cybersicherheit) im Verhältnis zu verschiedenen Risikoszenarien.

Wir verfolgen einen dogmatischen und analytischen Ansatz, der auf EU-Recht und der wissenschaftlichen Literatur zur Risikoregulierung basiert. Um die Relevanz für die in Kraft getretenen Bestimmungen sicherzustellen, konzentriert sich die Analyse auf den endgültigen Text des 2024 verabschiedeten KI-Gesetzes und nicht auf frühere Entwürfe. Wir beziehen zudem eine vergleichende Perspektive ein, indem wir den Ansatz der EU mit neuen Rahmenwerken in den Vereinigten Staaten und der OECD vergleichen. Während die EU beispielsweise explizite Risikostufen und verbindliche Pflichten vorschreibt, hat sich die USA bislang für freiwillige Leitlinien wie das AI Risk Management Framework des NIST entschieden, und die OECD hat eher Klassifizierungsinstrumente und -grundsätze als durchsetzbare Vorschriften entwickelt. Diese Vergleiche helfen dabei, die Besonderheiten des EU-Modells aufzuzeigen (wie beispielsweise die Betonung von Risiken für die Grundrechte und die Anwendung der Konformitätsvermutung durch Normen). Schließlich werden in der Diskussion spezifische Anwendungsfälle mit hohem Risiko hervorgehoben – insbesondere die biometrische Identifizierung und KI in kritischen Infrastrukturen –, um zu veranschaulichen, wie sich die abstrakten Grundsätze in konkreten Sektoren auswirken. Die biometrische Fernidentifizierung wird beispielsweise im EU-Recht so streng behandelt, dass sie die Grenze zwischen risikoreicher und verbotener Nutzung überschreitet und strenge Kontrollen oder Verbote auslöst. Gleichzeitig werden KI-Anwendungen in Energienetzen und der Verkehrsinfrastruktur aufgrund ihres Potenzials für „schwerwiegende Störungen kritischer Infrastrukturen“ mit Auswirkungen auf die Lebenssicherheit als risikoreich eingestuft, was eine strenge Aufsicht und Cybersicherheitsmaßnahmen rechtfertigt.

Aufbau: Der Artikel ist wie folgt gegliedert. Der folgende Abschnitt beleuchtet die Konzeptualisierung und Operationalisierung des Begriffs „Risiko“ im KI-Gesetz und verknüpft ihn mit den EU-Grundsätzen der Vorsorge und der Verhältnismäßigkeit sowie dem ALARP-Konzept aus der Sicherheitsregulierung. Anschließend untersuchen wir die normativen Maßstäbe des Gesetzes: wie man bestimmt, welche Kontrollen „angemessen“ und dem „Stand der Technik“ entsprechend sind, und wie mit dem Begriff des Restrisikos umgegangen wird. Anschließend erörtern wir die Rolle harmonisierter europäischer Normen und der Konformitätsvermutung bei der Bereitstellung praktischer Maßstäbe für die Einhaltung der Vorschriften – im Wesentlichen, wie Normen den Stand der Technik in anerkannte Praxis umsetzen. Danach untersuchen wir die Schnittstelle zwischen KI-Regulierung und Cybersicherheitsrecht (insbesondere der NIS2-Richtlinie und der DORA-Verordnung) und argumentieren, dass Cybersicherheitsbedrohungen als Risikomultiplikatoren für KI-Systeme wirken und dass ein koordinierter Regulierungsansatz erforderlich ist. Im vorletzten Abschnitt skizzieren wir die politischen Implikationen, einschließlich der Notwendigkeit künftiger Leitlinien (z. B. der Leitlinien der Kommission von 2026 zu risikoreichen Anwendungsfällen) und des strategischen Einsatzes delegierter Rechtsakte, um den Risikorahmen im Laufe der Zeit zu verfeinern. Die Schlussfolgerung fasst zusammen, wie das risikobasierte KI-Regime der EU eine verhältnismäßige und zugleich vorsorgliche Aufsicht erreichen kann – indem es dafür sorgt, dass KI-Innovationen „weltweit Vertrauen genießen“ und gleichzeitig „so sicher wie vernünftigerweise praktikabel“ sind.

II. Die Einordnung von „Risiko“ im KI-Gesetz – von Vorsorge bis Verhältnismäßigkeit (und ALARP)

Risikostufen und die Vorsorge-Logik: Der KI-Gesetzentwurf verfolgt bei der Regulierung ausdrücklich einen „klar definierten risikobasierten Ansatz“. Dieser Ansatz ist in einer vierstufigen Hierarchie von KI-Systemen kodifiziert: inakzeptables Risiko, hohes Risiko, begrenztes Risiko und minimales (oder geringes) Risiko. Jede Kategorie löst eine andere regulatorische Behandlung aus:

Als KI mit inakzeptablem Risiko gelten Systeme, deren Einsatz aufgrund ihrer inakzeptablen Gefahren für die Sicherheit oder die Grundwerte gänzlich untersagt ist (Artikel 5). Dazu gehören KI-Systeme, die unterschwellige Techniken einsetzen, um das Verhalten wesentlich zu verzerren und Schaden anzurichten, die Schwachstellen schutzbedürftiger Gruppen ausnutzen, von Regierungen durchgeführte soziale Bewertungen umsetzen, bestimmte Arten der prädiktiven Polizeiarbeit, das wahllose Auslesen von Gesichtserkennungsdatenbanken, die Emotionserkennung in sensiblen Kontexten sowie (mit wenigen Ausnahmen) die biometrische Fernidentifizierung in Echtzeit in der Öffentlichkeit durch Strafverfolgungsbehörden. Die EU stellte fest, dass diese Verwendungszwecke gegen Grundwerte (d. h. Menschenwürde, Privatsphäre und Nichtdiskriminierung) verstoßen und Schäden verursachen, die „nicht toleriert werden können“ – im Wesentlichen eine de facto Anwendung des Vorsorgeprinzips. Nach diesem Prinzip sollte eine Handlung vermieden werden, wenn sie der Öffentlichkeit schweren Schaden zufügen kann und wissenschaftliche Gewissheit fehlt. Das Verbot von Systemen wie dem Social-Credit-Scoring und der wahllosen biometrischen Überwachung spiegelt eine vorsorgliche Haltung wider: Das Potenzial für schwerwiegenden gesellschaftlichen Schaden oder Rechtsverletzungen wird als so hoch eingeschätzt, dass das Gesetz die Praxis verbietet, bevor ein solcher Schaden eintritt. Bemerkenswert ist, dass selbst die Ausnahmen für die biometrische Fernidentifizierung (beschränkt auf schwere Straftaten, Terrorismusgefahren oder die Suche nach vermissten Personen) streng an Notwendigkeits- und Verhältnismäßigkeitsprüfungen gebunden sind, was den vorsichtigen Ansatz der EU widerspiegelt. Tatsächlich entspricht die oberste Stufe des KI-Gesetzes einer rechtlichen Formulierung der obersten Zone von ALARP: Risiken, die unerträglich sind und ausgeschlossen werden müssen, da keine vernünftige Risikominderung sie auf ein akzeptables Niveau senken könnte.

Hochrisikobehaftete KI bezieht sich auf Systeme, die auf dem Markt zugelassen sind, aber umfangreichen Ex-ante-Anforderungen und einer Aufsicht unterliegen. Artikel 6 und Anhang III definieren, welche KI-Anwendungen als hochrisikobehaftet gelten, wobei im Allgemeinen solche erfasst werden, die in bestimmten Bereichen eine erhebliche Gefahr für Gesundheit, Sicherheit oder Grundrechte darstellen. Zu den risikoreichen Kategorien gehören (unter anderem) KI, die in Sicherheitskomponenten von Produkten (wie Medizinprodukten oder Maschinensteuerungssystemen), im Management kritischer Infrastrukturen (Energie, Verkehr und Wasserversorgung), in der allgemeinen oder beruflichen Bildung (z. B. zur Benotung von Prüfungen), in der Beschäftigung und im Personalmanagement (z. B. Algorithmen zur Sichtung von Lebensläufen), in wesentlichen privaten oder öffentlichen Dienstleistungen (Bonitätsprüfung, Anspruch auf Sozialleistungen), in der Strafverfolgung (z. B. forensische KI, bestimmte Arten der daten n Analyse für die Polizeiarbeit), in der Migrations- und Asylkontrolle (z. B. Risikobewertungstools) und in der Rechtspflege (KI-Unterstützung bei gerichtlichen Entscheidungen) sowie bestimmte besonders sensible biometrische Systeme wie Fingerabdruck- oder Gesichtserkennung (nicht in Echtzeit). Diese Systeme bergen das Risiko, „erhebliche schädliche Auswirkungen“ zu verursachen, wenn sie fehlerhaft funktionieren oder missbraucht werden; im Gegensatz zu den verbotenen Verwendungszwecken wird jedoch davon ausgegangen, dass ihre Vorteile die Risiken überwiegen, sofern angemessene Kontrollen vorhanden sind. Die regulatorische Logik besteht hier eher in einer verhältnismäßigen Risikominderung als in einem Verbot. Das Gesetz schreibt eine Reihe von Maßnahmen zum Risikomanagement, zur Dokumentation und zur Qualitätssicherung vor (ausführlich in Kapitel III, Abschnitt 2), um sicherzustellen, dass risikoreiche KI-Systeme „keine inakzeptablen Risiken darstellen“. Dies entspricht dem mittleren Bereich des ALARP-Modells – Risiken, die nur dann tolerierbar sind, wenn sie so weit gemindert werden, dass sie so gering wie vernünftigerweise praktikabel sind. Tatsächlich verpflichtet Artikel 9 Absatz 5 die Anbieter, das Restrisiko durch Konzeption oder Sicherheitsvorkehrungen auf ein akzeptables Maß zu reduzieren. Wenn das Risiko eines risikoreichen Systems selbst unter Einsatz modernster Maßnahmen nicht auf ein akzeptables Restrisiko gemindert werden kann, sollte es nicht eingesetzt werden. Somit operationalisiert die Risikostufe „hoch“ das ALARP-Prinzip: Hersteller müssen Risiken beseitigen oder minimieren, bis eine weitere Risikominderung in keinem Verhältnis zum Nutzen stünde. Bemerkenswert ist, dass das Gesetz nicht garantiert, dass die Einhaltung der Vorschriften gleichbedeutend mit Nullrisiko ist; stattdessen zielt es darauf ab, dass Risiken „minimiert und akzeptabel“ sind – ein pragmatischer Standard, der anerkennt, dass ein gewisses Restrisiko verbleibt, das Regulierungsbehörden und die Gesellschaft angesichts des Nutzens des Systems als tolerierbar erachten.

KI mit begrenztem Risiko bezieht sich auf Systeme, die kein hohes Risiko darstellen, aber dennoch gewisse Transparenzpflichten erfordern. Das Gesetz schreibt in solchen Fällen mehrere Anforderungen vor (Artikel 52). Beispielsweise müssen KI-Systeme, die mit Menschen interagieren (wie Chatbots oder virtuelle Assistenten), offenlegen, dass der Nutzer mit einer Maschine kommuniziert, „es sei denn, dies geht aus dem Kontext hervor“. Ebenso müssen KI-generierte Deepfake-Inhalte vom Urheber als solche gekennzeichnet werden, um Täuschung zu verhindern (mit Ausnahmen für autorisierte Forschungs-, Kunst- oder Sicherheitszwecke). Bestimmte Systeme zur Emotionserkennung oder biometrischen Kategorisierung (sofern sie nicht gänzlich verboten sind) unterliegen ebenfalls Transparenzpflichten, um betroffene Personen zu informieren. Diese Maßnahmen für Systeme mit begrenztem Risiko spiegeln Verhältnismäßigkeit im wahrsten Sinne des Wortes wider: geringere Vorschriften für geringere Risiken. Sie spiegeln den Grundsatz der Risikosteuerung wider, dass regulatorische Eingriffe dem Risikoniveau angemessen sein sollten. Anstatt die gesamte KI mit strengen Compliance-Anforderungen zu belasten, verlangt das Gesetz von Systemen mit begrenztem Risiko lediglich die Umsetzung einfacher, angemessener Vorsichtsmaßnahmen, wie beispielsweise die Information der Nutzer – eine Reaktion, die auf die geringere Wahrscheinlichkeit oder Auswirkung eines Schadens abgestimmt ist. Im ALARP-Verständnis würden diese in den Bereich der allgemein akzeptablen oder risikoarmen Anwendungen fallen, in dem nur minimale (wenn überhaupt) Aufsicht erforderlich ist. Die Verfasser des Gesetzes haben es bewusst vermieden, die Verpflichtungen für Systeme mit hohem Risiko auf diese Anwendungsbereiche auszuweiten, um „Innovationen nicht übermäßig zu behindern“. Stattdessen geht eine zurückhaltende Transparenzregel auf spezifische Bedenken ein (wie die Menschenwürde oder die Autonomie in Mensch-KI-Interaktionen), ohne zu implizieren, dass die Systeme erhebliche Gefahren bergen.

KI mit minimalem Risiko umfasst alle anderen KI-Systeme, die nicht unter die oben genannten Kategorien fallen. Dies ist im Wesentlichen eine offene Kategorie, die die überwiegende Mehrheit der KI-Anwendungen umfasst (z. B. KI in Videospielen, Unterhaltung, den meisten Geschäftsanalysen, Spam-Filtern usw.), von denen angenommen wird, dass sie nur vernachlässigbare oder routinemäßige Risiken darstellen. Für solche Systeme gelten keine verbindlichen Anforderungen gemäß dem KI-Gesetz (abgesehen von bestehenden Gesetzen). Die Kommission stellte ausdrücklich fest, dass die meisten KI-Systeme „ein minimales oder gar kein Risiko darstellen“ und daher nicht unter das Gesetz fallen. Dieser weit gefasste Schutzbereich ist entscheidend für Verhältnismäßigkeit und Durchführbarkeit: Die Regulierungsbehörden beabsichtigten nicht, risikoarme KI im Detail zu regulieren, um sowohl Ressourcen für die Durchsetzung zu sparen als auch unnötige Einschränkungen für Innovationen zu vermeiden. Das KI-Gesetz fördert zwar freiwillige Verhaltenskodizes für Anbieter von KI ohne hohes Risiko (zur Förderung vertrauenswürdiger KI-Prinzipien), diese sind jedoch nicht bindend. In der Risikotheorie befinden sich Anwendungen mit minimalem Risiko in der allgemein akzeptablen Zone, in der die Regulierungskosten den Nutzen bei weitem übersteigen

Wenn man die Bestimmungen des KI-Gesetzes dieser Risikohierarchie zuordnet, wird deutlich, wie Vorsorgeprinzip und Verhältnismäßigkeit gemeinsam dessen Gestaltung prägen. Einerseits zeugt das Vorhandensein von vollständigen Verboten (inakzeptable KI) von der Bereitschaft, angesichts ungewisser, aber äußerst problematischer KI-Bedrohungen Vorsorgemaßnahmen zu ergreifen – eine Haltung, die mit der Regulierungstradition der EU in den Bereichen Gesundheit und Umwelt im Einklang steht. Andererseits spiegeln die abgestuften Verpflichtungen für KI mit hohem, begrenztem und minimalem Risiko einen differenzierten, verhältnismäßigen Ansatz wider, der ein Einheitsregime vermeidet. Das Gesetz versucht somit, das zu verkörpern, was Risikowissenschaftler als „intelligente Regulierung“ bezeichnen: strenge Maßnahmen, die auf die höchsten Risiken abzielen, und flexible oder gar keine Maßnahmen für geringere Risiken. Dieser Ansatz soll der Vorgabe der EU-Verträge gerecht werden, dass Rechtsvorschriften den Grundsatz der Verhältnismäßigkeit wahren müssen (d. h. nicht über das zur Erreichung der Ziele erforderliche Maß hinausgehen dürfen). Tatsächlich bekräftigt Erwägungsgrund 14 des Gesetzes, dass die Verordnung angesichts ihrer Ziele „nicht über das erforderliche Maß hinausgeht“, und Erwägungsgrund 18 unterstreicht die Angleichung der Vorschriften an internationale Bemühungen bei gleichzeitiger Wahrung der Flexibilität für rasche technologische Entwicklungen.

Risiko, Rechte und verbleibender Schaden: Es ist wichtig zu erkennen, dass sich der Begriff „Risiko“ im KI-Gesetz nicht ausschließlich auf statistische oder sicherheitstechnische Belange bezieht; er ist untrennbar mit Grundrechten und ethischen Werten verbunden. Dies erweitert den traditionellen Anwendungsbereich der Risikoregulierung. Im Gegensatz beispielsweise zum Chemikalienrecht, das Risiko als Wahrscheinlichkeit eines körperlichen Schadens quantifiziert, behandelt das KI-Gesetz immaterielle Schäden – wie die Aushöhlung der Privatsphäre, Diskriminierung oder den Verlust von Autonomie – als regulierungsbedürftige Risiken. Wissenschaftler haben festgestellt, dass die Risiken der KI oft „grundlegende gesellschaftliche Werte“ bedrohen und schwer zu quantifizieren sind. Das Gesetz trägt dem Rechnung, indem es Risiken für Grundrechte ausdrücklich in die Definition von hohem Risiko und in die vorgeschriebene Risikobewertung einbezieht (Anbieter müssen gemäß Artikel 9 Absatz 2 Risiken für Rechte wie Nichtdiskriminierung und Privatsphäre usw. bewerten). Dies führt zu normativer Unklarheit bei Risikoabwägungen. Wie viel Voreingenommenheit oder Eingriff in die Privatsphäre ist ein „akzeptables“ Restrisiko? Das Gesetz sieht keine numerischen Schwellenwerte für solche Schäden vor, sondern stützt sich stattdessen auf allgemeine Grundsätze (z. B. die Beseitigung unrechtmäßiger Voreingenommenheit) und auf den „Stand der Technik“ bei der Risikominderung (siehe den folgenden Abschnitt). Es überträgt bestimmte normative Entscheidungen verschiedenen Akteuren: Entwickler müssen Designentscheidungen treffen, um Wertschäden zu minimieren; Normungsgremien und Regulierungsbehörden werden im Laufe der Zeit Messgrößen und akzeptable Werte konkretisieren. Diese Dynamik wird als zentrale Herausforderung anerkannt – die Abwägung der Vorteile der KI gegen die mit den Rechten verbundenen Risiken erfordert politisches und ethisches Urteilsvermögen, nicht nur technische Risikoanalysen. Die Lösung des Gesetzes besteht darin, Grundrechtserwägungen in den Risikomanagementrahmen einzubetten (Risiken für Rechte werden gleichberechtigt mit Sicherheitsrisiken behandelt) und externe Bezugspunkte (wie die EU-Charta der Grundrechte und die Rechtsprechung) heranzuziehen, um zu bestimmen, was angemessen ist. Wenn beispielsweise die verbleibende Voreingenommenheit eines KI-Systems zu systematischer Diskriminierung führt, würde dies wahrscheinlich als inakzeptables Restrisiko angesehen werden, da es im Widerspruch zu den Rechten auf Nichtdiskriminierung steht. Das Konzept des nach der Risikominderung verbleibenden Schadens wird daher nicht nur quantitativ bewertet, sondern auch anhand qualitativer rechtlicher Standards (z. B.: Ist die verbleibende Voreingenommenheit rechtswidrig oder erheblich genug, um geschützte Gruppen zu schädigen? Die Anforderung des Gesetzes, dass das Restrisiko als „akzeptabel“ eingestuft werden muss (Artikel 9 Absatz 5), impliziert die Erwartung einer begründeten Rechtfertigung: Anbieter sollten in der Lage sein zu erklären, warum verbleibende Risiken geringfügig sind oder durch „ “ Schutzmaßnahmen und Vorteile aufgewogen werden, im Einklang mit gesellschaftlichen Erwartungen und dem „ALARP“-Prinzip in der Sicherheitstechnik – d. h., dass eine weitere Risikominderung Maßnahmen erfordern würde, die in keinem Verhältnis zu der zusätzlichen Risikominderung stünden.

Zusammenfassend lässt sich sagen, dass die Einstufung von KI-Systemen in Risikostufen im KI-Gesetz das Vorsorgeprinzip (für wirklich inakzeptable KI-Praktiken) mit einer verhältnismäßigen, risikobasierten Zuweisung von Compliance-Pflichten (für das Spektrum von hohem bis minimalem Risiko) verbindet. Er strebt ein „so gering wie vernünftigerweise praktikabel“ (ALARP) Niveau des Restrisikos für risikoreiche KI an und verpflichtet Anbieter ausdrücklich, Risiken „soweit technisch machbar“ zu beseitigen oder zu mindern und anschließend Kontrollen oder Warnhinweise für Risiken einzuführen, die sich nicht durch die Konstruktion ausschließen lassen. Diese Hierarchie und Methodik steht in starkem Einklang mit klassischen Rahmenwerken der Risikoregulierung, wie sie beispielsweise im EU-Produktsicherheitsrecht zu finden sind. In diesem Zusammenhang werden gefährliche Produkte verboten oder streng reguliert, während Produkte mit geringem Risiko weitgehend dem Markt überlassen bleiben. Neu ist hier jedoch die Ausweitung dieser Logik auf die ethischen und sozialen Risiken von KI und die Einbettung von Angemessenheit (was vorhersehbar ist, was dem Stand der Technik entspricht und was akzeptabel ist) als Leitstandards. In den folgenden Abschnitten werden diese Konzepte der Angemessenheit näher beleuchtet und untersucht, wie Regulierungsbehörden und Unternehmen bestimmen, welche Maßnahmen nach dem Gesetz angemessen und ausreichend sind.

III. Konzeptionelle Prüfungen für „angemessene“ Kontrollen und den „Stand der Technik“ – Gestaltung von Verpflichtungen und Restrisiko

Eine zentrale Herausforderung bei der Umsetzung der Anforderungen des KI-Gesetzes besteht darin, die offen formulierten Begriffe zu verstehen, die die Qualität und den Umfang der erforderlichen Maßnahmen beschreiben. In den Verpflichtungen für risikoreiche KI verwendet das Gesetz Formulierungen wie „angemessene … Maßnahmen“, „Stand der Technik“ und „vernünftigerweise vorhersehbarer Missbrauch“, was Ermessensentscheidungen darüber erfordert, welches Restrisiko „akzeptabel“ ist. Diese dienen als konzeptionelle Angemessenheitstests – im Wesentlichen als Kriterien, die den strengen Wortlaut des Gesetzes an die sich entwickelnde Technologie und den Kontext binden. In diesem Abschnitt werden diese Konzepte näher erläutert:

Der Begriff „vernünftigerweise vorhersehbarer Missbrauch“ erweitert den Umfang der Risikovorhersage: Anbieter von KI-Systemen mit hohem Risiko sind verpflichtet, nicht nur den bestimmungsgemäßen Gebrauch des KI-Systems zu berücksichtigen, sondern auch dessen Missbrauch, sofern ein solcher Missbrauch vernünftigerweise vorhersehbar ist (Artikel 9 Absatz 2 Buchstabe b). Das Gesetz definiert „vernünftigerweise vorhersehbaren Missbrauch“ als die Nutzung eines KI-Systems „in einer Weise, die nicht seinem vorgesehenen Zweck entspricht, die sich jedoch aus vernünftigerweise vorhersehbarem menschlichem Verhalten oder der Interaktion mit anderen Systemen ergeben kann“. Einfach ausgedrückt müssen Entwickler sich fragen: Wie könnte diese KI in der Praxis angesichts typischer Nutzergewohnheiten oder der Integration in andere Tools fälschlicherweise oder missbräuchlich verwendet werden? Dieses Konzept stammt aus dem Produktsicherheitsrecht (z. B. verlangen Maschinenrichtlinien seit langem, dass vom Hersteller vorhersehbarer Missbrauch berücksichtigt wird). Es schließt die Lücke, durch die ein Anbieter behaupten könnte, ein System sei sicher, „wenn es genau nach Anleitung verwendet wird“, während Nutzer in der Praxis vorhersehbar anders handeln könnten. Nach dem KI-Gesetz müssen Anbieter von KI-Systemen mit hohem Risiko (z. B. einer KI-gestützten medizinischen Diagnosehilfe) beispielsweise vorhersehen, dass ein vielbeschäftigter Arzt sich zu sehr auf die Vorschläge der KI verlassen könnte (eine Form des Missbrauchs durch Automatisierungsvoreingenommenheit) oder dass ein Anwender die KI bei einer Patientengruppe einsetzen könnte, die außerhalb des vorgesehenen Anwendungsbereichs liegt. Sind solche Szenarien vernünftigerweise vorhersehbar, sollte der Anbieter ihnen durch konstruktive Sicherheitsvorkehrungen, Nutzungsbeschränkungen oder zumindest durch Warnhinweise in der Gebrauchsanweisung begegnen. Tatsächlich verlangt Artikel 13 Absatz 3, dass die Gebrauchsanweisung nicht nur Angaben zum Verwendungszweck und zur Leistungsfähigkeit enthält, sondern auch „alle bekannten oder vorhersehbaren Umstände … eines vernünftigerweise vorhersehbaren Missbrauchs, der zu Risiken führen kann“, damit die Anwender auf diese potenziellen Gefahren hingewiesen werden. Maßnahmen zur menschlichen Überwachung müssen ebenfalls darauf abzielen, „die Risiken […] zu verhindern oder zu minimieren, wenn [die KI] […] unter Bedingungen eines vernünftigerweise vorhersehbaren Missbrauchs verwendet wird, insbesondere wenn solche Risiken trotz anderer Anforderungen bestehen bleiben“ (Artikel 14 Absatz 2). Dies gewährleistet ein mehrschichtiges Sicherheitsnetz: Selbst wenn alle konstruktiven Maßnahmen in Kraft sind ( ), sollte es eine Aufsicht oder einen Ausweichmechanismus geben, um Schäden zu mindern, falls ein Missbrauch dennoch Schaden verursachen könnte (z. B. wenn ein Bediener eine Sicherheitswarnung ignoriert).

Bei der Prüfung der Vorhersehbarkeit geht es im Wesentlichen um Angemessenheit und Wissen. Es wird gefragt, was ein vernünftiger Anbieter, der über aktuelle Erkenntnisse zum menschlichen Verhalten und zum Einsatzkontext verfügt, vorhersagen sollte. Damit liegt die Verantwortung bei den KI-Entwicklern, die Nutzerumgebung und wahrscheinliche Fehlermodi zu erforschen und zu verstehen. Wenn beispielsweise ein KI-System in einer kritischen Infrastruktur eingesetzt wird, ist es vernünftigerweise vorhersehbar, dass menschliche Bediener es unter Druck missbrauchen könnten oder dass böswillige Akteure versuchen könnten, es zu manipulieren; daher sollte der Anbieter diese Risiken antizipieren und vorbeugende Funktionen einbauen (oder diese zumindest offenlegen). Indem das Gesetz die Verpflichtungen an das „vernünftigerweise Vorhersehbare“ knüpft, orientiert es sich am Konzept des Verschuldens im Deliktsrecht, wo die Vorhersehbarkeit eines Schadens ein entscheidender Faktor für die Feststellung von Fahrlässigkeit ist. Das Regime des KI-Gesetzes ist jedoch ex ante und wartet nicht darauf, dass ein Schaden eintritt und gerichtlich geklärt wird; es verlangt vom Hersteller proaktiv, wie ein „vernünftiger Risikomanager“ zu denken. Dieser Aspekt könnte als Einbeziehung eines Fahrlässigkeitsstandards in die Einhaltung von Vorschriften angesehen werden: Das Versäumnis, ein vorhersehbares Missbrauchsrisiko anzugehen, könnte das KI-System nicht konform machen (und möglicherweise nach Produkthaftungsvorschriften als fehlerhaft gelten).

Insbesondere stellt das Gesetz in Erwägungsgrund 65 klar, dass die Ermittlung von Maßnahmen zur Risikominderung für vorhersehbaren Missbrauch „keine spezifische zusätzliche Schulung der KI durch den Anbieter erfordern sollte“, obwohl die Anbieter dazu ermutigt werden, dies in Betracht zu ziehen. Mit anderen Worten: Ein Anbieter ist nicht streng verpflichtet, ein KI-Modell neu zu trainieren, um jedes Missbrauchsszenario zu bewältigen (was eine endlose Aufgabe sein könnte), aber er sollte solche Szenarien dokumentieren und davor warnen. Die Abwägung ist hier pragmatisch: Es soll für Bewusstsein und gewisse Abhilfemaßnahmen (wie Benutzerschulungen oder Eingabeprüfungen) gesorgt werden, ohne unmögliche Perfektion vorzuschreiben. Dennoch unterstreicht die Einbeziehung vorhersehbarer Missbräuche, dass das Restrisiko teilweise eine Funktion der Benutzerinteraktion ist. Das Gesetz verschiebt damit die Grenze der Herstellerverantwortung näher an den Benutzerbereich als bei vielen traditionellen Produkten, was die dynamische Natur der KI widerspiegelt und die Tatsache, dass die Interaktion zwischen Mensch und KI selbst neue Risiken schaffen kann (z. B. übermäßiges Vertrauen in KI-Empfehlungen).

„Angemessene“ Maßnahmen beziehen sich auf Verhältnismäßigkeit und Kontextsensitivität: Der Begriff „angemessen“ taucht in den Anforderungsklauseln des KI-Gesetzes wiederholt auf – z. B. „am besten geeignete Maßnahmen zur Risikominderung“, „angemessene Art und Grad der Transparenz“, „angemessene Mensch-Maschine-Schnittstelle“ für die Aufsicht und „technische Lösungen …, die den jeweiligen Umständen und Risiken angemessen sind“ für die Cybersicherheit. Diese Formulierung sorgt für Flexibilität und verlangt, dass die Maßnahmen dem spezifischen Kontext und dem Risikograd des jeweiligen KI-Systems angemessen sind. Sie impliziert zudem intern eine Verhältnismäßigkeitsprüfung: Was zur Bewältigung eines geringfügigen Risikos angemessen ist, könnte für ein großes Risiko unzureichend sein. So heißt es beispielsweise in Artikel 14 Absatz 3 zur menschlichen Aufsicht, dass die Aufsichtsmaßnahmen „den Risiken, dem Grad der Autonomie und dem Nutzungskontext angemessen“ sein müssen. Somit erfordert eine risikoreiche KI mit größerer Autonomie oder größeren Auswirkungen (etwa eine KI zur Triage von Notfallpatienten) strengere Überwachungsmechanismen (möglicherweise Möglichkeiten für menschliches Eingreifen in Echtzeit oder mehrfache menschliche Überprüfungen usw.), während eine risikoreiche KI mit geringeren Auswirkungen (etwa ein Tool zur Lebenslaufprüfung) eine einfachere Überwachung rechtfertigen könnte (regelmäßige Audits, Übersteuerungsoption). Das Gesetz schreibt für bestimmte Anwendungsfälle ausdrücklich zusätzliche Überwachungsanforderungen vor: So müssen beispielsweise biometrische Identifizierungssysteme in der Strafverfolgung mindestens zwei menschliche Bediener haben, die eine Identifizierung überprüfen, bevor Maßnahmen ergriffen werden, es sei denn, dies wird für bestimmte Sektoren gesetzlich als unverhältnismäßig angesehen. Dies veranschaulicht die Abstimmung „angemessener“ Maßnahmen auf die Schwere des Risikos.

Was als angemessen gilt, hängt auch vom sich weiterentwickelnden „Stand der Technik“ ab (ein Konzept, auf das wir im Folgenden eingehen). In Erwägungsgrund 64 heißt es, dass Maßnahmen, die von Anbietern zur Erfüllung der Anforderungen ergriffen werden, „den allgemein anerkannten Stand der Technik berücksichtigen sollten … sowie „ “ verhältnismäßig und wirksam sein sollten, um die Ziele“ des Gesetzes zu erreichen. Tatsächlich hat die Angemessenheit zwei Dimensionen: Wirksamkeit (minder das Risiko die Maßnahme angesichts des aktuellen technischen Wissensstands?) und Verhältnismäßigkeit (ist der Aufwand der Maßnahme durch das Ausmaß der erzielten Risikominderung gerechtfertigt?). Der ALARP-Grundsatz dient als Leitlinie: Eine Maßnahme ist angemessen, sofern ihre Kosten oder Auswirkungen nicht in krassem Missverhältnis zu der erzielten Risikominderung stehen. Wenn beispielsweise eine geringfügige Softwareanpassung einen schwerwiegenden Ausfallmodus verhindern kann, ist es angemessen (und zu erwarten), diese umzusetzen; wenn jedoch die Behebung eines sehr geringen Risikos enorme Kosten erfordern oder die Nutzbarkeit des Systems grundlegend verändern würde, könnte dies über das „vernünftigerweise Durchführbare“ hinausgehen und somit nicht vorgeschrieben sein. Artikel 9 Absatz 4 fasst dieses Gleichgewicht zusammen und besagt, dass Maßnahmen zur Risikominderung „ein angemessenes Gleichgewicht bei der Umsetzung der Maßnahmen zur Erfüllung dieser Anforderungen erreichen“ sollten, wobei die kombinierten Auswirkungen gebührend zu berücksichtigen sind. Dies deutet darauf hin, dass die Minderung eines Risikos (z. B. Verzerrung) manchmal einen anderen Aspekt (z. B. Genauigkeit) beeinträchtigen kann; daher muss der Anbieter abwägen und eine optimale Lösung finden, die das Gesamtrisiko angemessen reduziert, ohne eine Dimension auf Kosten einer anderen überkorrigieren. Das Konzept des „angemessenen Gleichgewichts“ spiegelt erneut den Grundsatz der Angemessenheit wider und erfordert einen wohlüberlegten, begründeten Kompromiss statt mechanischer Einhaltung.

Rechtlich gesehen bedeutet die Verwendung eines Begriffs wie „angemessen“, dass Regulierungsbehörden und Gerichte die Einhaltung der Vorschriften kontextspezifisch bewerten werden. Sie werden wahrscheinlich fragen: Hat der Anbieter angesichts der Art dieses KI-Systems und der vorhersehbaren Risiken Maßnahmen umgesetzt, die ein kompetenter Akteur in diesem Bereich als geeignet und ausreichend erachten würde? Dies erfordert Rückgriff auf Standards und bewährte Verfahren: Wenn (formelle oder de facto) Standards existieren, die angemessene Schutzmaßnahmen beschreiben, würde deren Befolgung die Einhaltung der Vorschriften signalisieren. Umgekehrt könnten die Maßnahmen eines Anbieters als unangemessen beurteilt werden, wenn er nur das absolute Minimum getan hat, während seine Mitbewerber in der Regel mehr tun, um die Sicherheit zu gewährleisten. Auch dieser Standard entwickelt sich weiter: Was heute angemessen ist, muss es in einigen Jahren, wenn die Technologie voranschreitet, nicht mehr sein. Dies steht in direktem Zusammenhang mit dem Stand der Technik.

„Stand der Technik“ stellt einen dynamischen Maßstab für Sicherheit und Risikominderung dar: Der Stand der Technik ist ein entscheidender Bezugspunkt im KI-Gesetz. Er taucht an mehreren Stellen auf: Artikel 8 Absatz 1 besagt, dass risikoreiche KI Anforderungen erfüllen muss, „unter Berücksichtigung des allgemein anerkannten Stands der Technik bei KI und KI-bezogenen Technologien“; In den Erwägungsgründen 64 und 65 wird betont, dass Maßnahmen und das Risikomanagement unter Berücksichtigung des Stands der Technik umgesetzt werden sollten; und selbst in der Definition der harmonisierten Normen wird darauf hingewiesen, dass diese den Stand der Technik widerspiegeln sollen. Der Stand der Technik bedeutet im Wesentlichen den aktuellen Stand der technologischen Entwicklung und des Wissens, der den Fachleuten vernünftigerweise zur Verfügung steht. Es handelt sich um ein etabliertes Konzept im Produktsicherheitsrecht (z. B. wird es in der EU-Maschinenrichtlinie verwendet) und in Normen. Der „Blue Guide“ der Kommission aus dem Jahr 2022 zur Produktregulierung stellt klar, dass Verweise auf den Stand der Technik dazu dienen, Flexibilität für den technischen Fortschritt zu schaffen. Mit anderen Worten: Das Gesetz legt die Anforderungen nicht auf eine feste technologische Lösung fest, sondern erwartet, dass sie sich mit der Verbesserung der Technologie weiterentwickeln.

In der Praxis bedeutet die Einhaltung des Stands der Technik für einen KI-Anbieter, aktuelle Methoden und Werkzeuge zur Risikominderung einzusetzen. Wenn sich sicherere Algorithmen, robuste Trainingstechniken oder verbesserte Testverfahren in der Branche etabliert haben, sollte ein Anbieter diese integrieren (oder einen zwingenden Grund dafür haben, warum er dies nicht tut). Wenn sich beispielsweise der Stand der Technik bei der Abwehr von Angriffen (um zu verhindern, dass eine KI durch böswillige Eingaben „ausgetrickst“ wird) weiterentwickelt, wird von künftigen KI-Systemen erwartet, dass sie diese verbesserten Abwehrmaßnahmen enthalten. Dies schafft eine dynamische regulatorische Anforderung, die im Laufe der Zeit steigen kann. Es steht auch im Einklang mit dem Gedanken der kontinuierlichen Verbesserung. Wenn neue Bedrohungen auftauchen oder neue Lösungen erfunden werden, verschärft sich die Schwelle für das akzeptable „Restrisiko“ effektiv, da mehr getan werden kann, um das Risiko zu mindern. Tatsächlich sieht Erwägungsgrund 65 vor, dass das Risikomanagementsystem iterativ ist und regelmäßig aktualisiert wird, um wirksam zu bleiben, und es wird ausdrücklich darauf hingewiesen ( ), dass Entscheidungen im Lichte des Stands der Technik begründet werden sollten. Wenn ein Anbieter eine offensichtliche Lösung nach dem Stand der Technik ignoriert und ein Problem auftritt, würde er wahrscheinlich als nicht konform eingestuft werden (und möglicherweise im Rahmen von Haftungsregelungen haftbar gemacht werden). Dies schafft Anreize für Innovationen im Bereich der Sicherheit: Unternehmen haben einen Grund, sich über die neuesten Forschungsergebnisse zu Sicherheit und Fairness von KI auf dem Laufenden zu halten, da der Regulierungsstandard nicht statisch ist.

Aus Sicht der Risikoregulierungstheorie ist der Verweis auf den Stand der Technik ein Weg, mit Unsicherheit und Wandel umzugehen – den Kennzeichen der KI-Technologie. Dies entspricht dem Ansatz der FDA bei Medizinprodukten, wonach Hersteller aktuelle technische Standards befolgen oder gleichwertige Sicherheit nachweisen müssen. Dadurch wird verhindert, dass die Regulierung entweder hinterherhinkt (durch die Festschreibung alter Standards) oder schnell veraltet. Dies bedeutet jedoch auch eine gewisse Unklarheit: Wer bestimmt, was der Stand der Technik ist? In der Praxis werden harmonisierte Normen eine bedeutende Rolle spielen (wir behandeln dies im folgenden Abschnitt). Normungsgremien (CEN/CENELEC, ISO/IEC usw.) bringen Experten zusammen, um den Stand der Technik in normativen Dokumenten festzuhalten. Die Einhaltung solcher Normen führt dann zu einer „Konformitätsvermutung“ – praktisch ein „Safe Harbor“, der zeigt, dass die Anforderungen des Stands der Technik erfüllt sind. In Ermangelung einer Norm könnten sich Anbieter auf den Konsens in der wissenschaftlichen Literatur oder auf Leitlinien von maßgeblichen Stellen (wie die Ethikleitlinien oder technischen Benchmarks der hochrangigen Expertengruppe) stützen. Das KI-Gesetz ermöglicht es der Kommission zudem, gemeinsame Spezifikationen zu veröffentlichen, falls sich die Normen verzögern, wodurch der Stand der Technik auf ähnlich Weise, jedoch flexibler erfasst würde.

Eine Folge der „State-of-the-Art“-Klausel ist, dass das Restrisiko im Laufe der Zeit abnehmen muss. So kann es beispielsweise sein, dass der aktuelle Stand der Technik Verzerrungen in der KI nicht vollständig beseitigen kann; daher kann eine gewisse Verzerrung als Restrisiko tolerierbar sein, sofern der Anbieter alles technisch Machbare unternommen hat. Sollten jedoch in einigen Jahren neue Techniken aufkommen, die bestimmte Verzerrungen praktisch beseitigen, wäre das Fortbestehen dieser Verzerrung kein „akzeptables Restrisiko“ mehr, da der Stand der Technik Abhilfemaßnahmen bietet. Dies knüpft an ALARP an: Da sich die Grenze des „vernünftigerweise Machbaren“ mit der Technologie verschiebt, verlangt das Gesetz eine stärkere Risikominderung. Andererseits schützt der Stand der Technik auch vor unrealistischen Anforderungen: Regulierungsbehörden sollten nichts erwarten, was (noch) nicht möglich ist. Die Anforderung an Robustheit und Genauigkeit in Artikel 15 wird durch „angemessene“ Niveaus gemildert, was nicht Perfektion bedeutet, sondern das bestmögliche derzeit Erreichbare. Artikel 15 Absatz 4 fordert die Entwicklung von Systemen, die nach der Markteinführung lernen, um das Risiko von Rückkopplungsschleifen, die zu einer Leistungsminderung führen, „so weit wie möglich zu beseitigen oder zu verringern“. „So weit wie möglich“ ist gleichbedeutend mit dem ALARP-Gebot, das Risiko so weit wie vernünftigerweise möglich zu reduzieren – im Wesentlichen eine andere Art, „im Rahmen der technischen Möglichkeiten“ zu sagen.

Zusammenfassend lässt sich sagen, dass der Stand der Technik als dynamischer Maßstab für die Angemessenheit fungiert. Er stellt sicher, dass die Verpflichtung zu „angemessenen Maßnahmen“ an dem ausgerichtet ist, was kompetente Fachkollegen derzeit tun würden (und nicht an etwas Veraltetem oder rein Theoretischem). Auf diese Weise bringt er Innovation und Sicherheit in Einklang: Er legt das Design nicht fest, sondern drängt die Branche dazu, die Messlatte gemeinsam höher zu legen. Rechtlich wird dies wahrscheinlich so ausgelegt, dass die Einhaltung der Vorschriften ein bewegliches Ziel ist – Unternehmen werden dokumentieren, wie ihre Prozesse aktuelle Best Practices widerspiegeln (z. B. die Nutzung der neuesten sicheren Architekturen, Bibliotheken zur Verringerung von Verzerrungen, strenge Testprotokolle wie adversarische Penetrationstests usw.). Regulierungsbehörden und Prüfer können technische Experten konsultieren oder auf Referenzdokumente zurückgreifen, um festzustellen, ob eine Technologie zum Zeitpunkt ihrer Einführung dem Stand der Technik entsprach.

Um diese Ideen zu konkretisieren, betrachten wir einen spezifischen Anwendungsfall mit hohem Risiko: KI in kritischer Infrastruktur (z. B. ein KI-System, das die Last im Stromnetz ausgleicht). Zu den vorhersehbaren Missbräuchen könnten gehören, dass ein Betreiber die KI über die empfohlenen Einstellungen hinaus ausreizt oder dass ein Hacker falsche Daten einspeist (Cyber-Missbrauch). Geeignete Maßnahmen könnten integrierte Begrenzungen, Alarme und eine robuste Authentifizierung umfassen. Modernste Technologie könnte den Einsatz redundanter Ausfallsicherungen und der neuesten Algorithmen zur Erkennung von Anomalien beinhalten, um Störungen im Netz zu erkennen. Der Anbieter muss die KI so gestalten, dass sie widerstandsfähig ist (Artikel 15 Absatz 5 schreibt tatsächlich Widerstandsfähigkeit gegen unbefugte Manipulationen durch Dritte vor), und dabei modernste Cybersicherheitspraktiken anwenden. Wenn trotz aller Maßnahmen ein Restrisiko verbleibt (zum Beispiel eine sehr seltene Situation, die dennoch zu einem Ausfall führen könnte), stellt sich die Frage, ob dies akzeptabel ist. Wenn es ähnlichen Systemen weltweit gelungen ist, dieses Risiko zu bewältigen, dann würde eine Nichtbeachtung dieses Risikos wahrscheinlich den Stand-der-Technik-Test nicht bestehen. Wenn noch niemand weiß, wie man es lösen kann, könnte der Anbieter argumentieren, dass das Risiko ALARP ist – auf das Maß minimiert, das die aktuelle Technik zulässt – und somit akzeptabel, bis neue Lösungen auftauchen. Die kontinuierliche Überwachung und die Verpflichtungen nach dem Inverkehrbringen (wie Qualitätsmanagement und Meldung von Vorfällen) stellen zudem sicher, dass das System aktualisiert oder bei Bedarf sogar vom Markt genommen werden kann, sobald Verbesserungen nach dem Stand der Technik oder neue Hinweise auf Risiken auftreten.

Zwischenfazit: „Vernünftigerweise vorhersehbarer Missbrauch“, „angemessene“ Maßnahmen und „Stand der Technik“ setzen gemeinsam die risikobasierte Philosophie des Gesetzes unter dem Gesichtspunkt der Angemessenheit und Anpassungsfähigkeit um. Sie verlangen von KI-Anbietern, vorausschauend zu denken (über Missbrauch und Worst-Case-Szenarien), ihre Vorsichtsmaßnahmen an den Kontext und die Schwere des Risikos anzupassen und ihre Lösungen ständig am neuesten Stand von Wissenschaft und Technik zu messen. Diese Konzepte stützen sich sowohl auf die Rechtstradition (Vorhersehbarkeit und Angemessenheit spiegeln die Sorgfaltspflicht des Deliktsrechts wider) als auch auf ingenieurwissenschaftliche Ansätze (Stand der Technik und ALARP stammen aus sicherheitstechnischen Standards). Durch deren Einbettung zielt der KI-Gesetz darauf ab, sicherzustellen, dass seine übergeordneten Vorgaben (wie „Gewährleistung von Genauigkeit, Robustheit und Cybersicherheit“) weder trivial erfüllt noch unmöglich streng sind, sondern stattdessen auf sinnvolle, evidenzbasierte Weise erfüllt werden, die sich im Laufe der Zeit weiterentwickelt.

Im folgenden Abschnitt wird untersucht, wie harmonisierte Normen und Konformitätsbewertungsmechanismen dazu beitragen, diesen flexiblen Konzepten konkrete Gestalt zu verleihen, indem sie „Stand der Technik“ und „angemessene Maßnahmen“ effektiv in Checklisten und technische Spezifikationen umsetzen, die Anbieter umsetzen und Behörden überprüfen können.

IV. Die Rolle harmonisierter Normen und die Konformitätsvermutung

Die praktische Umsetzung der Anforderungen des KI-Gesetzes wird in hohem Maße auf technischen Normen und Konformitätsbewertungsverfahren beruhen. Wie in der EU-Produktregulierung üblich, folgt das Gesetz dem Ansatz des neuen Rechtsrahmens, indem es wesentliche Anforderungen in Rechtsvorschriften festlegt, die durch harmonisierte europäische Normen ergänzt werden, welche detaillierte technische Mittel zur Einhaltung vorgeben. Anbieter, die diese Normen befolgen, genießen die Konformitätsvermutung mit den entsprechenden rechtlichen Anforderungen. Dieser Abschnitt untersucht, wie Normen und der Konformitätsvermutungsmechanismus im Rahmen des KI-Gesetzes funktionieren und warum sie für eine verhältnismäßige Ex-ante-Kontrolle von zentraler Bedeutung sind.

Harmonisierte Normen als Maßstäbe: Harmonisierte Normen sind Spezifikationen, die in der Regel von europäischen Normungsorganisationen (CEN, CENELEC, ETSI) auf Ersuchen der Europäischen Kommission entwickelt und anschließend im Amtsblatt der EU veröffentlicht werden. Mit ihrer Veröffentlichung werden sie zu anerkannten Mitteln zur Erfüllung der gesetzlichen Anforderungen. Der KI-Gesetz definiert den Begriff „harmonisierte Norm“ ausdrücklich unter Verweis auf die Verordnung (EU) Nr. 1025/2012. Entscheidend ist, dass in Erwägungsgrund 118 des KI-Gesetzes heißt: „Die Einhaltung harmonisierter Normen …, von denen normalerweise erwartet wird, dass sie den Stand der Technik widerspiegeln, sollte für Anbieter ein Mittel sein, die Konformität mit den Anforderungen nachzuweisen.“ In Ermangelung von Normen kann die Kommission als Ausweichlösung gemeinsame Spezifikationen (im Wesentlichen technische Vorschriften, die über einen Durchführungsrechtsakt festgelegt werden) erlassen. Dieser Rahmen stellt sicher, dass die abstrakten Verpflichtungen (z. B. die Gewährleistung fehlerfreier Daten, die Gewährleistung von Transparenz usw.) in überprüfbare Kriterien umgesetzt werden können.

Betrachten wir beispielsweise die Anforderung, dass Trainingsdaten „relevant, repräsentativ, so weit wie möglich fehlerfrei und vollständig“ sein müssen (Artikel 10 Absatz 3). An sich ist dies eine qualitative Vorgabe. Eine harmonisierte Norm (die etwa von ISO/IEC JTC 1/SC 42 für KI oder der CEN-CENELEC-Fokusgruppe für KI entwickelt werden könnte) könnte quantitative Schwellenwerte oder Verfahren festlegen – z. B. wie die Repräsentativität statistisch zu prüfen ist, wie die Datenherkunft zu dokumentieren ist und welche Metriken für die Datengenauigkeit gelten. Wendet ein Anbieter eine solche Norm an, kann er davon ausgehen, dass er die Datenanforderungen von Artikel 10 erfüllt. In ähnlicher Weise könnte eine Norm für Robustheit und Cybersicherheit (Artikel 15) unter anderem Methoden für Penetrationstests von KI-Modellen und Verschlüsselungsprotokolle zur Gewährleistung der Modellintegrität detailliert beschreiben. Bei einem Anbieter, der diese befolgt, wird davon ausgegangen, dass er die Robustheits-/Sicherheitsverpflichtungen erfüllt. Dies schafft Rechtssicherheit: Unternehmen ziehen klare Checklisten unklaren Begriffen vor, und Normen bieten genau das. Außerdem fördert dies die Einheitlichkeit im Binnenmarkt, da alle Akteure, die dieselben Normen erfüllen, als konform akzeptiert werden sollten.

Konformitätsvermutung: Der KI-Gesetzentwurf sieht in bestimmten Kontexten ausdrücklich eine Konformitätsvermutung vor. Insbesondere legt Artikel 42 Absatz 1 fest, dass bei einem KI-System mit hohem Risiko, das anhand von Daten trainiert und getestet wurde, die den spezifischen Anwendungskontext widerspiegeln (d. h. unter Vermeidung geografischer oder demografischer Verzerrungen), davon ausgegangen wird, dass es die Datenqualitätsanforderung gemäß Artikel 10 Absatz 4 erfüllt. Dies ist eine spezifische, in das Gesetz eingebaute Vermutung, die wahrscheinlich Anreize für die Verwendung lokalisierter Daten zur Verbesserung der Genauigkeit schaffen soll. Artikel 42 Absatz 2 sieht eine weitere Vermutung vor: Bei KI-Systemen mit hohem Risiko, die im Rahmen eines anerkannten EU-Cybersicherheitssystems (gemäß dem Cybersicherheitsgesetz 2019/881) zertifiziert sind, wird davon ausgegangen, dass sie die Cybersicherheitsanforderungen des KI-Gesetzes erfüllen, soweit die Zertifizierung diese abdeckt. Dies ist eine interessante systemübergreifende Verknüpfung (mehr zum Zusammenspiel im Bereich Cybersicherheit später). Darüber hinaus gilt der allgemeine Mechanismus, dass die Einhaltung der in Artikel 40 genannten harmonisierten Normen eine Vermutung der Konformität mit den entsprechenden Anforderungen begründet. In der Praxis ermöglicht Artikel 43 Absatz 1 den Anbietern, sich einer vereinfachten Konformitätsbewertung (Selbstbewertung für bestimmte Systeme) zu unterziehen, wenn sie harmonisierte Normen anwenden. Verwenden sie keine Normen, ist eine strengere Bewertung (oft unter Einbeziehung einer benannten Stelle) erforderlich, was bedeutet, dass sie dann durch „andere Mittel“ nachweisen müssen, dass sie die grundlegenden Anforderungen erfüllt haben.

Die Konformitätsvermutung ist somit ein wirkungsvolles Instrument zur Einhaltung der Vorschriften, da sie die Beweislast umkehrt. Ein Anbieter, der Normen anwendet, kann von der Konformität ausgehen (sofern keine gegenteiligen Beweise vorliegen), während ein Anbieter, der von den Normen abweicht, die Gleichwertigkeit nachweisen muss. Angesichts dessen werden die meisten Unternehmen wahrscheinlich die Normen befolgen, sobald diese verfügbar sind, da dies ihr Konformitätsverfahren risikofreier macht.

Normen als Ausdruck des Stands der Technik: Die Beziehung zwischen Normen und dem Stand der Technik ist bidirektional. Einerseits wird, wie in Erwägungsgrund 118 festgestellt, erwartet, dass Normen den Stand der Technik widerspiegeln. Normungsgremien bringen Experten zusammen und integrieren im Konsens den neuesten Wissensstand (vorbehaltlich regelmäßiger Überarbeitungen). Andererseits bedeutet der Verweis des Gesetzes auf den Stand der Technik, dass es anerkannt werden könnte, wenn Normen veralten (und hinter dem technischen Fortschritt zurückbleiben). Der Blue Guide 2022 weist darauf hin, dass eine harmonisierte Norm, wenn sich herausstellt, dass sie nicht mehr den Stand der Technik widerspiegelt, möglicherweise aktualisiert oder sogar zurückgezogen werden muss. Das KI-Gesetz geht sogar darauf ein: Artikel 40 Absatz 2 erlaubt es der Kommission, im Amtsblatt die Fundstellen harmonisierter Normen zu veröffentlichen, die ihren Anforderungen entsprechen, was bedeutet, dass die Kommission beschließen kann, eine Norm nicht vollständig zu zitieren, wenn diese unvollständig ist oder Bedenken hinsichtlich der Grundrechte aufwirft. Es gibt auch ein Verfahren (das in der EU-Normungsverordnung dargelegt ist), nach dem die Kommission Einwände gegen eine harmonisierte Norm erheben kann, die die rechtlichen Anforderungen nicht erfüllt. In Erwägungsgrund 118 wird ausdrücklich erwähnt, dass, wenn Normen die Grundrechte nicht ausreichend berücksichtigen, gemeinsame Spezifikationen verwendet werden könnten. Dies unterstreicht einen entscheidenden Aspekt der Governance: Es muss sichergestellt werden, dass technische Normen für KI nicht nur technische Leistungs en, sondern auch ethische und rechtsbezogene Aspekte (wie Voreingenommenheit, Transparenz usw.) umfassend abdecken, die schwieriger zu standardisieren sind. Das Gesetz besagt im Wesentlichen: Wir werden Normen verwenden, aber nicht blindlings – sie müssen die Anforderungen wirklich erfüllen; andernfalls werden die Regulierungsbehörden eingreifen.

Konformitätsbewertung und Durchsetzung: Das Gesetz sieht je nach Art des KI-Systems unterschiedliche Wege der Konformitätsbewertung vor. Viele eigenständige KI-Systeme mit hohem Risiko können einer internen Kontrollbewertung (Anhang VI) unterzogen werden, sofern Normen angewendet werden. Wenn jedoch keine Normen existieren oder der Anbieter sich gegen deren Anwendung entscheidet, ist eine Bewertung durch eine dritte Stelle (Anhang VII, unter Einbeziehung einer benannten Stelle) obligatorisch. Einige Systeme – insbesondere solche, die Sicherheitskomponenten von Produkten sind, die durch andere EU-Rechtsvorschriften geregelt werden (wie KI in Medizinprodukten, Kraftfahrzeugen oder Maschinen) – unterliegen der sektoralen Konformitätsbewertung (oft unter Einbeziehung benannter Stellen), wobei die KI-Anforderungen in diesen Prozess integriert sind. In allen Fällen ist das Ergebnis eine EU-Konformitätserklärung und eine CE-Kennzeichnung auf dem KI-System (oder dem Produkt, das es enthält). Die CE-Kennzeichnung signalisiert, dass das System mit dem KI-Gesetz (und allen anderen geltenden Vorschriften) konform ist und im Binnenmarkt in Verkehr gebracht werden darf.

Die Konformitätsvermutung durch Normen vereinfacht diese Konformitätsbewertungen erheblich – im Wesentlichen kann die benannte Stelle (oder der Anbieter bei der Selbstbewertung) die Konformität überprüfen, wenn die Normklauseln eingehalten werden, anstatt die Prüfverfahren selbst neu zu entwickeln. Dies ist angesichts der potenziell enormen Bandbreite an KI-Anwendungen für die Effizienz von entscheidender Bedeutung. Es bietet zudem eine gemeinsame Sprache für die Konformität: So könnte eine Norm beispielsweise festlegen, dass ein Risikomanagementdossier XYZ-Analysen enthalten muss, dass die Genauigkeit auf eine bestimmte Weise gemessen wird und so weiter, sodass sowohl Unternehmen als auch Regulierungsbehörden wissen, was sie erwartet.

Aus der Perspektive der Risikoregulierungstheorie kann man harmonisierte Normen als einen Weg betrachten, Sunsteins Idee einer kosten-nutzen-sensitiven Regulierung umzusetzen: Sie schaffen implizit ein Gleichgewicht zwischen Wirksamkeit und Praktikabilität, oft durch Beiträge der Industrie. Sie können auch „Best Practices“ verankern, die einen Konsens über ALARP für spezifische Risiken darstellen (z. B. könnte die akzeptable Falsch-Positiv-Rate für eine KI bei der Krebsvorsorge in einer Norm vereinbart werden). Durch deren Einhaltung weist ein Anbieter nach, dass er alle von Experten anerkannten angemessenen Maßnahmen ergriffen hat. Wie in einem Kommentar angemerkt wird, dienen Standards als „epistemische Autorität“, die allgemeine Grundsätze in konkrete Normen übersetzt – im Falle der KI werden sie wahrscheinlich technische Kennzahlen, Dokumentationsvorlagen, Risikomanagementschritte, Validierungsverfahren und so weiter umfassen.

Grenzen und Bedeutung der Aufsicht: Die Abhängigkeit von Standards hat jedoch auch Grenzen. Es besteht das Risiko, dass die Festlegung von Standards hinter der rasanten KI-Innovation zurückbleibt oder dass von der Industrie vorangetriebene Standards strenge Anforderungen verwässern. Die im Gesetz vorgesehene Governance geht teilweise darauf ein: Sie sieht ein Europäisches KI-Büro und einen EU-KI-Ausschuss (bestehend aus nationalen Regulierungsbehörden und der Kommission) vor, um die Umsetzung zu überwachen und gegebenenfalls die Herausgabe gemeinsamer Spezifikationen oder die Aktualisierung von Anforderungen zu empfehlen. Der Ausschuss kann auf fehlende oder unzureichende Standards hinweisen. Darüber hinaus muss die Kommission gemäß Artikel 40, wenn keine Standards verfügbar sind oder eine Lücke besteht, mit gemeinsamen Spezifikationen für bestimmte Anforderungen eingreifen, um sicherzustellen, dass regulatorische Erwartungen nicht auf unbestimmte Zeit auf die Standardisierung warten.

Das Gesetz schreibt außerdem vor, dass technische Unterlagen (Anhang IV) und Aufzeichnungen zur Überwachung nach dem Inverkehrbringen aufbewahrt werden müssen, aus denen hervorgeht, ob und wie Normen angewendet wurden. Dies sorgt für Transparenz. Tritt bei einem „konformen“ KI-System ein Problem auf, prüfen die Ermittler, ob die relevanten Normen tatsächlich ausreichend waren oder ob ein Mangel vorlag. Artikel 71 legt sogar ein Verfahren fest, das die Kommission anwenden muss, wenn sie feststellt, dass ein bestimmtes, den Normen entsprechendes KI-System dennoch ein Risiko darstellt – sie kann Korrekturmaßnahmen verlangen oder die Konformitätsvermutung bei Bedarf aufheben. Dies entspricht den Schutzklauseln in Produktrichtlinien.

Zusammenfassend lässt sich sagen, dass harmonisierte Normen der Dreh- und Angelpunkt für die Verknüpfung von übergeordneten Rechtsgrundsätzen und der praktischen Umsetzung von KI-Risikokontrollen sind. Sie bringen den Stand der Technik durch Kodifizierung in Einklang mit den Vorschriften, und die Konformitätsvermutung belohnt diejenigen, die sich daran halten, durch einen vereinfachten Marktzugang. Das Zusammenspiel von Normen und Recht im KI-Gesetz veranschaulicht den Ansatz der EU zur „regulierten Selbstregulierung“: Die Industrie (zusammen mit anderen Interessengruppen) entwirft technische Regeln, die durch die Aufsicht der Kommission Rechtskraft erlangen, wodurch Flexibilität mit Rechenschaftspflicht verbunden wird. Für KI-Entwickler wird die Beteiligung am Normungsprozess (oder zumindest die Befolgung der Ergebnisse) von entscheidender Bedeutung sein, da diese Normen effektiv bestimmen werden, welche Entwurfs- und Testprozesse als angemessen und ausreichend gelten. Für die Regulierungsbehörden wird die Gewährleistung, dass die Normen robust und auf dem neuesten Stand sind, der Schlüssel zum Erfolg des Gesetzes sein, da eine starke Abhängigkeit von Normen bedeutet, dass etwaige Lücken direkt zu Compliance-Lücken führen.

Nachdem wir untersucht haben, wie der Rahmen des KI-Gesetzes durch Normen und Konformitätsbewertungen umgesetzt wird, wenden wir uns nun einem wichtigen ergänzenden Aspekt des Risikomanagements zu: der Cybersicherheit. KI-Systeme, insbesondere solche mit hohem Risiko, müssen nicht nur unter normalen Bedingungen sicher konzipiert sein, sondern auch gegen böswillige Angriffe oder Missbrauch geschützt werden. Eine schwache Cybersicherheit kann ein KI-System im Handumdrehen von sicher zu gefährlich machen und die Risiken damit effektiv vervielfachen. Im folgenden Abschnitt wird untersucht, wie die Anforderungen des KI-Gesetzes mit den umfassenderen EU-Gesetzen zur Cybersicherheit, wie NIS2 und DORA, zusammenwirken und warum es zur Bewältigung von Restrisiken notwendig ist, Cybersicherheit als integralen Bestandteil der KI-Regulierung zu betrachten.

V. Schnittstelle zur Cybersicherheit (NIS2, DORA) als Risikomultiplikatoren

In der modernen Bedrohungslandschaft können Cybersicherheitslücken in KI-Systemen die von diesen Systemen ausgehenden Risiken dramatisch verstärken. Eine KI, die sich während der Tests korrekt verhält, kann zu unberechenbarem, schädlichem Verhalten getrieben werden, wenn ein Angreifer ihre Eingaben (adversarische Beispiele), Trainingsdaten (Datenvergiftung) oder die zugrunde liegende Infrastruktur manipuliert. Umgekehrt werden KI-Systeme, die für kritische Funktionen eingesetzt werden, zu attraktiven Zielen für Cyberangriffe, die auf maximale Störungen abzielen. Der EU-Gesetzgeber hat diese Wechselbeziehung erkannt und Robustheit und Cybersicherheit zu einer der obligatorischen Anforderungssäulen für risikoreiche KI gemacht (Artikel 15). In diesem Abschnitt wird untersucht, wie die im KI-Gesetz verankerten Cybersicherheitsverpflichtungen mit horizontalen Cybersicherheitsregelungen interagieren, insbesondere mit der NIS2-Richtlinie (Richtlinie (EU) 2022/2555 über die Netz- und Informationssicherheit kritischer Einrichtungen) und der DORA-Verordnung (Verordnung (EU) 2022/2554 über digitale operative Resilienz im Finanzsektor). Diese Rahmenwerke sind nicht KI-spezifisch, gelten jedoch für viele KI-Anwender und stärken die Ziele des KI-Gesetzes, indem sie die Aspekte des Betriebsumfelds und der Reaktion auf Risiken berücksichtigen.

Anforderungen an die Cybersicherheit im AI-Gesetz: Artikel 15 des AI-Gesetzes schreibt vor, dass hochriskante KI-Systeme so konzipiert und entwickelt werden müssen, dass sie neben Genauigkeit und Robustheit ein „angemessenes“ Maß an Cybersicherheit erreichen. Konkret muss die KI so widerstandsfähig wie möglich gegen Fehler und unbefugte Versuche Dritter sein, ihre Leistung zu verändern. Das Gesetz fordert technische Lösungen, die „den Umständen und Risiken angemessen“ sind, um die KI zu sichern. Darüber hinaus listet er ausdrücklich KI-spezifische Schwachstellen auf, die „gegebenenfalls“ zu berücksichtigen sind, darunter Data-Poisoning-Angriffe (Manipulation von Trainingsdaten), Model-Poisoning (Kompromittierung vortrainierter Modelle), Adversarial Examples (Eingaben, die darauf abzielen, die KI zu täuschen) sowie Angriffe auf die Vertraulichkeit oder die Ausnutzung von Modellfehlern. Durch die Aufzählung dieser Punkte verpflichtet das Gesetz Anbieter im Wesentlichen dazu, bekannte Formen von KI-Angriffen zu antizipieren und sich dagegen zu schützen. Beispielsweise sollte ein Anbieter einer KI zur Bilderkennung Abwehrmaßnahmen gegen adversarische Bilder implementieren, wenn diese Sicherheitsvorfälle verursachen könnten. Ein Anbieter eines maschinellen Lernmodells, das kontinuierlich online lernt, sollte Maßnahmen zur Erkennung anomaler Dateneingaben ergreifen (um Vergiftungen zu verhindern).

Diese Verpflichtungen sind an den Stand der Technik geknüpft: Da KI-Sicherheit ein aktives Forschungsgebiet ist, wird sich die Definition dessen, was als „angemessene technische Lösungen“ gilt, weiterentwickeln. Zunächst könnte die Einhaltung bestehender Normen wie ISO/IEC 27001 (Informationssicherheitsmanagement) oder die Befolgung der Leitlinien der ENISA (der EU-Agentur für Cybersicherheit) zur Sicherung von KI ausreichen. Tatsächlich stützt sich der KI-Gesetzentwurf auf die freiwilligen Zertifizierungssysteme des EU-Cybersicherheitsgesetzes: Erhält eine KI ein Zertifikat im Rahmen eines relevanten europäischen Cybersicherheits-Zertifizierungssystems, wird davon ausgegangen, dass sie die Anforderungen von Artikel 15 erfüllt. Die Kommission und die ENISA werden voraussichtlich solche Systeme entwickeln (es gibt Diskussionen über ein System für KI, das möglicherweise auf den Anforderungen des KI-Gesetzentwurfs aufbaut).

Die zugrunde liegende Logik ist klar: Selbst der beste Algorithmus kann katastrophale Folgen haben, wenn er gehackt oder missbraucht wird. So birgt beispielsweise ein KI-System zur Steuerung von Ampeln ein hohes Risiko; auch wenn sein grundlegendes Design sicher sein mag, werden Menschenleben gefährdet, wenn ein Angreifer in das System eindringt und die Ampeln fehlerhaft umschaltet. Daher lässt sich das Restrisiko eines KI-Systems nicht vollständig erfassen, ohne die Cybersicherheit zu berücksichtigen. Eine schwache Cybersicherheit erhöht das tatsächliche Risikoniveau eines KI-Einsatzes, indem sie ihn einem vorsätzlichen Missbrauch aussetzt, der über den „vorhersehbaren Missbrauch“ durch typische Nutzer hinausgeht. Daher integriert die Behandlung der Cybersicherheit als vorrangige Anforderung (und nicht als nachträglicher Einfall) im KI-Gesetz das Prinzip „Security-by-Design“ in die KI-Governance. Es stellt sicher, dass Anbieter nicht nur versehentliche Ausfälle, sondern auch böswillige Szenarien bewerten.

NIS2-Richtlinie – Sicherung kritischer Sektoren: Die NIS2-Richtlinie (in Kraft seit 2023) zielt auf ein hohes gemeinsames Cybersicherheitsniveau bei wesentlichen Einrichtungen in der EU ab (die Sektoren wie Energie, Verkehr, Gesundheit, Wasser, digitale Infrastruktur, Bankwesen und den öffentlichen Sektor usw. abdecken). Sie verpflichtet diese Einrichtungen zur Umsetzung geeigneter Maßnahmen zum Cybersicherheitsrisikomanagement und zur Meldung von Vorfällen. Viele KI-Systeme mit hohem Risiko werden von Einrichtungen eingesetzt, die in den Anwendungsbereich der NIS2 fallen. Beispielsweise würden ein Krankenhaus, das ein KI-Diagnosetool nutzt, ein Stromnetzbetreiber, der KI für das Lastmanagement einsetzt, oder ein Eisenbahnunternehmen, das KI zur Verkehrssteuerung nutzt, wahrscheinlich alle als wesentliche Einrichtungen im Sinne der NIS2 gelten. NIS2 verpflichtet solche Organisationen, Risiken für ihre Netz- und Informationssysteme zu bewerten und Maßnahmen zu ergreifen, darunter Zugangskontrollen, Geschäftskontinuität, Verschlüsselung usw., wie in einem EU-Durchführungsrechtsakt (Kommission IR 2024/2690) festgelegt. Die ENISA hat kürzlich technische Leitlinien für die Umsetzung von NIS2 bereitgestellt, in denen Sicherheitsmaßnahmen für digitale Infrastruktur und Dienstleister aufgeführt sind.

Wie wirkt sich dies auf das KI-Gesetz aus? Im Wesentlichen schreibt das KI-Gesetz „Security-by-Design“ für das Produkt (d. h. das KI-System) vor, während NIS2 „Security-by-Design“ für den Betreiber vorschreibt. So würde der KI-Gesetz beispielsweise sicherstellen, dass ein KI-Verkehrsleitsystem so konzipiert ist, dass es Angriffen standhält (mit robuster Authentifizierung, Ausfallsicherungen usw.), während NIS2 sicherstellen würde, dass der Verkehrsbetreiber über ein umfassendes Sicherheitsprogramm verfügt, regelmäßige Risikobewertungen durchführt, die Software auf dem neuesten Stand hält, das Personal schult und so weiter. NIS2 erwähnt KI nicht ausdrücklich, aber seine weit gefassten Anforderungen umfassen zweifellos alle von der Einrichtung genutzten digitalen Technologien, einschließlich KI. Ein expliziter Unterschied: NIS2 konzentriert sich auf die Kontinuität und Verfügbarkeit von Diensten, während der KI-Gesetzentwurf darauf abzielt, zu verhindern, dass KI Schaden anrichtet. In der Praxis laufen sie jedoch zusammen: Ein Cybervorfall, der einen KI-gesteuerten Dienst lahmlegt, kann indirekten Schaden verursachen; umgekehrt kann die Kompromittierung einer KI zu Dienstausfällen oder gefährlichen Vorfällen führen.

Ein konkretes Beispiel: Ein Stromnetzbetreiber nutzt ein KI-System für den Lastausgleich (diese KI ist gemäß Anhang III mit hohem Risiko behaftet). Der KI-Gesetz stellt sicher, dass das System sicher aufgebaut ist (vielleicht verfügt das Modell über adversariales Training, um Manipulationen zu vermeiden, und wird gegen bekannte Angriffe getestet). NIS2 stellt sicher, dass die gesamte IKT-Umgebung des Betreibers sicher ist – einschließlich der Server, auf denen die KI gehostet wird, der Kommunikation und der Authentifizierung des Personals sowie weiterer Aspekte. Sollte ein Hacker dennoch erfolgreich sein und die KI Fehlverhalten zeigen, schreibt NIS2 auch eine Reaktion auf Vorfälle vor: Der Betreiber muss Vorfälle innerhalb einer festgelegten Frist den Behörden melden und über Pläne zur Schadensminderung verfügen. Diese Meldung von Vorfällen könnte auch in die Durchsetzung der KI-Vorschriften einfließen – wenn eine Sicherheitsverletzung dazu führte, dass die KI Schaden anrichtete, könnte dies eine Überprüfung der Einhaltung von Artikel 15 auslösen oder zu Überarbeitungen der Standards führen.

DORA – Widerstandsfähigkeit im Finanzsektor: Der Digital Operational Resilience Act (DORA) trat im Januar 2025 in Kraft und gilt für Banken, Versicherungen, Wertpapierfirmen und andere Finanzinstitute. DORA konsolidiert und stärkt das IKT-Risikomanagement im Finanzsektor und verpflichtet Unternehmen dazu, über robuste IKT-Risikomanagement-Rahmenwerke zu verfügen, regelmäßige Tests durchzuführen (einschließlich bedrohungsorientierter Penetrationstests für bedeutende Institute), IKT-Risiken durch Dritte zu managen und schwerwiegende Vorfälle zu melden. Finanzdienstleister setzen zunehmend KI für Bonitätsbewertungen, Betrugserkennung, algorithmischen Handel usw. ein. Einige dieser KI-Systeme könnten gemäß dem KI-Gesetz als risikoreich eingestuft werden (KI für Bonitätsbewertungen gilt in Anhang III als risikoreich; KI für den algorithmischen Handel könnte indirekt unter kritische Infrastruktur fallen oder auch nicht, ist aber in jedem Fall entscheidend für die Finanzstabilität). Die DORA wird sicherstellen, dass jede KI, die z. B. von einer Bank genutzt wird, in deren allgemeinen Risikokontrollen erfasst wird. Eine Bank muss ihre IKT-Assets (zu denen auch KI-Modelle gehören) inventarisieren, sicherstellen, dass sie über Kontinuitätspläne verfügt, falls die KI ausfällt oder angegriffen wird, diese unter Cyber-Stress-Szenarien testen und sicherstellen, dass Drittanbieter (wie z. B. ein KI-Anbieter) die Sicherheitsanforderungen erfüllen.

Eine relevante Überschneidung besteht darin, dass die DORA fortgeschrittene Tests der digitalen Betriebsresilienz vorschreibt, die das Testen von KI-Modellen unter Angriffsszenarien (adversarial ML) umfassen könnten. Wenn die KI eines Finanzunternehmens kritisch ist, könnte von ihm erwartet werden, dass es Angriffe darauf im Rahmen eines bedrohungsorientierten Penetrationstests simuliert. Werden Schwachstellen gefunden, müssen diese behoben werden. Dies ergänzt die Verpflichtungen des AI Act in der Entwicklungsphase durch eine fortlaufende Überwachung während der Laufzeit. Zudem bedeutet die Meldepflicht für Vorfälle gemäß DORA, dass bei einem KI-bedingten Ausfall oder Vorfall (z. B. wenn ein unerwünschter KI-Handel einen finanziellen Vorfall verursacht, möglicherweise aufgrund eines Angriffs auf die Datenintegrität) dies den Aufsichtsbehörden gemeldet wird, die dann sowohl im Rahmen der DORA als auch potenziell im Rahmen des KI-Gesetzes ermitteln können, falls der Angriff aufgrund von Nichteinhaltung der Vorschriften erfolgte.

Bemerkenswert ist, dass der AI Act die gegenseitige Abhängigkeit ausdrücklich anerkennt: Artikel 42 Absatz 2 schafft Anreize für die Nutzung von Cybersicherheitszertifizierungen gemäß der Verordnung 2019/881. Diese sind zwar nicht mit NIS2 oder der DORA identisch, aber Teil des Cybersicherheits-Ökosystems der EU (der Cybersecurity Act ermöglicht freiwillige EU-weite Zertifizierungen von IKT-Produkten). Erhält ein KI-System ein solches Zertifikat (beispielsweise wenn ein EU-Cybersicherheitssystem für KI geschaffen wird und das System auf einem „hohen“ Sicherheitsniveau zertifiziert wird), begründet dies an sich bereits die rechtliche Vermutung, dass die Sicherheitsanforderungen des KI-Gesetzes erfüllt sind. Dies stellt eine starke Angleichung der Anreize dar: Es ermutigt KI-Hersteller, eine Cybersicherheitszertifizierung zu durchlaufen (was NIS2 oder DORA ihre Kunden ohnehin indirekt auferlegen könnten).

Cyberrisiken als Risikomultiplikatoren: Wir bezeichnen Cybersicherheit als Risikomultiplikator, da eine Sicherheitsverletzung oder ein Angriff ein KI-Szenario mit geringem oder mittlerem Risiko in ein Szenario mit hohem Risiko oder katastrophalen Folgen verwandeln kann. Beispielsweise ist ein KI-Chatbot in der Regel mit begrenztem Risiko verbunden (er benötigt lediglich Transparenz). Wenn jedoch jemand böswillige Anweisungen einspeist und der Chatbot beginnt, gefährliche Ratschläge zu geben oder Phishing zu betreiben, stellt er plötzlich Sicherheitsrisiken dar. Oder ein KI-Fahrsystem ist normalerweise sicher, könnte aber bei einem Hackerangriff Unfälle verursachen. Daher ist die Bekämpfung von Cyberrisiken unerlässlich, um sicherzustellen, dass das tatsächliche Risiko von KI-Systemen innerhalb der vorgesehenen Kategorie bleibt. Die Regulierungsbehörden verstehen dies: In Erwägungsgrund 59 der DORA wird darauf hingewiesen, dass IKT-Risiken sektorübergreifend wirken können, weshalb eine harmonisierte Widerstandsfähigkeit erforderlich ist. Erwägungsgrund 9 der NIS2 betont die Bedeutung der Sicherheit der Lieferkette und von Abhängigkeiten – KI könnte Teil dieser Lieferkette sein. Die im KI-Gesetz festgelegte Anforderung an Anbieter, über ein System zur Überwachung nach dem Inverkehrbringen zu verfügen (Artikel 61 und 72), wird zwangsläufig die Überwachung auf neue Schwachstellen oder Angriffe beinhalten, ähnlich wie die NIS2 die Überwachung auf Bedrohungen vorschreibt. Der KI-Gesetzentwurf stimmt sich zudem mit dem übergeordneten Regelwerk ab, indem er eine Zusammenarbeit zwischen dem KI-Ausschuss und dem Europäischen Ausschuss für Cybersicherheit vorsieht und die Übereinstimmung neuer delegierter Rechtsakte mit anderen Gesetzen verlangt.

In der Praxis werden die Compliance-Bemühungen wahrscheinlich zusammenlaufen: Organisationen, die risikoreiche KI einsetzen, werden die Einhaltung des KI-Gesetzes in ihre NIS2- oder DORA-Compliance-Programme integrieren. Im Rahmen des Risikomanagements nach NIS2 könnte ein Unternehmen beispielsweise folgende Überprüfung vornehmen: „Wenn wir KI einsetzen, haben wir vom Anbieter eine EU-Konformitätserklärung erhalten? Sind sie zertifiziert? Sind in dieser KI bekannte Schwachstellen vorhanden?“ Ebenso könnten KI-Anbieter die Einhaltung von Cybersicherheitsstandards (z. B. ISO 27001, ETSI EN 303645 für das IoT) bewerben und sogar Zertifizierungen erwerben, um die Erwartungen der Kunden im Rahmen von NIS2/DORA zu erfüllen. Die politische Implikation davon ist, dass die Regulierungsbehörden Leitlinien zu dieser Schnittstelle bereitstellen sollten, vielleicht über das KI-Büro und die ENISA. Die ENISA könnte Leitlinien zur Sicherung von KI herausgeben (sie hat bereits einige Arbeiten zur Sicherung von KI und zur Bekämpfung feindlicher Bedrohungen durchgeführt). Der KI-Gesetzentwurf beauftragt die Kommission zudem, „harmonisierte Standards oder gemeinsame Spezifikationen“ für die Sicherheit zu entwickeln, vermutlich in Abstimmung mit der ENISA.

Eine bemerkenswerte Herausforderung ist die Behandlung von Vorfällen: Der KI-Gesetz selbst schafft keine Meldepflicht für die KI-Aufsichtsbehörde (außer wenn der Anbieter später von schwerwiegenden Vorfällen erfährt; dann hat er gewisse Rückrufpflichten). NIS2 und DORA sehen jedoch strenge Meldefristen vor (z. B. Meldung innerhalb von 24 oder 72 Stunden nach schwerwiegenden Vorfällen). Ein Cybervorfall, an dem eine KI beteiligt ist, könnte unter beide fallen, daher sollten die KI-Aufsichtsbehörden im Idealfall mit den Cybersicherheitsbehörden zusammenarbeiten. In der Praxis wird ein schwerwiegender KI-Vorfall die Marktüberwachungsbehörden möglicherweise dazu veranlassen, sich mit den CSIRTs (Computer Security Incident Response Teams) im Rahmen von NIS2 abzustimmen.

Zusammenfassend lässt sich sagen, dass der Erfolg des KI-Gesetzes bei der Risikokontrolle nicht nur von KI-spezifischen Maßnahmen abhängt, sondern auch von sicheren Einsatzumgebungen. Durch die Einbettung von Cybersicherheit durch Design und die Nutzung von Regelungen wie NIS2 und DORA schafft die EU eine mehrschichtige Verteidigung: Die KI muss sicher aufgebaut sein, und die Nutzer (Betreiber) müssen sie sicher betreiben. Cyberangriffe sind eine Form des vernünftigerweise vorhersehbaren Missbrauchs durch Dritte, und der kombinierte Rechtsrahmen geht dieses Problem aus verschiedenen Blickwinkeln an – präventive Kontrollen (wie im AI-Gesetz und in NIS2/DORA dargelegt) sowie reaktive Kontrollen (Reaktion auf Vorfälle und Krisenmanagement in NIS2/DORA). Dieser ganzheitliche Ansatz trägt der Tatsache Rechnung, dass Technologierisiken systemischer Natur sind. Der Fall der KI in kritischen Infrastrukturen ist anschaulich: Ein Ausfall der KI im Stromnetz aufgrund von Hacking ist sowohl ein Problem der KI-Sicherheit als auch ein Problem der Cybersicherheit. Das Regulierungsnetz – bestehend aus dem KI-Gesetz und NIS2 – zielt darauf ab, dies in beiden Fällen abzufangen.

Im weiteren Verlauf werden kontinuierliche Aktualisierungen sowohl der KI-Sicherheitsstandards als auch der Cybersicherheitsrichtlinien erforderlich sein. Die Kommission könnte einen delegierten Rechtsakt erlassen, um vorzuschreiben, dass bestimmte KI-Kategorien auch künftige Cybersicherheitsregelungen einhalten müssen (insbesondere sobald eine entsprechende ENISA-Regelung vorliegt). Hinzu kommt der bevorstehende Vorschlag für ein Gesetz zur Cyber-Resilienz (CRA), das Cybersicherheit für alle Produkte mit digitalen Elementen vorschreiben würde. Sollte es verabschiedet werden, wird es sich mit dem KI-Gesetz für KI-Systeme überschneiden (da KI-Systeme Software sind). Die Gewährleistung der Kohärenz zwischen diesen Gesetzen wird entscheidend sein (der CRA-Vorschlag nimmt derzeit Produkte aus, die durch andere sektorale Gesetze geregelt sind, um Doppelarbeit zu vermeiden – vermutlich könnte das KI-Gesetz als ein solches Gesetz angesehen werden, wenn es ähnliche Anforderungen abdeckt).

Nachdem wir das inhaltliche Regelwerk des KI-Gesetzes und dessen Zusammenspiel mit Cybersicherheit und Normen behandelt haben, betrachten wir abschließend, wie dieser Rahmen in der Praxis verfeinert und umgesetzt werden wird. Der folgende Abschnitt befasst sich mit den politischen Implikationen: Welche Leitlinien, delegierten Rechtsakte und weiteren Maßnahmen sind erforderlich, um die im Gesetz vorgesehenen, auf dem Grundsatz der Verhältnismäßigkeit basierenden Risik s- und Kontrollmaßnahmen umzusetzen, und wie kann die EU sicherstellen, dass das Regelwerk durch Soft Law (z. B. Leitlinien, Verhaltenskodizes) und Hard Law (delegierte Rechtsakte/Durchführungsrechtsakte, Änderungen) auf dem neuesten Stand bleibt?

VI. Politische Implikationen für Leitlinien und delegierte Rechtsakte

Die Festlegung des risikobasierten Rahmens des KI-Gesetzes in der Gesetzgebung ist nur der Anfang. Die tatsächliche Wirksamkeit und Verhältnismäßigkeit des Regelwerks wird davon abhängen, wie es umgesetzt und im Laufe der Zeit aktualisiert wird. Zu diesem Zweck sind mehrere Mechanismen in das Gesetz integriert: die Herausgabe von Leitlinien, die Entwicklung von Standards (wie bereits erwähnt) und der Erlass delegierter Rechtsakte zur Anpassung des Anwendungsbereichs und der Einzelheiten als Reaktion auf neue Erkenntnisse. Darüber hinaus gibt es weiterreichende politische Entscheidungen hinsichtlich der Unterstützung der Einhaltung der Vorschriften (durch ein KI-Büro, regulatorische Sandkästen usw.) und der Angleichung der Auslegungen in den Mitgliedstaaten. In diesem Abschnitt werden die wichtigsten Umsetzungsschritte und ihre Bedeutung hervorgehoben:

Leitlinien der Kommission (Soft Law) zur Klärung von Konzepten und Anwendungsfällen: Der KI-Gesetz beauftragt die Kommission ausdrücklich, Leitlinien zur praktischen Umsetzung bestimmter Bestimmungen zu veröffentlichen. So verpflichtet beispielsweise Artikel 6 Absatz 5 (jetzt Artikel 6 Absatz 5 oder Artikel 4 Absatz 5 in der endgültigen Nummerierung) die Kommission, bis Februar 2026 Leitlinien mit „einer umfassenden Liste praktischer Beispiele für Anwendungsfälle von KI-Systemen, die risikoreich sind und solchen, die nicht risikoreich sind“, zu erlassen. Diese Leitlinien werden für die Klärung von Grauzonen äußerst wertvoll sein. So könnten sie beispielsweise Grenzfälle im Bildungs- oder Personalwesen veranschaulichen: Ist beispielsweise ein Algorithmus für die Zulassung an einer Universität risikoreich (wahrscheinlich ja, da er den Zugang zu Bildung beeinflusst) im Vergleich zu einer Nachhilfe-App (wahrscheinlich nein)? Sie könnten auch klären, welche Arten der „biometrischen Identifizierung“ über die offensichtlichen Fälle hinaus unter die Kategorie „risikoreich“ fallen. Die Leitlinien können das Gesetz nicht ändern, aber sie können eine Auslegung liefern und so sowohl Anbietern als auch Regulierungsbehörden ein gemeinsames Verständnis vermitteln. Entscheidend ist, dass sie im Einklang mit Artikel 96 entwickelt werden (was wahrscheinlich eine Konsultation des Europäischen KI-Ausschusses und der Interessengruppen beinhaltet).

Solche Leitlinienbeispiele dienen der Verhältnismäßigkeit, indem sie sicherstellen, dass die Einstufung als „hohes Risiko“ einheitlich und nur dort angewendet wird, wo dies beabsichtigt ist. Ohne sie könnten die Behörden der Mitgliedstaaten voneinander abweichen – eine könnte eine KI als risikoreich einstufen, während eine andere dies nicht tut, was zu Fragmentierung oder Überregulierung führen würde. Die Liste der Beispiele kann sich auch weiterentwickeln; obwohl es sich nicht um verbindliches Recht handelt, wird sie als Veröffentlichung der Kommission Gewicht haben (ähnlich wie die DSGVO über WP29/EDPB-Leitlinien mit Beispielen zur Veranschaulichung mehrdeutiger Begriffe wie „berechtigte Interessen“ verfügte).

Ein weiterer Bereich, der reif für Leitlinien ist, ist die Auslegung von „vorhersehbarer Missbrauch“, „Stand der Technik“ und „akzeptables Restrisiko“. Obwohl diese Begriffe in den Erwägungsgründen definiert oder beschrieben sind, können praktische Leitlinien hilfreich sein. So könnte ein Leitfaden beispielsweise eine Methodik für die Durchführung des in Artikel 9 beschriebenen Risikomanagements bereitstellen, einschließlich der Frage, wie vorhersehbare Missbrauchsszenarien zu dokumentieren sind und wie zu bestimmen ist, ob etwas vernünftigerweise vorhersehbar ist (möglicherweise unter Bezugnahme auf Normen wie ISO 31000 zum Risikomanagement). Es könnte auch darauf eingehen, wie Risiko-Nutzen-Analysen für Artikel 7 durchzuführen sind (bei der Bewertung neuer risikoreicher Verwendungszwecke, die per delegiertem Rechtsakt hinzugefügt oder entfernt werden sollen, da die Kriterien in Anhang III und Artikel 7 Absatz 2 eine Art Risiko-Nutzen-Prüfung vorsehen, die auch den Nutzen für Einzelpersonen oder die Gesellschaft einbezieht).

Delegierte Rechtsakte zur Anpassung des Anwendungsbereichs (Anhang III) und der Einzelheiten (Anhänge IV, V usw.): Der KI-Gesetz erkennt an, dass sich die Definition dessen, was als „risikoreich“ gilt, ändern kann. Technologie und ihre Auswirkungen entwickeln sich weiter, und das Gesetz sieht einen Mechanismus zur Neukalibrierung vor. Artikel 7 ermächtigt die Kommission, delegierte Rechtsakte zur Änderung von Anhang III – der Liste der risikoreichen KI-Anwendungsfälle – zu erlassen. Die Kommission kann neue Anwendungsfälle hinzufügen oder bestehende ändern, wenn bestimmte Bedingungen erfüllt sind, oder Anwendungsfälle entfernen, die kein erhebliches Risiko mehr darstellen. Diese Bedingungen gewährleisten evidenzbasierte Änderungen: Es muss „konkrete und zuverlässige Beweise“ geben, und das Risiko muss dem bereits aufgeführten entsprechen, um einen Anwendungsfall hinzuzufügen, oder es muss der Nachweis erbracht werden, dass ein aufgeführter Anwendungsfall kein hohes Risiko mehr darstellt, um ihn zu entfernen. Zudem dürfen Änderungen v e das allgemeine Schutzniveau nicht verringern. Dies ist im Grunde eine Vorsichtsmaßnahme: Man darf nichts aus der Kategorie „risikoreich“ entfernen, wenn dies den Schutz verringert, selbst wenn das betreffende System für sich genommen sicher erscheinen mag, da dies einen Präzedenzfall schaffen oder kumulative Risiken mit sich bringen könnte.

Kriterien in Anhang III: Das Gesetz enthält in Anhang III (bzw. Artikel 7 Absatz 2, wie oben) detaillierte Kriterien zur Beurteilung, ob eine KI-Anwendung ein hohes Risiko darstellt, darunter Faktoren wie die Anzahl der betroffenen Personen, die Schwere des Schadens, die Reversibilität, die Abhängigkeit der Menschen vom Ergebnis, Machtungleichgewichte usw. Diese lesen sich wie ein Rahmenwerk zur Risikobewertung für Regulierungsbehörden. Wenn die Kommission in Zukunft beispielsweise generative KI oder große Sprachmodelle als potenziell risikoreich einstuft, wird sie diese Kriterien anwenden. Tatsächlich führte das endgültige Gesetz das Konzept der „Allzweck-KI mit systemischen Risiken“ (GP-KI-Modelle, die als Modelle mit weitreichenden Auswirkungen eingestuft werden können) zusammen mit entsprechenden Verpflichtungen ein (Artikel 51–5). Das Gesetz fordert die Kommission auf, gegebenenfalls Verhaltenskodizes oder Standards hierfür zu entwickeln und möglicherweise einzugreifen, falls sich daraus systemische Risiken ergeben. Dies zeugt von Weitsicht: Frühere Entwürfe behandelten allgemeine KI nicht ausdrücklich, der endgültige Text tut dies jedoch, vor allem durch weiche Maßnahmen und Überwachung.

Weitere delegierte Rechtsakte: Artikel 8 ermöglicht es, die Anforderungen an die technische Dokumentation (Anhang IV) durch delegierte Rechtsakte an den technologischen Fortschritt anzupassen. Artikel 40 Absatz 6 und andere Bestimmungen erlauben die Aktualisierung von Normenverweisen und gemeinsamen Spezifikationen, falls Probleme auftreten. Artikel 50 (Transparenz für bestimmte KI) könnte ebenfalls aktualisiert werden. Und entscheidend ist, dass Artikel 70+ wahrscheinlich Leitlinien für Sandboxen ermöglicht. Das Gesetz fördert die Nutzung von KI-Regulierungs-Sandboxen (Artikel 57), um Experimente unter regulatorischer Anleitung zu fördern. Diese Sandboxen können Erkenntnisse liefern, die in künftige delegierte Rechtsakte oder Normen einfließen könnten, insbesondere für innovative Anwendungen, die nicht eindeutig in die aktuellen Risikokategorien passen.

Gewährleistung einer einheitlichen Auslegung – der Europäische KI-Ausschuss und das KI-Büro: Das Gesetz schafft eine Governance-Struktur (Kapitel V oder VI). Es wird ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet, um eine einheitliche Verwaltung zu erleichtern (ähnlich dem EDPB der DSGVO). Ihm gehören Vertreter jeder nationalen KI-Regulierungsbehörde und der Kommission an. Der Ausschuss kann Stellungnahmen und Empfehlungen abgeben sowie bewährte Verfahren austauschen. Stößt beispielsweise eine Behörde auf eine neue Art von KI, die möglicherweise mit hohen Risiken verbunden ist, kann sie diese dem Ausschuss vorlegen, um einen gemeinsamen Ansatz zu erörtern (und der Kommission möglicherweise empfehlen, Artikel 7 zur Aktualisierung von Anhang III anzuwenden). Der Ausschuss kann auch bei der Koordinierung der Marktüberwachung helfen und so die Einheitlichkeit der Durchsetzung gegenüber nicht konformen KI-Systemen sicherstellen (wie solchen, die ohne Konformitätsbewertung durchgerutscht sind oder ernsthafte Risiken darstellen).

Das EU-KI-Büro (im Wesentlichen die Dienststellen der Kommission, die als zentraler Koordinator fungieren) übernimmt Aufgaben wie die Verwaltung der EU-Datenbank für risikoreiche KI-Systeme (Artikel 60 verpflichtet Anbieter, ihre risikoreiche KI vor der Inbetriebnahme in einer EU-Datenbank zu registrieren, um die Transparenz zu erhöhen). Dieses Büro wird auch den Ausschuss unterstützen und könnte Leitlinien herausgeben oder Sandboxen koordinieren. Das Zusammenspiel mit anderen Agenturen (ENISA für Cybersicherheit, EDPS für Grundrechte bei KI in EU-Institutionen usw.) ist impliziert. Das KI-Büro sollte sicherstellen, dass delegierte Rechtsakte im Rahmen des KI-Gesetzes entsprechende Gesetzesaktualisierungen berücksichtigen (z. B. wenn ein neues System im Rahmen des Cybersicherheitsgesetzes entsteht, um es in die Vermutungsliste von Artikel 42 aufzunehmen, was Artikel 42 Absatz 2 bereits für bestehende Systeme vorsieht).

Leitlinien für bestimmte Sektoren und Anwendungsfälle: Die Frage nach sektorspezifischen Leitlinien ist von entscheidender Bedeutung. Während das KI-Gesetz horizontaler Natur ist, verfügen viele Sektoren (Gesundheitswesen, Verkehr usw.) über eigene Regulierungsbehörden und Richtlinien. Durch die Abstimmung dieser Vorschriften auf die Verpflichtungen des KI-Gesetzes lassen sich Doppelarbeit vermeiden. So könnte beispielsweise die Europäische Arzneimittelagentur Leitlinien zum Einsatz von KI in der Arzneimittelentwicklung oder zur Unterstützung klinischer Entscheidungen herausgeben, um den KI-Gesetz durch die Berücksichtigung bereichsspezifischer Risikofaktoren (wie die Zuverlässigkeit von KI in klinischen Studien) zu ergänzen. Der KI-Gesetz ändert in seinem Anhang ausdrücklich einige sektorale Rechtsvorschriften (er modifiziert bestimmte Verweise in Produktvorschriften, um KI-Aspekte einzubeziehen). Es werden jedoch wahrscheinlich weitere Soft-Law-Maßnahmen folgen; beispielsweise eine ETHIK-LEITLINIE für den Einsatz biometrischer Daten durch die Polizei (um einen Mittelweg zu finden zwischen dem vollständigen Verbot der Echtzeit-Identifizierung – abgesehen von Ausnahmen – und den zulässigen Anwendungen in forensischen Szenarien mit hohem Risiko). Europol oder der Europäische Datenschutzausschuss könnten sich dazu äußern, wie die Verbote gemäß Artikel 5 in der Praxis anzuwenden sind.

Internationale und vergleichende Angleichung: Der Nutzer bat ausdrücklich um eine vergleichende Perspektive. Aus politischer Sicht wird die EU wahrscheinlich Leitlinien herausgeben, die das KI-Gesetz mit den KI-Grundsätzen der OECD und etwaigen künftigen globalen KI-Governance-Rahmenwerken in Einklang bringen. So könnte die Kommission beispielsweise klarstellen, wie die Einhaltung des KI-Gesetzes auch die Einhaltung der Grundsätze der KI-Empfehlung der OECD (wie Transparenz und Fairness) gewährleistet, wodurch Unternehmen ihre Bemühungen straffen können. Es könnten sich auch Fragen der gegenseitigen Anerkennung stellen: Wenn ein US-Unternehmen das NIST AI RMF einhält, inwiefern steht dies im Einklang mit der Einhaltung des KI-Gesetzes? Leitlinien oder bilaterale Abkommen könnten die teilweise Anerkennung von Rahmenwerken regeln. Das Gesetz lässt die Möglichkeit von Gleichwertigkeitsentscheidungen zu (wenn auch nicht ausdrücklich; so heißt es jedoch beispielsweise in Artikel 5 Buchstabe h zu Ausnahmen bei biometrischen Identifikationsdaten, dass eine Zusammenarbeit der Strafverfolgungsbehörden mit einem Drittland zulässig sein könnte, wenn angemessene Garantien für die Grundrechte bestehen, was eine gewisse Offenheit gegenüber ausländischen Rahmenwerken zeigt, sofern diese Schutz bieten).

Unterstützung von KMU und Innovation: Die EU ist bestrebt, KI-Start-ups nicht zu ersticken. Das Gesetz enthält bereits Überlegungen zu KMU (z. B. vereinfachte Formulare für die technische Dokumentation für kleine Unternehmen). Die Kommission kann weitere Leitlinien oder sogar Instrumente bereitstellen, wie z. B. Vorlagen für das Risikomanagement oder eine „KI-Gesetz-Compliance-Sandbox“, in der Start-ups ihre Systeme unter Rückmeldung der Regulierungsbehörden testen können, ohne dass ihnen Sanktionen drohen. Die Artikel 55–6 fördern Verhaltenskodizes für KI ohne hohes Risiko und für Anbieter von Allzweck-KI, um die Anforderungen freiwillig zu erfüllen. Die Kommission und das KI-Büro werden diese Kodizes wahrscheinlich unterstützen (analog dazu, wie sie Kodizes im Zusammenhang mit der DSGVO unterstützt haben). Solche Kodizes können maßgeschneiderte Leitlinien bieten: So könnte beispielsweise ein Kodex für KI im Gesundheitswesen bewährte Verfahren detailliert beschreiben, die über die Mindestanforderungen des KI-Gesetzes hinausgehen, oder ein Kodex für Allzweck-KI (Grundlagemodelle) könnte Schritte auflisten, um die nachgelagerte Einhaltung durch Nutzer sicherzustellen (wie die Bereitstellung von Dokumentation oder die Ermöglichung der Modellüberwachung). Wenn der Ausschuss diese Kodizes genehmigt, könnten sie sogar zu einer geringeren behördlichen Kontrolle für die Unterzeichner führen – ein Anreiz für die Industrie.

Kontinuierliche Verbesserung und Überprüfung: Schließlich wird das Gesetz regelmäßig überprüft (voraussichtlich eine Überprüfungsklausel von etwa fünf Jahren). Die Kommission wird Daten von den nationalen Behörden und aus der Datenbank sammeln, um zu untersuchen, wie der risikobasierte Ansatz funktioniert. Werden zu viele Systeme falsch eingestuft? Treten Vorfälle auf, die darauf hindeuten, dass manche KI mit „begrenztem Risiko“ als „hochriskant“ eingestuft werden sollte? Sind Verpflichtungen wie Transparenz tatsächlich wirksam? Diese empirische Rückkopplungsschleife ist entscheidend. Wenn sich beispielsweise manipulative KI-Praktiken (Artikel 5 Buchstaben a und b) trotz des Verbots ausbreiten, muss die Durchsetzung möglicherweise verschärft oder präzisiert werden. Wenn eine völlig neue Technologie (wie Anwendungen der allgemeinen künstlichen Intelligenz oder fortschrittliche Chatbots, die bisher nicht vorgesehen waren) aufkommt und systemische Risiken mit sich bringt, muss die Kommission das Gesetz möglicherweise durch delegierte Rechtsakte anpassen oder eine Änderung vorschlagen.

Ein aufkommendes Thema ist die KI-Haftung. Obwohl dies außerhalb des Geltungsbereichs des Gesetzes liegt, hat die EU parallel dazu eine KI-Haftungsrichtlinie vorgeschlagen. Sollte entweder diese oder die überarbeitete Produkthaftungsrichtlinie verabschiedet werden, wird es zu Wechselwirkungen kommen: Eine strikte Einhaltung des KI-Gesetzes könnte als Beweis dienen, um ein Verschulden in Haftungsfällen zu widerlegen. Leitlinien könnten diesen Zusammenhang verdeutlichen und Unternehmen motivieren, Vorschriften nicht nur zur Erlangung behördlicher Genehmigungen einzuhalten, sondern auch, um sich vor Klagen zu schützen (z. B. „Die Einhaltung harmonisierter Normen gemäß dem KI-Gesetz kann bei Haftungsansprüchen die erforderliche Sorgfalt belegen“ – ein wahrscheinlich impliziter, aber dennoch wichtiger Zusammenhang).

Zusammenfassend lässt sich sagen, dass die verhältnismäßigen Ex-ante-Kontrollen des KI-Gesetzes nur dann verhältnismäßig und wirksam bleiben, wenn sie sich an klaren Beispielen orientieren, durch delegierte Rechtsakte auf dem neuesten Stand gehalten werden und von einem Governance-Ökosystem unterstützt werden, das lernt und sich anpasst. Die Fähigkeit der Kommission, Anhang III (innerhalb festgelegter Grenzen) rasch zu aktualisieren, ist ein wichtiges Instrument, um aufkommende Risiken zu bewältigen, ohne auf eine vollständige Gesetzesrevision zu warten, was angesichts des Tempos der KI-Innovation notwendig ist. Unterdessen können nicht bindende Leitlinien und Kodizes die Anwendung der Anforderungen in verschiedenen Kontexten verfeinern und so sowohl eine Überkonformität (Ergreifen unnötiger Maßnahmen bei geringen Risiken) als auch eine Unterkonformität (Nichteinhaltung von Verpflichtungen bei hohen Risiken) verhindern. Die Einbindung verschiedener EU-Agenturen (ENISA für Cybersicherheit, EDPS für Grundrechte usw.) über den KI-Rat wird dazu beitragen, einen kohärenten Ansatz sicherzustellen, sodass beispielsweise die Cybersicherheitsleitlinien der ENISA und die Standards des KI-Gesetzes gut aufeinander abgestimmt sind.

VII. Schlussfolgerung

Das EU-Gesetz über künstliche Intelligenz ist wegweisend für ein risikobasiertes und verhältnismäßiges Modell der KI-Regulierung, das darauf abzielt, Gesundheit, Sicherheit und Grundrechte im Voraus zu schützen, ohne nützliche Innovationen zu behindern. Dieser Artikel hat einen konzeptionellen Rahmen entwickelt, der verdeutlicht, wie die Logik des Gesetzes in Bezug auf „Risiko, Angemessenheit und verbleibenden Schaden“ funktioniert. Der KI-Gesetz schafft effektiv eine Regulierungspyramide, indem er KI-Anwendungen verbietet, die als unannehmbar risikoreich für zentrale Werte angesehen werden, strenge Anforderungen an risikoreiche Systeme stellt, um erhebliche Risiken präventiv zu mindern, Transparenzpflichten auf Tools mit begrenztem Risiko anwendet, um geringere Bedenken auszuräumen, und Anwendungen mit minimalem Risiko für Innovationen offen lässt. Diese Schichtung verkörpert die Grundsätze der Vorsorge und von ALARP: Beseitigung unerträglicher Risiken und Reduzierung anderer Risiken auf ein so niedriges Maß, wie es vernünftigerweise praktikabel ist, durch geeignete Schutzmaßnahmen.

Im Mittelpunkt dieses Regelwerks stehen die Begriffe „vernünftigerweise vorhersehbarer Missbrauch“ und „Stand der Technik“, die einen dynamischen Angemessenheitsstandard in die KI-Governance einbringen. Anbieter von risikoreicher KI müssen eine vorausschauende Denkweise annehmen, antizipieren, wie ihre Systeme unter realen Bedingungen missbraucht werden oder versagen könnten, und entsprechend präventive oder schützende Maßnahmen umsetzen. Von ihnen wird erwartet, dass sie die Risikokontrollen im Zuge des technologischen Fortschritts kontinuierlich aktualisieren und an den Stand der Technik in Wissenschaft und Technik anpassen. Was als „akzeptables“ Restrisiko gilt, ist somit nicht statisch: Es verringert sich, sobald bessere Techniken zur Risikobeseitigung aufkommen. Dies stellt sicher, dass die Regulierung im Verhältnis zu den aktuellen Fähigkeiten und Bedrohungen steht und weder Unmögliches verlangt noch Nachlässigkeit zulässt. Tatsächlich greift der AI Act auf bekannte Regulierungskonzepte aus dem Produktsicherheits- und Deliktsrecht zurück (Vorhersehbarkeit, Angemessenheit, beste verfügbare Techniken), bettet diese in einen neuartigen KI-Kontext ein und operationalisiert dadurch ethische Grundsätze (wie Fairness, Transparenz, menschliche Aufsicht) auf eine Weise, die überprüft und durchgesetzt werden kann.

Wir haben zudem hervorgehoben, wie harmonisierte Normen und Konformitätsbewertungsverfahren als Rückgrat für die Umsetzung dieser flexiblen Anforderungen dienen werden. Normen setzen abstrakte Verpflichtungen in konkrete technische Vorschriften um, sorgen für Klarheit und erleichtern die „Konformitätsvermutung“ für konforme KI-Systeme. Dieser Mechanismus ist für die Aufrechterhaltung eines wettbewerbsfähigen Binnenmarktes für KI von entscheidender Bedeutung, da er Rechtssicherheit und ein einheitliches Konformitätssystem in ganz Europa bietet. Gleichzeitig stellt die Aufsicht der EU über Normen (mit der Möglichkeit gemeinsamer Spezifikationen und Einwänden gegen unzureichende Normen) sicher, dass der Konsens der Industrie den Schutz der Grundrechte nicht verwässert. Das Zusammenspiel von Regulierung und Normung im KI-Gesetz veranschaulicht einen ko-regulatorischen Ansatz: Das Gesetz legt die Ziele und Leitplanken fest, während technische Experten die Mittel definieren – alles unter öffentlicher Aufsicht, um das öffentliche Interesse zu wahren.

Wichtig ist, dass unsere Analyse spezifischer Anwendungsfälle den differenzierten Ansatz des KI-Gesetzes verdeutlicht. Biometrische Identifizierungssysteme, insbesondere solche, die zur Strafverfolgung eingesetzt werden, werden als so akutes Risiko für die bürgerlichen Freiheiten angesehen, dass das Gesetz sie weitgehend verbietet (die Fernidentifizierung in Echtzeit im öffentlichen Raum ist verboten, abgesehen von sehr engen Ausnahmen). Selbst dort, wo sie zulässig sind, unterliegen sie strengen Aufsichtsanforderungen (z. B. obligatorische menschliche Überprüfung, um Fehlidentifizierungen zu verhindern). Dies spiegelt eine vorsichtige Haltung gegenüber einer Technologie mit hohem Missbrauchspotenzial wider und steht im Einklang mit Europas historischer Abneigung gegen Massenüberwachung. Im Gegensatz dazu ist KI in kritischen Infrastrukturen (wie Energie oder Verkehr) zwar zulässig, wird aber als risikoreich eingestuft; hier liegt der Schwerpunkt auf robustem Design und Sicherheitsvorkehrungen, um katastrophale Ausfälle zu verhindern. Das Gesetz verpflichtet Anbieter, Sicherheitsredundanzen und Resilienz einzubauen, und Betreiber, die menschliche Aufsicht aufrechtzuerhalten, um sicherzustellen, dass KI in sicherheitskritischen Funktionen nicht unkontrolliert agiert. Diese Fallstudien zeigen, wie die Schwere und der Kontext des Risikos die Strenge der Kontrollen bestimmen und damit Verhältnismäßigkeit in der Praxis gewährleisten.

Aus vergleichender Perspektive zeigt der Ansatz der EU sowohl Konvergenz als auch Divergenz zu anderen Rahmenwerken. Er steht im Einklang mit der Betonung der OECD auf risikobasierter und vertrauenswürdiger KI, indem er Prinzipien wie Transparenz, Rechenschaftspflicht und Fairness institutionalisiert. Allerdings verleiht er ihnen in einzigartiger Weise durch Ex-ante-Regeln Verbindlichkeit. Im Vergleich zum eher laissez-faire-orientierten oder fragmentarischen Ansatz in den USA ist das EU-Modell umfassender und präventiver – es verbietet bestimmte KI aus ethischen Gründen gänzlich (was die USA auf Bundesebene nicht getan haben) und verlangt eine Prüfung vor der Markteinführung, die einer Sicherheitszertifizierung ähnelt. Das US-amerikanische NIST-Rahmenwerk für KI-Risikomanagement teilt ähnliche Werte hinsichtlich kontextbasierter Risikominderung und ist freiwillig, doch das EU-Gesetz macht solche Praktiken für KI mit hohem Risiko verbindlich und setzt sie mit Strafen durch. Im Wesentlichen behandelt die EU KI in gewisser Weise so, wie die USA Medizinprodukte oder die Luftfahrt behandeln – indem sie vor dem Einsatz einen Sicherheitsnachweis verlangt. Im Gegensatz dazu stützt sich die USA derzeit auf nachträgliche Rechenschaftspflicht (Haftung, sektorale Durchsetzung) und freiwillige Richtlinien. Im Laufe der Zeit könnten sich diese Ansätze annähern; tatsächlich könnten die Risikokategorien des Gesetzes und die Betonung „angemessener“ Maßnahmen eine Blaupause für andere Rechtsordnungen liefern. Die Führungsrolle der EU in diesem Bereich könnte durchaus de facto globale Standards setzen: Unternehmen, die weltweit tätig werden wollen, könnten die Anforderungen der EU als ihre Basis übernehmen („Brüssel-Effekt“). Das Gesetz strebt zudem ausdrücklich eine internationale regulatorische Zusammenarbeit an, indem es beispielsweise sicherstellt, dass KI, die anderswo entwickelt, aber in der EU genutzt wird, diese Standards erfüllen muss, und indem es die Angleichung an OECD- und andere internationale KI-Initiativen fördert.

Mit Blick auf die Zukunft erfordert die erfolgreiche Umsetzung des KI-Gesetzes eine sorgfältige Steuerung und Anpassungsfähigkeit. Die Regulierungsbehörden müssen klare Leitlinien herausgeben (wie bis 2026 vorgeschrieben), um Unklarheiten zu beseitigen und die Einhaltung der Vorschriften zu unterstützen, insbesondere bei KMU und Start-ups, sowie das Vollzugspersonal in diesem neuen Bereich schulen. Der Europäische KI-Rat wird eine lernende Regulierungsgemeinschaft über die Mitgliedstaaten hinweg koordinieren müssen, um neuartige Fälle einheitlich zu behandeln. Der Einsatz delegierter Rechtsakte durch die Kommission wird entscheidend sein, um den Rechtsrahmen auf dem neuesten Stand zu halten: Wenn neu entstehende KI-Anwendungen (wie fortschrittliche allgemeine KI oder neue biometrische Technologien) neue Risiken mit sich bringen, kann die Liste der Hochrisikobereiche rasch erweitert werden, anstatt Jahre auf eine Gesetzesrevision zu warten. Umgekehrt können Anpassungen vorgenommen werden (ohne den Schutz zu verringern), wenn sich bestimmte Anforderungen als übermäßig belastend erweisen, ohne einen Mehrwert zu bieten. Diese Flexibilität ist ein wesentliches Merkmal der Konzeption des Gesetzes, das anerkennt, dass sich die KI-Technologie rasch weiterentwickelt und die Regulierung Schritt halten muss.

Zudem muss die Kohärenz mit parallelen EU-Initiativen wie dem Cyber Resilience Act (für IoT-/Softwaresicherheit), dem Data Act und sektorspezifischen Gesetzen gewährleistet werden, damit Entwickler mit einheitlichen Erwartungen konfrontiert werden. Die Synergie des KI-Gesetzes mit NIS2 und dem DORA- us in Bezug auf Cybersicherheit ist ein positives Beispiel: Zusammen schaffen sie eine mehrschichtige Verteidigung für kritische KI-Systeme. Eine fortgesetzte sektorübergreifende Zusammenarbeit (z. B. unter Einbeziehung von Datenschutzbehörden hinsichtlich der Auswirkungen von KI auf die Privatsphäre oder von Wettbewerbsbehörden hinsichtlich der Transparenz von KI in Plattformalgorithmen) wird die Ziele des Gesetzes stärken.

Zusammenfassend stellt das KI-Gesetz der EU einen Meilenstein in der Regulierung der Technologiebranche dar, der versucht, eine transformative Technologie durch einen abgestimmten, prinzipienorientierten Ansatz zu zähmen. Durch die Konzentration auf Risiken und angemessene Kontrollen vermeidet es Einheitsregeln und passt die Verpflichtungen stattdessen dort an, wo sie am wichtigsten sind. Sein Erfolg wird von einer effektiven Umsetzung abhängen, indem gesetzliche Vorgaben in praktische Standards, Audits und Kontrollen umgewandelt werden, die KI-Entwickler und -Nutzer realistisch umsetzen können. Wenn dies gut gelingt, wird das Gesetz das angestrebte Gleichgewicht herstellen: die verbleibenden Schäden der KI für die Gesellschaft „soweit wie vernünftigerweise praktikabel“ zu minimieren und gleichzeitig zu ermöglichen, dass nützliche KI-Innovationen in der Europäischen Union und darüber hinaus gedeihen. Dieser Balanceakt – zwischen Risiko und Innovation, Vorsorge und Verhältnismäßigkeit – wird zweifellos verfeinert werden, während wir aus der Umsetzung lernen, aber er bietet einen wegweisenden Rahmen, den andere Rechtsordnungen bereits prüfen, während sie ihre eigenen KI-Governance-Regelwerke auf der Suche nach vertrauenswürdiger KI ausarbeiten.

Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.

Übersetzung Boris Wanzeck, Swiss Infosec AG

Fabian Teichmann in: European Journal of Risk Regulation

Cambridge University Press, 2026

https://doi.org/10.1017/err.2025.10077

https://creativecommons.org/licenses/by/4.0

KI-Governance, Security und Privacy

Der Einsatz von Künstlicher Intelligenz erfordert klare Vorgaben, transparente Prozesse und eine enge Abstimmung mit bestehenden Disziplinen wie Informationssicherheit, Datenschutz und Compliance. Wir unterstützen Sie beim Aufbau und der Weiterentwicklung einer unternehmensweiten KI-Governance – abgestimmt auf Ihre spezifischen Risiken und regulatorischen Anforderungen.

Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch

Mehr zu KI-Governance