Meldung und Untersuchung von Vorfällen nach dem KI-Gesetz

Einige Erkenntnisse aus der Luftfahrt

06/2026

Einleitung

Das EU-Gesetz über künstliche Intelligenz (AIA) stellt einen Meilenstein bei den Bemühungen dar, Systeme der künstlichen Intelligenz (KI) auf dem EU-Markt zu regulieren. Seine Ziele sind die Erleichterung des freien Verkehrs von KI-Produkten und -Dienstleistungen innerhalb der EU, die Förderung von Innovation, die Verbreitung von menschenzentrierter und vertrauenswürdiger KI sowie der Schutz der Gesundheit, der Sicherheit und der Grundrechte der EU-Bürger und -Einwohner.

Die AIA verfolgt einen risikobasierten Ansatz und unterscheidet drei Kategorien regulierter Systeme. Erstens gibt es KI-Systeme, die ein inakzeptables Risiko darstellen und deren Nutzung verboten ist. Zweitens gibt es KI-Systeme mit hohem Risiko, für die die AIA umfangreiche Compliance-Anforderungen festlegt. Drittens gibt es KI-Systeme mit begrenztem Risiko, für die Transparenzanforderungen gelten. Darüber hinaus gibt es Sonderregelungen für Allzweck-KI-Modelle.

Die AIA gilt für alle juristischen oder natürlichen Personen, die ihren Sitz in der EU haben, in der EU ansässig sind oder Produkte und Dienstleistungen in der EU anbieten, auch wenn sie in einem Drittstaat (ausserhalb der EU) gegründet wurden. Der Anwendungsbereich der AIA umfasst Produkte und Dienstleistungen, die für zivile Zwecke angeboten werden, einschliesslich solcher mit doppeltem Verwendungszweck, jedoch nicht für rein wissenschaftliche Forschung und Entwicklung.

Um die Sicherheitsüberwachung und -verbesserung von KI-Systemen mit hohem Risiko sowie von Allzweck-KI-Modellen mit systemischem Risiko zu gewährleisten, schreibt der Rahmen für die Meldung von Vorfällen im AI-Gesetz die unverzügliche Offenlegung und Untersuchung schwerwiegender Vorfälle vor. Dieser Artikel untersucht die einschlägigen Bestimmungen des AI-Gesetzes und schlägt auf der Grundlage der Erfahrungen der Luftfahrtindustrie Verbesserungen und ergänzende Massnahmen vor. Allgemeine, umfassende Empfehlungen zur Verbesserung des Vorfallmeldesystems des AI-Gesetzes liegen jedoch ausserhalb des Rahmens dieses Artikels. Teil I bewertet die Mechanismen zur Meldung und Untersuchung von Vorfällen im Rahmen des AIA. Teil II skizziert zentrale Aspekte der Meldung und Untersuchung von Vorfällen in der Luftfahrt, die eine bemerkenswerte Sicherheitsbilanz aufweist. Teil III untersucht, wie das AIA auf die Erfahrungen der Luftfahrt zurückgreifen kann, um seinen eigenen Ansatz zu verbessern, wobei die Unterschiede zwischen diesen Branchen berücksichtigt werden. Der Artikel schliesst mit einer Zusammenfassung der Ergebnisse.

Vorfallsmeldung nach dem AI-Gesetz

Artikel 73 AIA legt eine Pflicht für Entwickler und in einigen Fällen auch für Betreiber von KI-Systemen mit hohem Risiko fest, „schwerwiegende Vorfälle“ zu melden, diese zu untersuchen und Abhilfemassnahmen zu ergreifen, während sie mit den Marktüberwachungsbehörden zusammenarbeiten.

Ähnliche Meldepflichten legt Artikel 55 Absatz 1 Buchstabe c für Anbieter von Allzweck-KI-Modellen mit systemischem Risiko fest. Leitlinien für die Umsetzung dieser Bestimmung lassen sich aus dem freiwilligen Verhaltenskodex für Allzweck-KI-Modelle ableiten, der von unabhängigen Experten erstellt wurde und (zum Zeitpunkt der Abfassung dieses Artikels) noch auf die Genehmigung durch die Kommission und die Mitgliedstaaten wartet. Nach seiner Genehmigung kann der Verhaltenskodex zum Nachweis der Einhaltung der Artikel 53–55 AIA herangezogen werden.

Es wurde festgestellt, dass die Bestimmungen der AIA zur Meldung schwerwiegender Vorfälle von den entsprechenden Bestimmungen der Medizinprodukteverordnung und der Datenschutz-Grundverordnung (DSGVO) beeinflusst wurden. Die Kommission weist zudem darauf hin, dass die Vorfallüberwachung im Rahmen der AIA darauf abzielt, sich soweit möglich an den OECD-AI-Incidents-Monitor und das Common Reporting Framework anzupassen. Darüber hinaus verweist Artikel 87 AIA auf die Meldung von Verstössen und den Schutz von Hinweisgebern gemäss der Whistleblower-Richtlinie, was unter bestimmten Umständen zu einer freiwilligen Meldung von Vorfällen führen kann.

Meldepflicht

Im Rahmen ihrer Pflichten nach dem Inverkehrbringen müssen Anbieter von KI-Systemen mit hohem Risiko oder unter bestimmten Umständen auch Betreiber jeden „schwerwiegenden Vorfall“ den Marktüberwachungsbehörden der Mitgliedstaaten melden, in denen dieser Vorfall aufgetreten ist. Darüber hinaus müssen sie im Rahmen ihres Qualitätsmanagementsystems schriftliche Richtlinien, Verfahren und Anweisungen zur Meldung schwerwiegender Vorfälle festlegen. Die Meldepflicht gilt für risikoreiche Systeme, die in Verkehr gebracht wurden oder unter realen Bedingungen ausserhalb von regulatorischen Sandboxes getestet werden. Darüber hinaus gibt es besondere Bestimmungen zu den Meldepflichten der Anbieter von Allzweck-KI-Modellen mit systemischem Risiko, die im Verhaltenskodex für Allzweck-KI-Modelle näher ausgeführt sind.

Ziel

Der Zweck der Verpflichtungen nach dem Inverkehrbringen, einschliesslich der Meldung schwerwiegender Vorfälle, besteht darin, sicherzustellen, dass Anbieter von KI-Systemen mit hohem Risiko Erfahrungen aus der Praxis berücksichtigen können, um die Systemleistung zu verbessern, die Entwurfs- und Entwicklungsprozesse zu optimieren und bei Bedarf rechtzeitig Korrekturmassnahmen zu ergreifen. Diese Pflichten erleichtern auch die Erkennung neu auftretender Risiken, insbesondere bei KI-Systemen, die nach ihrer Bereitstellung weiter „lernen“.

Der Richtlinienentwurf der Kommission stellt klar, dass die Meldepflichten ein dreifaches Ziel verfolgen: (i) die Schaffung eines Frühwarnsystems für Risiken von KI-Systemen, (ii) die Festlegung der Rechenschaftspflicht für Anbieter und Nutzer sowie (iii) die Ermöglichung zeitnaher Korrekturmassnahmen durch Marktüberwachungsbehörden. Somit haben die Bestimmungen eine umfassendere präventive Wirkung, die über jedes einzelne KI-System hinausgeht.

Meldepflichtige Personen

Meldepflichtig sind Anbieter und Betreiber von KI-Systemen mit hohem Risiko sowie Anbieter von KI-Allzweckmodellen mit systemischem Risiko.

Anbieter und Betreiber von KI-Systemen mit hohem Risiko

Die AIA-Bestimmungen zur Meldung schwerwiegender Vorfälle konzentrieren sich auf die Meldepflichten von Anbietern risikoreicher KI-Systeme. Ein „Anbieter“ ist eine natürliche oder juristische Person, einschliesslich öffentlicher Stellen, die ein KI-System entwickelt oder entwickeln lässt und es in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer eigenen Marke in Betrieb nimmt, sei es gegen Entgelt oder unentgeltlich.

Darüber hinaus müssen Betreiber von risikoreichen KI-Systemen, d. h. gewerbliche Nutzer, unter bestimmten Umständen möglicherweise einen Bericht über schwerwiegende Vorfälle einreichen. Grundsätzlich müssen Betreiber lediglich den Anbieter, den Importeur oder den Vertreiber sowie die Marktüberwachungsbehörde über den Vorfall informieren. In Ausnahmefällen müssen Betreiber einen Bericht über schwerwiegende Vorfälle einreichen, wenn sie den Anbieter nicht darüber informieren können, dass ein schwerwiegender Vorfall eingetreten ist. Diese Pflicht umfasst einen Zwischenbericht, um eine fristgerechte Einreichung sicherzustellen.

KI-Systeme werden gemäss den in Artikel 6 AIA festgelegten Kriterien als risikoreich eingestuft. Es gibt zwei Kategorien von risikoreichen Systemen.

Erstens sieht Artikel 6 Absatz 1 vor, dass ein KI-System als risikoreich gilt, wenn beide der folgenden Bedingungen erfüllt sind: (i) Das KI-System ist ein Produkt oder eine Sicherheitskomponente eines Produkts, das unter spezifische EU-Rechtsvorschriften zur Produktsicherheit fällt, die in Anhang I aufgeführt sind, z. B. zu Spielzeug, Funkgeräten, Medizinprodukten usw.; (ii) gemäss diesen EU-Rechtsvorschriften muss ein Dritter (d. h. eine andere Partei als der Entwickler des KI-Systems oder des KI-Modells) die Konformität dieses Produkts mit den geltenden Produktsicherheitsvorschriften bewerten, damit das Produkt auf den EU-Binnenmarkt gebracht werden darf.

Zweitens gelten KI-Systeme, auf die in Anhang III des AIA Bezug genommen wird, als risikoreich. Dabei handelt es sich um KI-Systeme, die in folgenden Bereichen eingesetzt werden: (i) Biometrie, (ii) kritische Infrastruktur, (iii) allgemeine und berufliche Bildung, (iv) Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, (v) Zugang zu und Inanspruchnahme von wesentlichen privaten Dienstleistungen sowie wesentlichen öffentlichen Dienstleistungen und Leistungen, (vi) Strafverfolgung, (vii) Migration, Asyl und Grenzkontrollmanagement sowie (viii) Rechtspflege und demokratische Prozesse.

Anbieter von KI-Allzweckmodellen mit systemischen Risiken

Darüber hinaus sind Anbieter von KI-Allzweckmodellen mit systemischen Risiken verpflichtet, schwerwiegende Vorfälle zu melden. Die definitorischen Merkmale eines Anbieters eines Allzweckmodells entsprechen denen eines Anbieters eines KI-Systems mit hohem Risiko.

Das AIA definiert ein „Allzweck-KI-Modell“ als ein KI-Modell, das eine erhebliche Allgemeingültigkeit aufweist und in der Lage ist, eine breite Palette unterschiedlicher Aufgaben kompetent auszuführen, und das in eine Vielzahl von nachgelagerten Systemen oder Anwendungen integriert werden kann. Die Definition schliesst KI-Modelle aus, die für Forschungs-, Entwicklungs- oder Prototyping-Aktivitäten verwendet werden, bevor sie in Verkehr gebracht werden. Ein Allzweck-KI-Modell unterscheidet sich von einem Allzweck-KI-System, bei dem es sich um ein KI-System handelt, das auf einem Allzweck-KI-Modell basiert und verschiedene Zwecke erfüllen kann, sowohl für den direkten Einsatz als auch für die Integration in andere KI-Systeme.

Ein „systemisches Risiko“ ist definiert als ein Risiko, das spezifisch mit den Fähigkeiten von Allzweck-KI-Modellen mit hoher Wirkung verbunden ist, d. h. mit Fähigkeiten, die den in den fortschrittlichsten Allzweck-KI-Modellen verzeichneten Fähigkeiten entsprechen oder diese übertreffen, wenn diese Modelle aufgrund ihrer Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Auswirkungen auf die öffentliche Gesundheit, die Sicherheit, die öffentliche Ordnung, Grundrechte oder die Gesellschaft als Ganzes haben und sich in grossem Massstab über die gesamte Wertschöpfungskette ausbreiten können.

Gemäss Artikel 51 Absatz 1 Buchstabe a AIA wird ein Allzweck-KI-Modell als Allzweck-KI-Modell mit systemischem Risiko eingestuft, wenn es über Fähigkeiten mit erheblichen Auswirkungen verfügt, die auf der Grundlage geeigneter technischer Instrumente und Methoden bewertet wurden. Solche Fähigkeiten werden vermutet, wenn der kumulative Rechenaufwand für sein Training 10(^25) Gleitkommaoperationen übersteigt. Alternativ kann die Europäische Kommission auf der Grundlage der in Anhang XIII AIA festgelegten Kriterien, wie beispielsweise der Anzahl der Parameter des Modells, der Qualität oder Grösse des Datensatzes, des für das Training des Modells aufgewendeten Rechenaufwands usw., entscheiden, dass ein KI-Allzweckmodell über Fähigkeiten mit erheblichen Auswirkungen verfügt.

Schwerwiegender Vorfall

Der AIA definiert einen „schwerwiegenden Vorfall“ als „einen Vorfall oder eine Fehlfunktion eines KI-Systems, der bzw. die direkt oder indirekt zu einem der folgenden Ereignisse führt:

1. dem Tod einer Person oder einer schweren Schädigung der Gesundheit einer Person;
2. eine schwerwiegende und irreversible Störung der Verwaltung oder des Betriebs kritischer Infrastrukturen;
3. die Verletzung von Verpflichtungen nach Unionsrecht, die dem Schutz der Grundrechte dienen;
4. schwerwiegende Schäden an Eigentum oder der Umwelt“.

Der Begriff „schwerwiegender Vorfall“ gilt für die Meldepflichten sowohl von Entwicklern (oder in einigen Fällen Betreibern) von KI-Systemen gemäss Artikel 73 AIA als auch von Entwicklern von Allzweck-KI-Modellen mit systemischem Risiko gemäss Artikel 55 Absatz 1 Buchstabe c AIA. Darüber hinaus legt der Verhaltenskodex für Allzweck-KI-Modelle im Falle der Letzteren fest, dass ein „schwerwiegender Vorfall“ eine schwerwiegende Verletzung der Cybersicherheit umfasst.

Vorfall

Das AIA definiert den Begriff „Vorfall“ nicht.

Der Wortlaut der Definition des Begriffs „schwerwiegender Vorfall“ (Vorfall oder Störung) scheint zu implizieren, dass sich ein „Vorfall“ von einer „Störung“ unterscheidet, doch ist dies nicht ganz zutreffend. Die Europäische Kommission stellt fest, dass es keine strikte Unterscheidung zwischen einem „Vorfall“ und einer „Fehlfunktion“ gibt; die Definition unterstreicht die Bedeutung von Fehlfunktionen bei der Überwachung von Vorfällen. Die Kommission stellt ferner klar, dass eine „Fehlfunktion“ jede Funktion des KI-Systems ist, die der beabsichtigten Leistung oder der vom Anbieter in der technischen Dokumentation gemäss Artikel 11 AIA angegebenen Leistung widerspricht.

Als weitere Orientierungshilfe könnte die von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) entwickelte Definition des „KI-Vorfalls“ dienen, an der die Europäische Kommission mitgewirkt hat: „Ein KI-Vorfall ist ein Ereignis, ein Umstand oder eine Reihe von Ereignissen, bei denen die Entwicklung, der Einsatz oder die Fehlfunktion eines oder mehrerer KI-Systeme direkt oder indirekt zu einem der folgenden Schäden führt“. Somit umfasst der Begriff „Vorfall“ Situationen im Zusammenhang mit der Entwicklung oder dem Betrieb eines risikoreichen KI-Systems oder eines universellen KI-Modells, unabhängig davon, ob dabei eine Fehlfunktion vorliegt. Diese Situationen müssen konkrete schädliche Folgen verursacht haben.

Schwerwiegend

Ein Vorfall ist „schwerwiegend“, wenn er in einem Kausalzusammenhang mit den in den Buchstaben a bis d der Definition genannten konkreten, schwerwiegenden Folgen steht. Der Wortlaut der Definition (led) und die Entstehungsgeschichte der Bestimmung deuten darauf hin, dass eine konkrete Folge eingetreten sein muss, sodass „Beinaheunfälle“ nicht erfasst werden.

Konkrete Folgen

Diese Folgen sind wie folgt:

• Tod einer Person oder schwere Schädigung der Gesundheit einer Person.

Der allgemeine Wortlaut der Bestimmung bedeutet, dass sowohl körperliche als auch psychische Gesundheitsbeeinträchtigungen erfasst werden. Eine schwere Beeinträchtigung kann auch die Verschlechterung eines bereits bestehenden Zustands sein, wie dies auch in den Leitlinien der Kommission angedeutet wird.

• Eine schwerwiegende und irreversible Störung der Verwaltung oder des Betriebs kritischer Infrastrukturen.

Unter kritischer Infrastruktur ist eine Anlage, eine Einrichtung, Ausrüstung, ein Netzwerk oder ein System oder ein Teil einer Anlage, einer Einrichtung, Ausrüstung, eines Netzwerks oder eines Systems zu verstehen, die bzw. das für die Erbringung einer wesentlichen Dienstleistung erforderlich ist. Der Begriff „wesentliche Dienstleistung“ bezeichnet eine Dienstleistung, die für die Aufrechterhaltung lebenswichtiger gesellschaftlicher Funktionen, wirtschaftlicher Aktivitäten, der öffentlichen Gesundheit und Sicherheit oder der Umwelt von entscheidender Bedeutung ist. Der Vorfall muss eine Störung der Verwaltung oder des Betriebs verursacht haben, die sowohl schwerwiegend als auch irreversibel ist. Eine Störung ist „schwerwiegend“, wenn sie (i) eine unmittelbare Gefahr für das Leben oder die körperliche Unversehrtheit einer Person darstellen könnte, unter anderem durch eine schwerwiegende Beeinträchtigung der Grundversorgung der Bevölkerung oder der Wahrnehmung der Kernaufgaben des Staates, (ii) zur Zerstörung von Schlüsselinfrastruktur führen könnte und (iii) eine Störung der sozialen und wirtschaftlichen Aktivitäten zur Folge haben könnte. Die Kommission scheint anzudeuten, dass „Irreversibilität“ einer (fast) vollständigen Zerstörung der betreffenden kritischen Infrastruktur gleichkommt. Eine solche Sichtweise würde den Umfang der Meldepflicht übermässig einschränken. Daher sollte Irreversibilität besser als eine Störung verstanden werden, deren Behebung ausserordentliche und umfangreiche Reparaturen erfordert. Der Schwerpunkt der Meldepflicht sollte auf dem Lernen aus Erfahrungen liegen, und ein solches Ziel wird nicht durch eine Einschränkung ihres Umfangs gefördert.

• Schwerwiegender Schaden an Eigentum oder der Umwelt.

Angesichts des Ziels von Artikel 73, den Informationsaustausch zur Verbesserung der Sicherheit zu fördern, sollte der Begriff „Sachwerte“ weit gefasst werden und sowohl materielle als auch immaterielle Vermögenswerte umfassen, wie beispielsweise Rechte des geistigen Eigentums, E-Geld und Krypto-Vermögenswerte. Die Schwere des Schadens an Sachwerten hängt vom Wert des verursachten Schadens, der Schwierigkeit, den Schaden zu beheben, oder dessen Unumkehrbarkeit usw. ab.

Zur Definition eines „schwerwiegenden“ Schadens an der Umwelt könnten die Umwelthaftungsrichtlinie (ELD) und die Richtlinie über Umweltkriminalität (ECD) als Orientierung dienen. Artikel 2 Absatz 1 Buchstabe a der Umwelthaftungsrichtlinie definiert „Umweltschaden“ als Schaden an geschützten Arten und natürlichen Lebensräumen, an Gewässern und am Boden. Artikel 3 Absatz 6 ECD sieht vor, dass die Beurteilung, ob ein Schaden erheblich ist, Faktoren wie (i) den Ausgangszustand der betroffenen Umwelt, (ii) die Frage, ob der Schaden langfristig, mittelfristig oder kurzfristig ist, (iii) das Ausmass des Schadens und (iv) die Reversibilität des Schadens umfasst. Die Kommission nennt als weitere Beispiele die Kontamination von Umweltressourcen und die Störung natürlicher Ökosysteme. Hinzu käme die Entstehung von Weltraummüll, der nachteilige Folgen für die Nutzung des Weltraums hat.

• Verletzung von Verpflichtungen nach Unionsrecht, die dem Schutz der Grundrechte dienen.

Der Begriff „Grundrechte“ bezieht sich auf die Charta der Grundrechte der Europäischen Union. Der allgemeine Wortlaut dieser Bestimmung kann verschiedene Arten von Schäden umfassen, wie z. B. Verletzungen der Privatsphäre, Diskriminierung, Verletzungen des Rechts auf ein faires Verfahren, Verletzungen der Menschenwürde, Falsch- und Desinformation usw. Das schädliche Ergebnis scheint in diesem Fall die Verletzung von Rechtsvorschriften zu sein, nicht der tatsächliche Schaden, der sich daraus ergeben kann. Obwohl dies nicht ausdrücklich erwähnt wird, muss die Verletzung „schwerwiegend“ sein, sodass geringfügige Verstösse gegen solche Verpflichtungen nicht erfasst werden. Die Kommission stellt klar, dass nur solche Verstösse meldepflichtig sind, die die durch die Charta geschützten Rechte in grossem Umfang erheblich beeinträchtigen, und nennt als Beispiele ein KI-basiertes Rekrutierungssystem, das Bewerber aufgrund ihrer ethnischen Herkunft oder ihres Geschlechts ausschliesst; ein Kreditbewertungssystem, das bestimmte Personengruppen ausschliesst; ein biometrisches Identifizierungssystem, das Personen mit unterschiedlichem ethnischem Hintergrund häufig falsch identifiziert. Diese Beispiele deuten darauf hin, dass die Bestimmung hauptsächlich auf Fälle von Diskriminierung und Verletzungen der Privatsphäre anwendbar sein soll.

Dennoch werfen sich eine Reihe praktischer Fragen auf.

Erstens ist unklar, wie die „Verletzung“ solcher Verpflichtungen festgestellt werden soll: Wäre eine formelle Feststellung erforderlich, wie etwa eine Entscheidung einer Aufsichtsbehörde, oder würde eine blosse potenzielle Verletzung ausreichen, um die Meldepflicht auszulösen? Letzteres erscheint angemessener, um Verzögerungen bei der Meldung zu vermeiden, da Beweise gesichert und der schwerwiegende Vorfall umgehend untersucht werden müssen. Die Schwelle für die Wahrscheinlichkeit einer Verletzung bleibt jedoch ungewiss.

Zweitens gibt es eine Vielzahl von Bestimmungen im EU-Recht, die auf den Schutz der Grundrechte abzielen. In gewisser Weise lassen sich fast alle Rechtsvorschriften mit dem Schutz eines oder mehrerer Grundrechte in Verbindung bringen, während Grundrechte oft gegeneinander abgewogen werden müssen. Dies führt zu erheblicher Rechtsunsicherheit.

Insbesondere für Entwickler von Allzweck-KI-Modellen mit systemischem Risiko verweist der Verhaltenskodex für Allzweck-KI-Modelle auf eine „schwerwiegende Cybersicherheitsverletzung, einschliesslich der (selbstverschuldeten) Exfiltration von Modellgewichten und Cyberangriffen“ als einen besonderen Fall eines schwerwiegenden Vorfalls. Dies steht im Zusammenhang mit der Pflicht der Entwickler von Allzweck-KI-Modellen mit systemischem Risiko, während des gesamten Lebenszyklus des Modells ein angemessenes Mass an Cybersicherheitsschutz für das Modell und seine physische Infrastruktur zu gewährleisten. In diesem Zusammenhang stellt Erwägungsgrund 115 AIA klar, dass Cybersicherheitsrisiken Fälle wie versehentliche Modelllecks, unbefugte Veröffentlichungen, die Umgehung von Sicherheitsmassnahmen und Abwehrmechanismen gegen Cyberangriffe, unbefugten Zugriff und Modelldiebstahl umfassen, was bedeutet, dass von Entwicklern erwartet wird, Modellgewichte, Algorithmen, Server und Datensätze zu sichern. Folglich würde jede Cybersicherheitsverletzung, die solche Elemente erheblich beeinträchtigt, beispielsweise Datenvergiftung oder Prompt-Injection, als „schwerwiegende Cybersicherheitsverletzung“ gelten.

Zusammenfassend deckt die Definition des Begriffs „schwerwiegender Vorfall“ eine Vielzahl von Fällen ab. Die Definition ist jedoch nicht ausreichend klar, insbesondere hinsichtlich der Vorfälle, die Verstösse gegen Vorschriften zum Schutz der Menschenrechte beinhalten. Darüber hinaus erscheint sie in einigen Fällen nicht ausreichend kohärent, wenn beispielsweise schwerwiegende Sachschäden meldepflichtig sind, für kritische Infrastrukturen jedoch eine nahezu vollständige Zerstörung erforderlich sein kann. Diese Mängel bringen Compliance-Herausforderungen für Entwickler und Betreiber sowie Durchsetzungsprobleme für die Marktüberwachungsbehörden mit sich.

Kausalzusammenhang

Es muss ein direkter oder indirekter Kausalzusammenhang zwischen dem Vorfall und dem oben genannten schwerwiegenden Schaden bestehen, was bedeutet, dass der schwerwiegende Schaden nach Abwägung der Wahrscheinlichkeiten ohne den Vorfall nicht eingetreten wäre.

Ein indirekter Kausalzusammenhang liegt vor, wenn das schädliche Ergebnis eine Folge des Vorfalls ist, z. B. wenn ein KI-basiertes Bonitätsbewertungssystem fälschlicherweise anzeigt, dass eine Person nicht zahlungsfähig genug ist, und ihr daher ein Kredit verweigert wird; oder wenn ein KI-System einen Patienten als risikoarm einstuft und dadurch die frühzeitige Erkennung einer sich verschlechternden Erkrankung verhindert.

Die Kommission stellt fest, dass bei unerwartetem Missbrauch des KI-Systems kein Kausalzusammenhang vorliegt. Eine solche Einschränkung ist jedoch nur im Haftungszusammenhang sinnvoll, um eine übermässige Ausweitung der Haftung zu vermeiden. Bei der Meldung von Vorfällen sollte der Schwerpunkt darauf liegen, aus Erfahrungen zu lernen und künftigen Schäden vorzubeugen. In dieser Hinsicht liefern Meldungen über Schäden aufgrund unvorhersehbarer Fehlnutzung wertvolle Erkenntnisse für die Sicherheit. Auch wenn ein Vorfall bei der ersten Meldung als unvorhersehbar angesehen werden könnte, gilt dies möglicherweise nicht für spätere ähnliche Vorfälle, z. B. Chats mit KI-Systemen, die zu Selbstmorden führen.

Fristen für die Einreichung

Fragen im Zusammenhang mit den Fristen für die Meldung eines schwerwiegenden Vorfalls betreffen die Länge der Frist und den Zeitpunkt ihres Beginns.

Anbieter und Betreiber von KI-Systemen

Artikel 73 legt kurze Meldefristen fest, die den erhöhten Risiken Rechnung tragen, die von risikoreichen KI-Systemen erwartet werden.

In der Regel muss die Meldung eines schwerwiegenden Vorfalls unverzüglich erfolgen, nachdem der Anbieter einen Kausalzusammenhang zwischen dem KI-System und dem schwerwiegenden Vorfall oder die begründete Wahrscheinlichkeit eines solchen Zusammenhangs festgestellt hat. Der Verweis auf die hinreichende Wahrscheinlichkeit eines Kausalzusammenhangs berücksichtigt potenzielle Schwierigkeiten bei der Verknüpfung des eingetretenen Schadens mit der (Fehl-)Funktion des KI-Systems. Um übermässige Verzögerungen bei der Meldung zu vermeiden, muss der Vorfall spätestens 15 Tage, nachdem der Anbieter oder der Betreiber von dem schwerwiegenden Vorfall Kenntnis erlangt hat, gemeldet werden, unabhängig von Fragen der Kausalität. In diesem Zusammenhang beträgt die maximal zulässige Frist 15 Tage, die in schwerwiegenderen Fällen verkürzt werden kann. Die Schwere bezieht sich auf das Ausmass des Schadens, die erhöhte Wahrscheinlichkeit eines unmittelbar bevorstehenden weiteren Schadens, die Behebbarkeit des Schadens usw. Die genaue Dauer der verkürzten Frist ist vom Einzelfall abhängig, und in vielen Fällen wird es der Marktüberwachungsbehörde obliegen, rückwirkend zu bestimmen, ob eine ungerechtfertigte Verzögerung bei der Meldung vorlag, obwohl die Meldung innerhalb von 15 Tagen eingereicht wurde.

Für bestimmte schwerwiegende Fälle werden im Interesse der öffentlichen Sicherheit kürzere, aussergewöhnliche Fristen festgelegt. Erstens muss im Falle eines Todesfalls die Meldung unverzüglich erfolgen, nachdem der Anbieter oder der Betreiber einen Kausalzusammenhang zwischen dem hochriskanten KI-System und dem schwerwiegenden Vorfall festgestellt hat oder vermutet, spätestens jedoch 10 Tage nach dem Zeitpunkt, zu dem der Anbieter oder der Betreiber von dem schwerwiegenden Vorfall Kenntnis erlangt hat. Zweitens muss im Falle (i) einer weitreichenden Rechtsverletzung, wie etwa eines Schadens im Zusammenhang mit dem Umweltschutz, der öffentlichen Gesundheit oder dem Funktionieren demokratischer Institutionen, oder (ii) einer schwerwiegenden und irreversiblen Störung der Verwaltung oder des Betriebs kritischer Infrastrukturen der Bericht unverzüglich, spätestens jedoch zwei Tage, nachdem der Anbieter oder der Betreiber von diesem Vorfall Kenntnis erlangt hat, vorgelegt werden.

Je schwerwiegender der eingetretene Schaden ist, desto kürzer sind somit die Meldefristen. Interessanterweise unterscheiden sich je nach Schwere des Schadens auch die Anforderungen an den Nachweis eines Kausalzusammenhangs, der die Frist auslöst. Grundsätzlich ist eine hinreichende Wahrscheinlichkeit eines Kausalzusammenhangs erforderlich, doch in Todesfällen reicht ein blosser „Verdacht“ aus, während bei weitreichenden Rechtsverletzungen oder schwerwiegenden Schäden an kritischer Infrastruktur überhaupt kein Kausalzusammenhang erforderlich ist. Dennoch ist auch in der dritten Fallgruppe zumindest ein offensichtlicher Zusammenhang zwischen der Fehlfunktion und dem Schaden erforderlich; andernfalls wäre die Bestimmung praktisch nicht umsetzbar.

Um eine fristgerechte Einreichung zu gewährleisten, kann zunächst ein unvollständiger Bericht eingereicht werden, dem ein vollständiger Bericht folgt. Diese Möglichkeit ermöglicht eine angemessene Bewältigung komplexer Vorfälle, schafft Rechtssicherheit für Anbieter und Betreiber von KI-Systemen und ermöglicht es den Marktüberwachungsbehörden, eine erste Beurteilung des Falls vorzunehmen und vorläufige Massnahmen anzuordnen.

Anbieter von KI-Allzweckmodellen mit systemischen Risiken

Art. 55 Abs. 1 Buchstabe c AIA verpflichtet Anbieter von KI-Allzweckmodellen mit systemischen Risiken, „dem KI-Büro und gegebenenfalls den zuständigen nationalen Behörden unverzüglich Meldung zu erstatten“. Der Verhaltenskodex für Allzweck-KI-Modelle präzisiert die geltenden Fristen, die mit den Bestimmungen für Anbieter und Betreiber von KI-Systemen gemäss Artikel 73 übereinstimmen. Für die zusätzlichen Fälle schwerwiegender Cybersicherheitsverletzungen legt der Verhaltenskodex eine Frist von 5 Tagen fest, nachdem die Anbieter Kenntnis von der Beteiligung ihres Modells an dem Vorfall erlangt haben.

Der Verhaltenskodex für allgemeine KI-Modelle ermöglicht es Anbietern von allgemeinen KI-Modellen mit systemischem Risiko, einen Zwischenbericht für ungelöste Vorfälle einzureichen und diesen alle vier Wochen zu aktualisieren. Sie müssen innerhalb von 60 Tagen nach Klärung des Vorfalls einen Abschlussbericht vorlegen. Treten innerhalb der Meldefristen mehrere ähnliche schwerwiegende Vorfälle auf, können sie diese in den Bericht(en) über den ersten schwerwiegenden Vorfall aufnehmen, wobei die Meldefristen für den ersten schwerwiegenden Vorfall einzuhalten sind.

Darüber hinaus legt der Verhaltenskodex eine Pflicht für Anbieter von KI-Allzweckmodellen mit systemischem Risiko fest, die Dokumentation aller relevanten Informationen, die während der Untersuchung des schwerwiegenden Vorfalls gesammelt wurden, für mindestens fünf Jahre ab dem Datum der Dokumentation oder dem Datum des schwerwiegenden Vorfalls aufzubewahren, je nachdem, welcher Zeitpunkt später liegt, unbeschadet des auf diese Informationen anwendbaren Unionsrechts.

Inhalt des Berichts

Artikel 73 AIA präzisiert den Inhalt des vorzulegenden Berichts nicht. Einige notwendige Elemente lassen sich jedoch aus dem regulatorischen Kontext der Bestimmung ableiten (systematische Auslegung). Der Bericht sollte alle zur Identifizierung des Vorfalls erforderlichen Details enthalten, wie z. B. die Identifizierung des KI-Systems; den eingetretenen Schaden; den Sachverhalt, einschliesslich etwaiger (vermuteter) Fehlfunktionen des Systems und deren potenzieller Verbindung zu dem eingetretenen Schaden; die Identifizierung potenzieller weiterer Risiken; die Beschreibung etwaiger ergriffener, geplanter und/oder vorgeschlagener Abhilfemassnahmen. Insbesondere für Anbieter von Allzweckmodellen mit systemischem Risiko ist die Aufnahme potenzieller Korrekturmassnahmen in den Bericht verpflichtend.

Detailliertere Leitlinien sind dem Verhaltenskodex für allgemeine KI-Modelle zu entnehmen. Massnahme 9.2 des Verhaltenskodex verpflichtet Anbieter von KI-Modellen mit systemischem Risiko, mindestens die folgenden Informationen zu melden, wobei diese im erforderlichen Umfang redigiert werden, um anderen für solche Informationen geltenden Rechtsvorschriften der Union zu entsprechen:

1. das Anfangs- und Enddatum des schwerwiegenden Vorfalls oder, falls die genauen Daten unklar sind, die bestmöglichen Schätzungen;
2. den daraus resultierenden Schaden und das Opfer oder die betroffene Gruppe des schwerwiegenden Vorfalls;
3. die Kette von Ereignissen, die (direkt oder indirekt) zu dem schwerwiegenden Vorfall geführt hat;
4. das an dem schwerwiegenden Vorfall beteiligte Modell;
5. eine Beschreibung des verfügbaren Materials, aus dem die Beteiligung des Modells an dem schwerwiegenden Vorfall hervorgeht;
6. was der Anbieter gegebenenfalls als Reaktion auf den schwerwiegenden Vorfall zu tun beabsichtigt oder bereits unternommen hat;
7. welche Massnahmen der Anbieter dem AI-Büro und gegebenenfalls den zuständigen nationalen Behörden als Reaktion auf den schwerwiegenden Vorfall empfiehlt;
8. eine Ursachenanalyse mit einer Beschreibung der Modellausgaben, die (direkt oder indirekt) zu dem schwerwiegenden Vorfall geführt haben, sowie der Faktoren, die zu deren Entstehung beigetragen haben, einschliesslich der verwendeten Eingaben und etwaiger Ausfälle oder Umgehungen systemischer Risikominderungsmassnahmen; und
9. alle während der Marktüberwachung festgestellten Muster, die vernünftigerweise mit dem schwerwiegenden Vorfall in Verbindung gebracht werden können, wie beispielsweise Einzel- oder aggregierte Daten zu Beinahevorfällen.

Empfänger des Berichts

Anbieter von KI-Systemen müssen den Bericht bei den Marktüberwachungsbehörden der Mitgliedstaaten einreichen, in denen sich der Vorfall ereignet hat. Der „Ort des Vorfalls“ ist nicht definiert. Der Wortlaut der Bestimmung (Staaten) deutet darauf hin, dass es mehr als einen Ort des Vorfalls geben kann, nämlich den Ort, an dem der Betrieb oder die Fehlfunktion des KI-Systems stattfand, sowie den Ort bzw. die Orte, an denen der Schaden entstanden ist.

Anbieter von KI-Modellen für allgemeine Zwecke mit systemischem Risiko müssen jeden schwerwiegenden Vorfall dem KI-Büro, das Teil der Europäischen Kommission ist, und gegebenenfalls den nationalen Behörden melden.

Aus Compliance-Sicht erschwert die Tatsache, dass mehr als ein Staat betroffen sein kann und jeder Staat möglicherweise mehr als eine Marktüberwachungsbehörde benannt hat, das Meldeverfahren. Ein Problem ist die Ermittlung der für den jeweiligen Vorfall zuständigen Behörde in anderen Staaten als dem Staat, in dem der Anbieter oder Betreiber ansässig ist. In solchen Fällen sollte es ausreichen, dass der Anbieter die nationale zentrale Anlaufstelle in diesen Staaten benachrichtigt, die gemäss Artikel 70 Absatz 2 AIA benannt wurde. Ein ähnliches Problem stellt die Ermittlung der für den konkreten Vorfall zuständigen Behörde im „Heimatstaat“ dar, wenn dieser Staat mehr als eine Behörde benannt hat. Um die Einhaltung der Vorschriften zu erleichtern, sollte akzeptiert werden, dass, wenn sich diese Behörde aus dem Sachverhalt nicht eindeutig ergibt (z. B. wenn der Vorfall einen Verlust personenbezogener Daten betrifft, der offenbar nicht mit Cybersicherheit zusammenhängt, und die Datenschutzaufsichtsbehörde als zuständig benannt wurde), die Meldung ausschliesslich an die nationale zentrale Anlaufstelle übermittelt werden kann.

Erleichterte Meldepflichten

Die AIA sieht für Anbieter bestimmter KI-Systeme geringere Meldepflichten vor, um Doppelmeldungen zu vermeiden und die Einhaltung der Vorschriften zu erleichtern.

Erstens müssen gemäss Artikel 73 Absatz 9 AIA Anbieter von in Anhang III AIA genannten KI-Systemen mit hohem Risiko nur schwerwiegende Vorfälle melden, die Verstösse gegen Verpflichtungen nach EU-Recht zum Schutz der Grundrechte betreffen. Für diese gelockerte Meldepflicht gelten zwei Voraussetzungen: Erstens unterliegen solche Systeme anderen EU-Rechtsinstrumenten; zweitens legen diese Instrumente gleichwertige Meldepflichten fest. Der Begriff „gleichwertig“ ist so auszulegen, dass er sich auf die Pflicht bezieht, Sicherheitsvorfälle an die Aufsichtsbehörden zu melden, da das Ziel der Bestimmung die Vereinfachung der Meldeaufgaben ist.

Ebenso sieht Artikel 73 Absatz 10 vor, dass bei risikoreichen KI-Systemen, die als Medizinprodukte oder als Sicherheitskomponente davon verwendet werden, die Anbieter nur schwerwiegende Vorfälle melden müssen, die Verstösse gegen Verpflichtungen nach EU-Recht zum Schutz der Grundrechte betreffen. Es reicht aus, dass die Meldungen bei den nationalen zuständigen Behörden eingereicht werden, die gemäss der Medizinprodukteverordnung und der Verordnung über In-vitro-Diagnostika von dem Staat benannt wurden, in dem der Vorfall eingetreten ist.

Da die AIA nur für bestimmte Fälle eine Erleichterung der Meldepflichten vorsieht, bleiben die Meldepflichten nach anderen EU-Rechtsvorschriften unberührt (expressio unius est exclusio alterius). Dennoch bedeutet Artikel 2 Absatz 2 AIA, dass die Meldepflicht keine KI-Systeme umfasst, die unter die in Anhang I Abschnitt B aufgeführten Harmonisierungsvorschriften der Union fallen. Dabei handelt es sich um KI-Systeme, die im Verkehrssektor eingesetzt werden, z. B. in der Zivilluftfahrt, bei Kraftfahrzeugen, im Schienenverkehr usw.

Folgemassnahmen

Nach der Meldung müssen sowohl die Anbieter als auch die Aufsichtsbehörden eine Reihe von Massnahmen ergreifen.

Anbieter von KI-Systemen

Die Anbieter der KI-Systeme müssen den Vorfall unverzüglich untersuchen. Die Untersuchung umfasst eine Risikobewertung des Vorfalls und Korrekturmassnahmen als Teil der allgemeinen Risikomanagementpflichten der Entwickler von KI-Systemen gemäss Artikel 9 AIA. Dies erfordert die Erfassung und Analyse aller relevanten Fakten und Daten, um die Kette von Ereignissen zu rekonstruieren, die den Betrieb des KI-Systems mit dem eingetretenen Schaden verbindet. In der Praxis ist die Feststellung von Kausalzusammenhängen jedoch möglicherweise nicht einfach, da KI-Systeme sehr komplex und undurchsichtig sind, während ihre Ergebnisse durch äussere Faktoren wie Umgebungsbedingungen und Benutzereingaben beeinflusst werden können.

Gemäss Artikel 9 Absatz 2 AIA wird das Risikomanagement von KI-Systemen als ein kontinuierlicher, iterativer Prozess verstanden, der über den gesamten Lebenszyklus des KI-Systems hinweg geplant und durchgeführt wird und eine regelmässige, systematische Überprüfung und Aktualisierung erfordert. Daher erfordert das Auftreten eines Vorfalls eine erneute Risikobewertung des gesamten Systems, um weiterreichende oder latente Probleme zu identifizieren und geeignete Korrekturmassnahmen festzulegen. Auch diese Massnahmen unterliegen einer Risikobewertung, da sie neue Risiken mit sich bringen können.

Während der Untersuchung müssen die Anbieter von KI-Systemen mit den zuständigen Behörden und gegebenenfalls mit der betroffenen benannten Stelle zusammenarbeiten. Wenn die Untersuchung Änderungen am KI-System beinhaltet, die die anschliessende Bewertung der Ursachen des Vorfalls beeinflussen könnten, müssen sie die zuständigen Behörden zuvor über solche Massnahmen informieren. Dies berücksichtigt die Notwendigkeit, forensische Beweise zu sichern, was gegen die Notwendigkeit abgewogen wird, Systemänderungen zu Abhilfemassnahmen vorzunehmen. Bei der Beurteilung, ob eine solche Änderung vorliegt, sind verschiedene Faktoren zu berücksichtigen: Änderungen an Komponenten, die unmittelbar an dem schwerwiegenden Vorfall beteiligt waren, wie Software-Updates, Hardware-Austausch oder Konfigurationsänderungen; Änderungen, die die Verfügbarkeit von für technische Untersuchungen erforderlichen Daten beeinträchtigen (wie das Überschreiben von Trainingsdatensätzen oder das Deaktivieren von Überwachungstools) oder die Möglichkeit zur Rekonstruktion des Ablaufs der Ereignisse, die zu dem Vorfall geführt haben, beeinflussen (wie die Änderung von Protokolldateien, Sensordaten oder Entscheidungsalgorithmen).

Diese Bestimmungen bedeuten, dass der Anbieter des KI-Systems in erster Linie für die Untersuchung des Vorfalls verantwortlich ist, da er am besten weiss, wie das System entwickelt, trainiert, feinabgestimmt usw. wurde, sowie über dessen bisherige Betriebshistorie verfügt. Dennoch müssen die zuständigen Behörden über den Fortschritt der Untersuchung auf dem Laufenden gehalten und zu allen Massnahmen konsultiert werden, die die Bemühungen zur Ermittlung oder Überprüfung der Ursachen des Vorfalls untergraben könnten.

Werden KI-Systeme mit hohem Risiko unter realen Bedingungen ausserhalb von KI-Regulierungs-Sandboxes getestet, müssen die (potentiellen) Anbieter unverzüglich Abhilfemassnahmen ergreifen oder, falls dies nicht möglich ist, die Tests unter realen Bedingungen aussetzen, bis solche Abhilfemassnahmen getroffen werden, oder sie andernfalls beenden. Nach Beendigung der Tests müssen die (potentiellen) Anbieter ein Verfahren für den unverzüglichen Rückruf des KI-Systems festlegen.

Obwohl nicht ausdrücklich erwähnt, beinhaltet Artikel 73 Absatz 6, dass die Anbieter von KI-Systemen einen Untersuchungsbericht zum Vorfall erstellen und den Marktüberwachungsbehörden vorlegen müssen. Der Untersuchungsbericht zum Vorfall unterscheidet sich von der Meldung des Vorfalls als solcher, auch wenn es inhaltliche Überschneidungen geben kann. Die Meldung des Vorfalls betrifft die Benachrichtigung der zuständigen Behörden über wesentliche Parameter des Vorfalls, damit diese von dem Vorfall Kenntnis erlangen und über etwaige sofortige Abhilfemassnahmen oder Korrekturmassnahmen entscheiden können. Der Bericht über die Untersuchung des Vorfalls ist eine gründliche Analyse des Vorfalls und umfasst einen festgestellten zeitlichen Ablauf mit entsprechenden Details, Schlussfolgerungen zu den Grundursachen und mitwirkenden Faktoren, eine Analyse der Auswirkungen des Vorfalls auf die Sicherheit des KI-Systems und anderer KI-Systeme, die ergriffenen Abhilfemassnahmen sowie weitere Empfehlungen aus technischer und/oder politischer Sicht.

Anbieter von Allzweck-KI-Modellen mit systemischen Risiken

Die Pflicht der Anbieter von Allzweck-KI-Modellen mit systemischen Risiken, den schwerwiegenden Vorfall zu untersuchen, ergibt sich aus ihrer allgemeinen Pflicht, systemische Risiken während des gesamten Lebenszyklus ihres Modells zu bewerten und zu mindern sowie schwerwiegende Vorfälle zu melden. Gemäss dem Verhaltenskodex für Allzweck-KI-Modelle müssen Anbieter die Ursachen und Auswirkungen schwerwiegender Vorfälle sowie die Informationen im Zusammenhang mit den erforderlichen Elementen ihres Vorfallmeldungsberichts untersuchen, um die systemische Risikobewertung ihres Modells zu aktualisieren.

Der Verhaltenskodex scheint nicht zwischen Meldungen schwerwiegender Vorfälle und Untersuchungsberichten zu unterscheiden. Dennoch können die Untersuchung des schwerwiegenden Vorfalls und die Neubewertung des systemischen Risikos nicht abgeschlossen werden, ohne dass ein Untersuchungsbericht beim KI-Büro und den zuständigen nationalen Behörden eingereicht wird. Der Unterschied zwischen einer Meldung und einem Untersuchungsbericht könnte im Detaillierungsgrad bestehen. In diesem Zusammenhang entspricht der Verweis des Verhaltenskodex auf einen abschliessenden Bericht über schwerwiegende Vorfälle innerhalb von 60 Tagen nach der „Klärung“ des Vorfalls, der eine Ursachenanalyse und Empfehlungen enthält, eher einem Untersuchungsbericht.

Marktüberwachungsbehörden

Die Marktüberwachungsbehörden müssen innerhalb von 7 Tagen nach der Meldung des schwerwiegenden Vorfalls über geeignete Massnahmen zur Beseitigung des bestehenden Risikos entscheiden. In Extremfällen und als letztes Mittel können sie einen Rückruf oder eine Rücknahme vom Markt oder sogar das Verbot des KI-Systems anordnen. Wird das KI-System unter realen Bedingungen getestet, können die Marktüberwachungsbehörden (i) die Tests unter realen Bedingungen aussetzen oder beenden oder (ii) vom (potentiellen) Anbieter oder Betreiber verlangen, beliebige Aspekte der Tests zu ändern.

Diese Bestimmungen bedeuten, dass die Marktüberwachungsbehörden eine umfassende Untersuchung und eine erneute Bewertung des KI-Systems vornehmen könnten. Somit ist die Meldung mit potenziellen Verwaltungssanktionen wegen Nichteinhaltung der Vorschriften verbunden – ungeachtet etwaiger Auswirkungen auf den Ruf und die Wettbewerbsfähigkeit des Anbieters. Gleichzeitig ist der Anbieter für die Durchführung der Untersuchung verantwortlich, trotz des harten Wettbewerbs mit anderen Anbietern auf dem Markt. Infolgedessen gibt es für Anbieter von KI-Systemen geringere Anreize, Vorfälle zu melden und eine gründliche Untersuchung ihrer Ursachen durchzuführen. Obwohl bei Nichteinhaltung hohe Geldbussen verhängt werden können, zeigt die Erfahrung aus der Durchsetzung anderer Rechtsinstrumente, dass Technologieunternehmen Geldbussen manchmal als Geschäftskosten betrachten. Mit anderen Worten: Die enge Verknüpfung der Meldung mit Aufsicht und Durchsetzung ist der Verbesserung der Sicherheitskultur bei Anbietern von KI-Systemen nicht besonders förderlich.

Weitergabe von Informationen

Die nationalen Marktüberwachungsbehörden müssen die Kommission über den schwerwiegenden Vorfall, einschliesslich etwaiger angeordneter Massnahmen, unterrichten. Die Meldung erfolgt über das „Safety Gate Rapid Alert System“, eine spezielle zentrale EU-Plattform, die von der Kommission entwickelt und verwaltet wird und dem Informationsaustausch zwischen den Mitgliedstaaten und der Kommission dient, wobei die Mitgliedstaaten Informationen über schwerwiegende Produktrisiken und von Marktüberwachungsbehörden sowie von Wirtschaftsakteuren ergriffene Abhilfemassnahmen registrieren.

Darüber hinaus müssen die Marktüberwachungsbehörden nach Erhalt einer Meldung über einen schwerwiegenden Vorfall die nationalen Behörden oder Stellen informieren, die Aufgaben im Rahmen des Unionsrechts zum Schutz der Grundrechte überwachen oder durchsetzen. Bei letzteren handelt es sich um Behörden, die von jedem Mitgliedstaat benannt und der Kommission mitgeteilt werden.

Im Falle von KI-Regulierungs-Sandboxes müssen die zuständigen nationalen Behörden dem KI-Büro und dem Europäischen KI-Ausschuss jährliche Berichte über den Fortschritt und die Ergebnisse der Umsetzung der Regulierungs-Sandboxes vorlegen, die Vorfälle und gewonnene Erkenntnisse umfassen.

Meldung von Verstössen und Schutz von Hinweisgebern

Artikel 87 AIA macht die Whistleblower-Richtlinie auf die Meldung von Verstössen gegen das AIA und den Schutz von Personen anwendbar, die solche Verstösse melden.

Die Whistleblower-Richtlinie zielt darauf ab, Personen im privaten oder öffentlichen Sektor zu schützen, die im Rahmen ihrer Arbeit Kenntnis von Verstössen gegen EU-Recht erlangt haben und diese melden möchten. Die Richtlinie verpflichtet die EU-Mitgliedstaaten, dafür zu sorgen, dass wirksame Kanäle zur Meldung von Verstössen gegen EU-Recht sowohl intern, d. h. innerhalb der betreffenden Organisation, als auch extern vorhanden sind. Sowohl die betroffene Organisation als auch die EU-Mitgliedstaaten müssen eine Untersuchung und Folgemassnahmen durchführen, während Whistleblower vor Vergeltungsmassnahmen geschützt sind. Die Identität der meldenden Personen bleibt vertraulich, unbeschadet des Schutzes ihrer personenbezogenen Daten gemäss den geltenden Rechtsakten der Union. Organisationen und Mitgliedstaaten müssen Aufzeichnungen über jede eingegangene Meldung führen.

Es ist zu beachten, dass sich die Meldung von „Verstössen“ oder „Verletzungen“ im Sinne der Whistleblower-Richtlinie von der Meldung „schwerwiegender Vorfälle“ im Sinne der AIA unterscheidet. Ein „Verstoss“ im Sinne der Richtlinie ist ein rechtswidriges Verhalten, während ein „schwerwiegender Vorfall“ im Sinne der AIA nicht unbedingt mit einem solchen Verhalten in Verbindung steht. Die beiden Begriffe unterscheiden sich voneinander, auch wenn sie sich gelegentlich überschneiden können. Soweit ein Verstoss auch einen schwerwiegenden Vorfall darstellt, werden die Meldekanäle gemäss der Whistleblower-Richtlinie die Rolle freiwilliger Meldesysteme für Vorfälle übernehmen.

Gesamtbewertung und internationale Perspektiven

Das Vorfallmeldesystem des KI-Gesetzes enthält einige sehr nützliche Elemente, wie Meldepflichten, konkrete Fristen, Folgemassnahmen, eine Untersuchungspflicht sowie die Weitergabe von Informationen an die Behörden anderer Mitgliedstaaten und das KI-Büro. Damit wird die Bedeutung der Erhebung, Analyse und Weitergabe von Sicherheitsinformationen in einem umfassenderen System zur Sicherheitsgewährleistung bei KI-Systemen mit hohem Risiko anerkannt.

Dennoch hängt seine Anwendung weitgehend von den Anbietern und Betreibern von KI-Systemen (oder Allzweckmodellen mit systemischen Risiken) ab, während unabhängige Untersuchungen eher eine seltene Ausnahme zu sein scheinen. Darüber hinaus gibt es mehrere Unklarheiten hinsichtlich des Begriffs „schwerwiegender Vorfall“, des Inhalts des Vorfallberichts und des Untersuchungsverfahrens, was sowohl die Einhaltung als auch die Durchsetzung erschwert. Die Tatsache, dass Beinaheunfälle nicht unter die Meldepflichten fallen, schränkt den Umfang der bekannt werdenden Sicherheitsinformationen ein, obwohl dies mit dem Bestreben begründet werden könnte, den Verwaltungsaufwand zu verringern.

Aus internationaler Sicht stellen die Bestimmungen der AIA zur Meldung von Vorfällen einen grossen Fortschritt dar. Andere Rechtsordnungen sehen überhaupt keine sektorübergreifende Meldung von KI-Vorfällen vor, da sie keine horizontalen KI-Sicherheitsvorschriften erlassen haben oder nur allgemeine Meldepflichten vorsehen, wie beispielsweise China und Südkorea. Das Fehlen allgemein anerkannter internationaler Regeln, selbst wenn diese nicht bindenden Charakter haben, erschwert die praktische Umsetzung des AIA sowohl für KI-Anbieter aus Drittländern, die Dienstleistungen in der EU anbieten, als auch für (potenzielle) EU-KI-Anbieter, die beabsichtigen, Dienstleistungen in Drittländern anzubieten. Die Fragmentierung der Regulierungssysteme erhöht die Compliance-Kosten, was auch auf politischer Ebene zu Spannungen führen kann.

Folglich stellen die Bestimmungen des AIA zur Meldung von Vorfällen einen wichtigen Schritt in die richtige Richtung dar, doch besteht noch erheblicher Verbesserungsbedarf. In dieser Hinsicht könnte das in der Luftfahrt verwendete System zur Meldung und Untersuchung von Vorfällen hilfreich sein.

Meldung und Untersuchung von Vorfällen in der Luftfahrt

Die Luftfahrtindustrie weist eine bemerkenswerte Sicherheitsbilanz auf. Einer der Eckpfeiler der Flugsicherheit sind die internationalen Vorschriften zur Meldung von Sicherheitsvorfällen und zur Untersuchung von Unfällen. Wie im Folgenden analysiert wird, basieren die Meldung von Vorfällen und die Unfalluntersuchung auf einigen grundlegenden Merkmalen: (i) verbindliche Meldesysteme sowohl auf Branchen- als auch auf staatlicher Ebene, mit klaren Meldepflichten und einer standardisierten Risikoklassifizierung; (ii) die Schaffung eines straffreien Umfelds und die Gewährleistung der Vertraulichkeit der gemeldeten Informationen, um eine starke Sicherheitskultur auf allen Ebenen zu fördern; (iii) die Untersuchung von Unfällen durch eine unabhängige Behörde; (iv) die Verpflichtung aller Akteure, Folgemassnahmen auf der Grundlage der gewonnenen Erkenntnisse zu ergreifen; und (v) die Fokussierung auf Systemdenken und die Kombination von reaktiven mit proaktiven Sicherheitsmassnahmen.

Zunächst stellt sich jedoch die Frage, ob es genügend Parallelen zwischen der Luftfahrt und der KI-Branche gibt, um die Eignung der Luftfahrt als Beispiel für die KI-Branche zu rechtfertigen. Daher werden wir in diesem Teil zunächst die Parallelen zwischen der Luftfahrt und der KI-Branche untersuchen. Nach einer Darstellung des Regulierungssystems in der Luftfahrt werden wir die internationalen Vorschriften zur Sicherheitsmeldung und Unfalluntersuchung untersuchen, wie sie in der EU umgesetzt werden.

Parallelen zwischen der Luftfahrt und der KI-Branche

Es gibt mehrere Ähnlichkeiten zwischen der Luftfahrt und der KI-Branche.

Komplexe Systeme

Sowohl die Luftfahrt als auch die KI-Branche sind aus Sicht der Sicherheit komplexe soziotechnische Systeme. Ein komplexes System besteht aus vielen miteinander interagierenden Aspekten, Teilen oder Funktionen, die zusammen ein Ganzes bilden, das andere Eigenschaften aufweist als seine Einzelteile und das aufgrund seiner Komplexität und internen Wechselwirkungen nicht ohne Weiteres beschrieben, analysiert oder vorhergesagt werden kann.

In KI-Systemen, insbesondere solchen, die maschinelles Lernen nutzen, interagieren Trainingsdaten, Modellarchitekturen, Rückkopplungssysteme, menschliche Überwachungsmechanismen, Einsatzumgebungen und andere Faktoren auf undurchsichtige Weise miteinander. Erschwerend kommen emergente Verhaltensweisen hinzu, d. h. Eigenschaften und Fähigkeiten, die vom Systementwickler nicht beabsichtigt oder vorhergesehen wurden und die aus regulatorischer Sicht besondere Aufmerksamkeit erfordern. Die Flugsicherheit steht vor ähnlichen Herausforderungen, da komplexe Wechselwirkungen zwischen Personen in verschiedenen Organisationen (Flugbesatzung, Fluglotsen, Mechaniker, Flugdienstberater usw.) auftreten, die in unterschiedlichen Umgebungen (Flugzeuge, Kontrolltürme, Firmenbüros, Hangars usw.) arbeiten und hochentwickelte Ausrüstung mit vielen Teilsystemen und oft automatisierten Funktionen nutzen.

Ein besonderer Komplexitätsfaktor ist die Mensch-Maschine-Interaktion. In der Luftfahrt hat eine zu starke Fokussierung auf technische Lösungen bei gleichzeitiger Vernachlässigung wichtiger Parameter im Zusammenhang mit menschlichen Faktoren und menschlicher Leistungsfähigkeit zu zahlreichen Sicherheitsvorfällen (Beinaheunfällen) und einigen tragischen Unfällen geführt. In der KI-Branche sind die genauen Auswirkungen der Mensch-Maschine-Interaktion zwar noch weitgehend unerforscht, doch sind in verschiedenen Kontexten schwerwiegende Vorfälle aufgetreten, bei denen wesentliche Mitursachen mit menschlichen Faktoren zusammenhingen, wie beispielsweise die übermässige Abhängigkeit von Technologie (Automatisierungsbias) bei Unfällen mit automatisierten Fahrzeugen oder die Tendenz, Maschinen unter bestimmten Umständen als Menschen zu betrachten (Anthropomorphismus) bei Selbstmorden. Da KI zunehmend in menschliche Entscheidungsprozesse und operative Aufgaben integriert wird, ist das Verständnis und die Steuerung der Mensch-KI-Schnittstelle für die Sicherheit von entscheidender Bedeutung.

Folglich wurde in beiden Branchen die Notwendigkeit eines systemischen Sicherheitsansatzes hervorgehoben. Sicherheitsversagen und -mängel lassen sich oft nicht durch blosse Ursache-Wirkungs-Konstruktionen erklären, während Risiken auf unvorhersehbare Weise eskalieren können. In der Luftfahrt werden traditionelle reaktive Methoden, die sich auf Fehlfunktionen und kausale Zusammenhänge konzentrieren (oft als „Safety I“ bezeichnet), mit proaktiven Methoden kombiniert, die darauf abzielen, zu verstehen, wie alltägliche Aktivitäten fehlschlagen können, indem man versteht, wie solche Aktivitäten normalerweise gelingen („Safety II“). In der Luftfahrt wird es als wichtig erachtet, die Widerstandsfähigkeit des gesamten Systems zu erhöhen, indem die Komplexität der operativen soziotechnischen Parameter untersucht wird, Fehler und Fehlfunktionen antizipiert werden – die unvermeidbar und manchmal unvorhersehbar sind – und ergänzende Sicherheitsvorkehrungen getroffen werden, um katastrophale Ausfälle zu vermeiden. In ähnlicher Weise wurde für die KI-Branche die Gestaltung redundanter Pfade und die Fehlertoleranz im gesamten soziotechnischen System empfohlen.

Erhebliches Schadenspotenzial

Beide Branchen können erheblichen Schaden verursachen, wenn die Sicherheit vernachlässigt wird.

Flugunfälle können auf einen Schlag Hunderte von Todesopfern und Schwerverletzten sowie enorme Sachschäden verursachen. Die wirtschaftlichen Auswirkungen von Unfällen können sich durch Kettenreaktionen vervielfachen, z. B. durch das Flugverbot für eine ganze Flugzeugserie. Darüber hinaus können schwerwiegende Sicherheitsvorfälle das Vertrauen der Öffentlichkeit in die beteiligten Stellen untergraben.

Sicherheitsversagen im Bereich der KI birgt ein noch grösseres Potenzial für grossflächigen Schaden, da KI branchenübergreifend eingesetzt wird. Infolgedessen kann sie unter anderem kritische Infrastruktur beeinträchtigen, den politischen Diskurs schädigen und Institutionen untergraben, Hassreden fördern, die Umwelt schädigen, Ungleichheiten verstärken oder nach einigen Schätzungen sogar ein existenzielles Risiko für die Menschheit darstellen.

Datenabhängigkeit und kontinuierliches Lernen

Sicherheitsverbesserungen in der Luftfahrt sind stark datengesteuert. Die Luftfahrtindustrie sammelt riesige Mengen sicherheitsrelevanter Daten aus einer Vielzahl von Quellen, wie Unfalluntersuchungsberichten, Sicherheitsmeldesystemen, Systemdaten und Leistungsüberwachungsprogrammen usw. Diese Daten werden genutzt, um Verfahren, Schulungen und Flugzeugkonstruktionen kontinuierlich zu verbessern – sowohl reaktiv, d. h. als Reaktion auf konkrete Sicherheitsvorfälle, als auch proaktiv, d. h. durch Beobachtung von Leistungstrends, die die Vorhersage künftiger Vorfälle erleichtern.

KI-Systeme und -Modelle sind von Natur aus datenbasiert und datenabhängig. Ihre Gesamtleistung, Sicherheit und Zuverlässigkeit stehen in direktem Zusammenhang mit der Quantität und Qualität ihrer Trainingsdaten und Rückkopplungsmechanismen.

Internationale Aktivitäten und Auswirkungen auf das nationale Ansehen und den strategischen Wettbewerb

Die Geschäftstätigkeit beider Branchen weist eine sehr starke internationale Komponente auf. Die moderne Luftfahrt basiert auf internationalen Operationen in Hunderten von Ländern. Folglich ist sie ein wesentlicher Faktor für das Wirtschaftswachstum sowohl auf internationaler als auch auf nationaler Ebene. In ähnlicher Weise sind KI-Anwendungen weltweit allgegenwärtig, und ihre Auswirkungen auf die Weltwirtschaft werden als transformativ beschrieben.

Trotz ihres starken internationalen Charakters sind beide Branchen mit nationalem Prestige und strategischem Wettbewerb verbunden. Nationale Fluggesellschaften und Flughäfen, die den internationalen Flugverkehr bedienen, gelten als Symbole nationaler Wirtschaftskraft und werden manchmal als Instrumente der Soft Power eingesetzt, um das geopolitische Ansehen von Staaten zu stärken. KI-Technologie steht für technologische Kompetenz und wird zunehmend als wichtiger Trumpf und Katalysator im globalen strategischen Wettbewerb zwischen Staaten angesehen. Folglich können in beiden Branchen Sicherheitsmängel – sowohl technischer als auch regulatorischer Art – weitreichende wirtschaftliche und politische Auswirkungen haben.

Zwischenfazit

Die obigen Ausführungen zeigen, dass es erhebliche Parallelen zwischen der Luftfahrt- und der KI-Branche gibt. Die Komplexität beider Branchen und ihre hohen Risiken auf mehreren Ebenen bedeuten, dass die Gewährleistung der Sicherheit in beiden Branchen von der Erfassung, Systematisierung und Analyse von Sicherheitsinformationen sowie von der Umsetzung der gewonnenen Erkenntnisse zur kontinuierlichen Verbesserung abhängt.

Da die Luftfahrt in Bezug auf die Sicherheitsleistung wahrscheinlich die dynamischste Branche ist, sollten ihre Vorschriften zur Sicherheitsberichterstattung und -untersuchung untersucht werden. Um diese Vorschriften zu verstehen, muss zunächst das gesamte Regulierungssystem der Flugsicherheit betrachtet werden.

Das Regulierungssystem für die Flugsicherheit im Allgemeinen

Die Flugsicherheit wird hauptsächlich auf internationaler Ebene durch die Internationale Zivilluftfahrt-Organisation (ICAO) geregelt. In den letzten Jahren des Zweiten Weltkriegs kamen Studien zu den Problemen, mit denen die Zivilluftfahrt in der Nachkriegszeit konfrontiert sein würde, zu dem Schluss, dass die Luftfahrt ohne einen internationalen Regulierungsrahmen keinen wesentlichen Beitrag zur wirtschaftlichen Entwicklung der Nachkriegszeit leisten könnte.

Artikel 37 des Abkommens über die internationale Zivilluftfahrt (Chicagoer Abkommen) sieht vor, dass sich jeder Vertragsstaat verpflichtet, bei der Gewährleistung eines möglichst hohen Grades an Einheitlichkeit der Vorschriften, Normen, Verfahren und der Organisation in Bezug auf Luftfahrzeuge, Personal, Luftwege und Hilfsdienste zusammenzuarbeiten, um die Luftfahrt zu erleichtern und zu verbessern. Zu diesem Zweck verabschiedet und ändert die ICAO internationale Standards und empfohlene Praktiken (SARPS), die sich mit verschiedenen Themen befassen, darunter die Untersuchung von Unfällen. Artikel 38 des Abkommens von Chicago verpflichtet die Staaten, der ICAO unverzüglich jede Abweichung ihrer eigenen Vorschriften und Praktiken von den SARPS mitzuteilen. Die SARPS sind als „Anhänge“ zum Abkommen von Chicago ausgewiesen. Die ICAO-Mitgliedstaaten verpflichten sich, die SARPS in ihre nationale Gesetzgebung zu übernehmen. Darüber hinaus stellt die ICAO Durchführungsbestimmungen und Leitlinien zu den SARPS in Form verschiedener technischer Dokumente, darunter die ICAO-Handbücher, zur Verfügung.

Es ist umstritten, ob die Anhänge integraler Bestandteil des Abkommens und für die Mitgliedstaaten verbindlich sind. Dennoch hat diese Debatte kaum praktische Bedeutung. Die Staaten haben ein starkes Interesse an der Umsetzung internationaler Standards, da die Nichteinhaltung der SARPs dazu führen könnte, dass der betreffende Staat von einer sinnvollen Teilnahme an der internationalen Luftfahrt und am internationalen Luftverkehr ausgeschlossen wird.

Innerhalb der EU-Rechtsordnung teilt sich die EU die Zuständigkeit für den Luftverkehr mit ihren Mitgliedstaaten. Die EU hat Rechtsakte zur Meldung von Vorfällen und zur Unfalluntersuchung erlassen, um die entsprechenden ICAO-Anhänge umzusetzen. Diese werden im Folgenden untersucht.

„Vorfälle“, „Unfälle“ und „Zwischenfälle“

In den ICAO-Anhängen werden sicherheitsrelevante Ereignisse als „Vorfälle“ bezeichnet, die in „Unfälle“ und „Zwischenfälle“ unterschieden werden.

Ein „Unfall“ ist ein Ereignis im Zusammenhang mit dem Betrieb eines Luftfahrzeugs, bei dem (i) eine Person tödlich oder schwer verletzt wird oder (ii) das Luftfahrzeug einen Schaden oder einen strukturellen Defekt erleidet, der repariert werden muss; oder (iii) das Luftfahrzeug vermisst wird oder völlig unzugänglich ist.

Ein „Zwischenfall“ ist ein Ereignis im Zusammenhang mit dem Betrieb eines Luftfahrzeugs, das nicht als Unfall gilt und die Betriebssicherheit beeinträchtigt oder beeinträchtigen könnte.

Ein „schwerwiegender Zwischenfall“ ist ein Zwischenfall, bei dem Umstände vorliegen, die darauf hindeuten, dass eine hohe Wahrscheinlichkeit für einen Unfall bestand, und der mit dem Betrieb eines Luftfahrzeugs in Zusammenhang steht. Der Unterschied zwischen einem „Unfall“ und einem „schwerwiegenden Zwischenfall“ liegt lediglich im Ergebnis.

Nach EU-Recht ist ein Vorfall definiert als jedes sicherheitsrelevante Ereignis, das ein Luftfahrzeug, dessen Insassen oder sonstige Personen gefährdet oder, wenn es nicht behoben oder angegangen wird, gefährden könnte.

Sicherheitsmeldesysteme

Sicherheitsvorfälle werden in Sicherheitsmeldesystemen erfasst, die auf verschiedenen Ebenen eingerichtet und verwaltet werden: auf der Ebene einzelner Luftfahrtorganisationen, auf staatlicher Ebene und auf EU-Ebene.

Verpflichtung zur Einrichtung von Sicherheitsmeldesystemen

Die Staaten sind verpflichtet, ein umfassendes staatliches Sicherheitsmanagementsystem einzurichten, das obligatorische und freiwillige Meldesysteme umfasst, mit dem Ziel, Sicherheitsdaten und -informationen zu erfassen und zu analysieren. Die Staaten sollten Verfahren für eine umfassende Analyse der Daten und Informationen aus den Sicherheitsdatenbanken einrichten, um systemische und bereichsübergreifende Gefahren zu identifizieren. Um den Informationsaustausch zu erleichtern, sollten die Daten einer standardisierten Taxonomie entsprechen. Meldesysteme sollten benutzerfreundlich sein und so gestaltet sein, dass sie alle wertvollen Informationen zu einem Vorfall erfassen, wie z. B. was genau passiert ist, wo und wann. Ein solcher Ansatz für das Sicherheitsmanagement spiegelt die wachsende Komplexität der Luftfahrt wider, da der Flugverkehr zunimmt und sich soziotechnische Systeme weiterentwickeln.

Es gibt obligatorische und freiwillige Meldesysteme. Dies spiegelt die Erkenntnis der Luftfahrt wider, dass Sicherheit nicht nur aus der Einhaltung von Vorschriften resultiert, sondern aus einer Kultur der proaktiven Offenlegung.

Obligatorische Meldesysteme

Obligatorische Meldesysteme beziehen sich sowohl auf Unfälle als auch auf Zwischenfälle. In der EU gilt die Meldepflicht für Ereignisse, die ein erhebliches Risiko für die Flugsicherheit darstellen und unter eine Reihe vordefinierter Kategorien fallen, die sich auf die Hauptbereiche der Luftfahrt beziehen. Die Verpflichtung zur Einrichtung von Meldepflichtsystemen obliegt sowohl den Mitgliedstaaten als auch den Luftfahrtorganisationen, darunter Luftfahrzeugbetreiber, Flughafenbehörden, Hersteller und Wartungsdienstleister. Die Europäische Agentur für Flugsicherheit (EASA) ist in ähnlicher Weise für die von ihr zertifizierten oder beaufsichtigten Organisationen verantwortlich.

Die Vorfälle werden von Personen gemeldet, die innerhalb von Luftfahrtorganisationen Schlüsselrollen im Bereich der Sicherheit innehaben, insbesondere von Fachkräften an vorderster Front, wie z. B. verantwortlichen Piloten eines Luftfahrzeugs, Personen, die mit dem Sicherheitsmanagement von Flughäfen und Bodenabfertigungsdienstleistern befasst sind, Fluglotsen usw.

Freiwillige Meldesysteme

Freiwillige Meldesysteme erfassen Informationen, die nicht in den obligatorischen Systemen enthalten sind, insbesondere latente Zustände und Probleme im Zusammenhang mit menschlichen Faktoren, wie unzureichende Verfahren oder Regelungslücken. Die Erfahrung hat gezeigt, dass Unfällen oft sicherheitsrelevante Vorfälle und Mängel vorausgehen, die auf das Vorhandensein von Sicherheitsrisiken hinweisen.

Freiwillige Meldesysteme erleichtern die Erfassung von Informationen durch Personen, die nicht der Meldepflicht unterliegen.

Die Verpflichtung zur Einrichtung freiwilliger Meldesysteme gilt für die Mitgliedstaaten, Luftfahrtorganisationen und die EASA. Die gesammelten Daten müssen an die zuständige Behörde weitergeleitet werden, d. h. an die nationale Regulierungsbehörde oder die EASA, je nach Zertifizierungsstelle.

In dieser Hinsicht ist die EU nicht dem Ansatz der USA gefolgt. Um das Vertrauen zu stärken und die Meldung zu fördern, bevorzugten die USA, dass das nationale freiwillige Meldesystem von einer unabhängigen dritten Partei eingerichtet und verwaltet wird, die keine Regulierungs- oder Durchsetzungsbefugnisse besitzt.

Inhalt der Meldungen

Um Einheitlichkeit und den Informationsaustausch zu gewährleisten, müssen Vorfallmeldungen einem einheitlichen Format folgen, das einen Mindestumfang an standardisierten Datenfeldern enthält. Jeder gemeldete Vorfall sollte gemäss dem gemeinsamen europäischen Risikoklassifizierungsschema für die Luftfahrt risikoklassifiziert werden. Dies ermöglicht eine einheitliche Risikobewertung und erleichtert die Erkennung sich abzeichnender Sicherheitstrends sowohl auf nationaler als auch auf EU-Ebene. Die Mitgliedstaaten (oder gegebenenfalls die EASA) überprüfen die in den Meldungen vermerkte Risikoeinstufung und ändern sie gegebenenfalls. Für weniger komplexe Luftfahrzeuge sieht das System einen vereinfachten Ansatz vor, um die Verhältnismässigkeit des Verwaltungsaufwands zu wahren.

Schutz von Informationen

Die Flugsicherheit ist eine gemeinsame Verantwortung von Staaten, Organisationen und Einzelpersonen. Um die fortwährende Verfügbarkeit der gemeldeten Daten und Informationen zu gewährleisten und die Meldung zu fördern, werden die in den Meldesystemen registrierten Daten und Informationen durch technische, organisatorische und institutionelle Massnahmen geschützt. Dies ermöglicht angemessene und zeitnahe Präventivmassnahmen zur Verbesserung der Flugsicherheit.

Erhebung und Speicherung

Jede Organisation muss eine oder mehrere qualifizierte Personen benennen, die die Erhebung, Analyse und Speicherung von Sicherheitsdaten unabhängig verwalten. Ebenso muss jeder Mitgliedstaat zu diesem Zweck eine oder mehrere zuständige Behörden benennen. Sicherheitsdaten sind in internen Datenbanken jeder Organisation zu erfassen, während die Mitgliedstaaten separate, zentrale nationale Datenbanken einrichten müssen, in denen die in den Datenbanken unter ihrer Zuständigkeit erfassten Daten, einschliesslich der Daten aus Untersuchungen von Ereignissen, gesammelt werden. Kleine Organisationen können im Einvernehmen mit der zuständigen Behörde vereinfachte Meldemechanismen einrichten.

Für die Einreichung der Berichte gelten strenge Fristen, um die Meldung zu beschleunigen und das Abrufen von Fakten und entscheidenden Details zu erleichtern. Vorfälle müssen innerhalb von 72 Stunden in der internen Datenbank der jeweiligen Luftfahrtorganisation registriert werden, ausser in Ausnahmefällen. Nach einer solchen Registrierung muss die Organisation der EASA oder der zuständigen Behörde des jeweiligen Mitgliedstaats, je nach Fall, innerhalb von 72 Stunden nach Bekanntwerden des Vorfalls Meldung erstatten.

Luftfahrtfachleute, insbesondere im Bereich des Flugverkehrsmanagements, haben den Beitrag der Verordnung zur Verbesserung der Sicherheit anerkannt, der Teil der Bemühungen des EU-Gesetzgebers ist, so viele Vorfälle wie möglich aufzudecken und EU-weit standardisierte Meldeverfahren sowie eine Taxonomie der Vorfälle zu etablieren. Dennoch haben sie festgestellt, dass die Meldepflichten und -verfahren nicht immer ausreichend klar sind, während die engen Fristen Luftfahrtorganisationen unter unverhältnismässigen Zeitdruck setzen und die Qualität der Berichte beeinträchtigen können.

Darüber hinaus gibt es auf EU-Ebene das Europäische Zentralregister (ECR), in dem alle in der EU gesammelten Vorfallberichte gespeichert werden und das von der Europäischen Kommission verwaltet wird. Das ECR registriert Vorfallberichte der EASA und der Mitgliedstaaten, die nationale Vorfallberichte innerhalb von 30 Tagen nach ihrer Erfassung in ihren nationalen Datenbanken an das ECR übermitteln müssen. Darüber hinaus müssen die Mitgliedstaaten innerhalb von zwei Monaten nach der Speicherung in der nationalen Datenbank die Informationen zur Analyse des Vorfalls und zu den Folgemassnahmen im ECR hinterlegen.

„Just Culture“

Von zentraler Bedeutung für die Flugsicherheit ist das Konzept der „Just Culture“, bei dem Einzelpersonen nicht für Handlungen, Unterlassungen oder Entscheidungen bestraft werden, die ihrer Erfahrung und Ausbildung entsprechen, wobei jedoch grobe Fahrlässigkeit, vorsätzliche Verstösse und destruktives Verhalten nicht toleriert werden. „Just Culture“ erkennt an, dass Menschen in der Regel ihr Bestes geben und ein gutes Ergebnis anstreben: Was in einer Situation als das Richtige erschien, um Effizienz und Schnelligkeit zu erreichen, ohne die Sicherheit zu gefährden, mag im Nachhinein unangemessen erscheinen. Daher trägt „Just Culture“ dazu bei, Vertrauen, Zusammenarbeit und Verständnis für die jeweiligen Tätigkeiten und Verantwortlichkeiten aufzubauen.

Der Kern der Just Culture ist ihr nicht-bestrafender Ansatz. Daten und Informationen aus Meldesystemen, insbesondere aus freiwilligen, sollten nicht dazu verwendet werden, Schuld oder Haftung zuzuweisen. Ihr einziger Zweck ist die Verbesserung der Flugsicherheit unter Wahrung der Vertraulichkeit des Meldenden und der in den Ereignismeldungen genannten Personen. Die zugrunde liegende Begründung ist, dass Menschen zögern, Sicherheitsinformationen über ihre eigenen Fehler oder die ihrer Kollegen zu liefern, wenn sie rechtliche und disziplinarische Konsequenzen befürchten.

Dennoch sind Ausnahmen zulässig bei Verhaltensweisen, die auf vorsätzliches Fehlverhalten oder grobe Fahrlässigkeit hindeuten, und wenn die Offenlegung von Daten und Informationen notwendig ist, d. h. nicht nur nützlich, für: (i) die ordnungsgemässe Rechtspflege oder (ii) die Verbesserung der Sicherheit im Allgemeinen (z. B. zu Schulungs- und Ausbildungszwecken). In beiden Fällen müssen die Behörden sorgfältig abwägen, welche negativen Auswirkungen solche Offenlegungen auf die künftige Erhebung von Sicherheitsdaten haben könnten. Daher fordert die ICAO die Staaten nachdrücklich auf, verbindliche Schutzmassnahmen wie Schutzanordnungen oder nichtöffentliche Verfahren anzuwenden, um die Auswirkungen von Offenlegungen abzumildern. In Anerkennung dieser Tatsache verpflichtet die Verordnung 376/2014 die Mitgliedstaaten, Koordinierungsmechanismen mit den Justizbehörden einzurichten, um ein angemessenes Gleichgewicht zwischen der Rechtspflege und der kontinuierlichen Verfügbarkeit entscheidender Sicherheitsinformationen zu gewährleisten.

Auf der Ebene der Luftfahrtorganisationen ist jede Organisation verpflichtet, klare und konkrete Regeln und Verfahren zur Umsetzung der „Just Culture“ festzulegen und ihr gesamtes Personal im Voraus darüber zu informieren. Um die Einhaltung der Vorschriften weiter zu gewährleisten, muss jede Organisation eine Überwachungsstelle benennen. Gleichzeitig ist jeder Mitgliedstaat verpflichtet, eine Stelle zu benennen, die für die Umsetzung der „Just Culture“ zuständig ist und an die das Personal der Organisationen mutmassliche Verstösse gegen die „Just Culture“ direkt melden kann.

Vertraulichkeit

Eng verbunden mit der „Just Culture“ ist der Schutz der Vertraulichkeit. Die Meldenden müssen darauf vertrauen können, dass ihre Identität und die Identität ihrer Kollegen geschützt sind, sodass als Reaktion auf ihre Meldung keine disziplinarischen oder rechtlichen Massnahmen eingeleitet werden können. Vertrauliche Meldungen bedeuten, dass das Personal der Organisation sicherheitsrelevante Informationen einer Stelle melden kann, die von der Geschäftsleitung unabhängig ist, und dabei sicher sein kann, dass seine Identität nur gegenüber dieser Stelle vertraulich behandelt wird.

Das EU-Recht sieht vor, dass bei internen Meldesystemen von Luftfahrtorganisationen die weitergeleiteten Meldungen anonymisiert werden müssen und nur die für die Verwaltung der gemeldeten Daten benannten natürlichen Personen uneingeschränkten Zugriff auf personenbezogene Daten haben. Datenbanken der Mitgliedstaaten und der EASA dürfen keine personenbezogenen Daten enthalten. Entscheidend ist die Anonymisierung der Meldungen, nicht die Anonymität, da dies den Analysten ermöglicht, den Meldenden zur Klärung zu kontaktieren, und die Glaubwürdigkeit der Meldungen erhöht.

Diese Vorschriften lassen die Anwendbarkeit der EU-Rechtsvorschriften über den Zugang zu öffentlichen Dokumenten und den Schutz personenbezogener Daten, insbesondere der Verordnung 2018/1725 und der DSGVO, unberührt.

Analyse von Ereignissen und Folgemassnahmen

Sicherheitsinformationen ohne Analyse und Folgemassnahmen sind kaum von Nutzen. Folglich muss jede Luftfahrtorganisation die in ihren Systemen gemeldeten Ereignisse analysieren, um Sicherheitsrisiken zu identifizieren. Anschliessend muss sie alle geeigneten Korrektur- oder Präventivmassnahmen festlegen, die erforderlich sind, um die Flugsicherheit zu verbessern, diese zeitnah umsetzen und ihre Umsetzung überwachen. Die Ergebnisse der Sicherheitsanalyse und der Folgemassnahmen müssen der zuständigen Behörde des jeweiligen Mitgliedstaats oder gegebenenfalls der EASA innerhalb von drei Monaten nach Meldung des Vorfalls gemeldet werden, während ein vorläufiger Bericht innerhalb von 30 Tagen vorzulegen ist. Die Mitgliedstaaten und die EASA sind ebenfalls verpflichtet, die Vorfälle zu analysieren, Folgemassnahmen festzulegen und deren Umsetzung zu überwachen.

Austausch und Verbreitung von Informationen

Der Austausch und die Verbreitung von Informationen unter Einhaltung angemessener Schutzmassnahmen für die Meldenden fördern die Sicherheit in der gesamten Luftfahrtbranche. Oftmals führt die Meldung eines einzelnen Vorfalls zu weiteren Meldungen und liefert so einen klareren Hinweis auf das Ausmass des Problems. Daher ermöglicht der Austausch und die Verbreitung von Sicherheitsinformationen den Organisationen nicht nur, das Wissen und die Erfahrung anderer zu nutzen, sondern auch, umfassendere Muster und Trends zu erkennen und die Einführung geeigneter Massnahmen zur Verbesserung der Sicherheit auf operativer, organisatorischer und regulatorischer Ebene zu erleichtern.

Auf EU-Ebene ermöglicht das Europäische Zentralregister (ECR) den Austausch und die Verbreitung von Informationen zwischen den Mitgliedstaaten, der EASA und der Kommission. Dies wird durch ein Netzwerk von Sicherheitsanalysten und eine spezielle Online-Plattform, das Europäische Koordinierungszentrum für obligatorische Meldesysteme für Vorfälle (ECCAIRS), umgesetzt, das die ICAO-Taxonomie für die Meldung von Unfällen und Vorfällen (ADREP) verwendet.

Voller Zugang zum ECR wird jeder Stelle gewährt, die über Zuständigkeiten im Bereich der Flugsicherheitsaufsicht verfügt. Indirekter Zugang, d. h. Berichte als Antwort auf spezifische Anfragen und nach Prüfung der Anfrage, kann anderen Luftfahrtorganisationen und Einzelpersonen (z. B. Piloten, Ingenieuren, Fluglotsen und Sicherheitsforschern) unter bestimmten Bedingungen und unter Anwendung eines spezifischen Verfahrens gewährt werden, an dem nationale Kontaktstellen beteiligt sind. Dennoch besteht auch die Möglichkeit, aggregierte oder anonymisierte Informationen zu erhalten, wenn die nationale Kontaktstelle feststellt, dass die angeforderten Informationen keinen Bezug zu den eigenen Ausrüstungen, dem Betrieb oder dem Tätigkeitsbereich der interessierten Partei haben. In jedem Fall werden alle Zugangsanfragen und ergriffenen Massnahmen aufgezeichnet und an die Kommission übermittelt.

Zur Stärkung der internen Sicherheitskultur muss jede Organisation ihr Personal regelmässig über Sicherheitstrends und gewonnene Erkenntnisse informieren. Neben der Wissensvermittlung zeigen diese Briefings auch, dass Meldungen zu sinnvollen Massnahmen führen, und ermutigen so das Personal, Vorfälle freiwillig zu melden.

Darüber hinaus muss jeder Mitgliedstaat die Öffentlichkeit über das Sicherheitsniveau in der Zivilluftfahrt informieren, indem er einen jährlichen Sicherheitsbericht veröffentlicht, der (i) anonymisierte Informationen über die Art der Vorfälle und sicherheitsrelevante Informationen, die über seine nationalen Meldesysteme gemeldet wurden, zusammenfasst, (ii) Trends aufzeigt und (iii) die vom Staat ergriffenen Massnahmen darlegt. Auch die EASA unterliegt einer entsprechenden Verpflichtung. Solche Berichte zielen darauf ab, die Öffentlichkeit über das allgemeine Sicherheitsniveau in der Luftfahrt zu informieren, und müssen in einer einfachen und verständlichen Sprache verfasst sein.

Untersuchung von Ereignissen

Sicherheitsmeldesysteme stehen im Zusammenhang mit der Untersuchung von Sicherheitsereignissen, die durch einen detaillierten und mehrschichtigen Rahmen im Rahmen des internationalen und EU-Luftfahrtrechts geregelt ist. Dieser Rahmen konzentriert sich auf die Verbesserung der Sicherheit durch unabhängige, nicht strafende Untersuchungen.

Der Wert der Regulierung von Unfalluntersuchungen zur Verbesserung der Flugsicherheit wurde bereits in den 1920er Jahren in einigen nationalen Rechtsvorschriften, beispielsweise im Vereinigten Königreich und in den USA, anerkannt, teilweise als Reaktion auf hohe Unfallraten. Bei der Ausarbeitung des Chicagoer Abkommens von 1944 wurde eine Sonderbestimmung zur Unfalluntersuchung aufgenommen, während Artikel 37 Buchstabe k dieses Abkommens ausdrücklich die Annahme von Standards und empfohlenen Praktiken (SARPS) zur Unfalluntersuchung vorsah. Infolgedessen verabschiedete der ICAO-Rat 1951 Anhang 13 „Untersuchung von Unfällen und Zwischenfällen im Luftverkehr“. In der EU wird Anhang 13 durch die Verordnung 996/2010 in ihrer geänderten Fassung umgesetzt.

Anhang 13 definiert eine „Untersuchung“ als „einen Prozess, der zum Zwecke der Unfallverhütung durchgeführt wird und die Sammlung und Analyse von Informationen, das Ziehen von Schlussfolgerungen, einschliesslich der Ermittlung von Ursachen, sowie gegebenenfalls die Abgabe von Sicherheitsempfehlungen umfasst“. Untersuchungen unterstützen das umfassendere staatliche Sicherheitsprogramm, ein integriertes Regelwerk und Massnahmen zur Verbesserung der Flugsicherheit, das jeder Staat für das Management der Flugsicherheit einrichten und umsetzen muss. Die Qualität der Untersuchung gemeldeter Unfälle, Zwischenfälle und Sicherheitsprobleme bestimmt massgeblich die Wirksamkeit von Sicherheitsmanagementsystemen.

Es gibt Vorschriften zur internationalen Zusammenarbeit bei der Untersuchung von Unfällen, zu den bei Untersuchungen zu befolgenden Verfahren sowie zur Erstellung und Veröffentlichung von Untersuchungsberichten.

Amtliche Untersuchung und internationale Zusammenarbeit

Die Staaten müssen Unfälle und schwere Zwischenfälle untersuchen, die sich in ihrem Hoheitsgebiet ereignet haben und Luftfahrzeuge ab einer bestimmten Masse betreffen. Sie können jedoch ihre Aufgaben ganz oder teilweise im gegenseitigen Einvernehmen an einen anderen Staat oder an eine spezialisierte regionale Flugsicherheitsorganisation übertragen.

Es wurde festgestellt, dass die amtliche Untersuchung schwerwiegender Zwischenfälle, abgesehen von Unfällen, wichtige Möglichkeiten zur Verhinderung künftiger Unfälle bietet. Die Untersuchung dieser Ereignisse zeigt auf, wie die Sicherheit beeinträchtigt wurde, warum die Situation nicht zu einem Unfall eskalierte und welchen Einfluss wirksame Schutzmassnahmen oder Abhilfemassnahmen hatten. Während Unfälle politischen, rechtlichen und emotionalen Druck mit sich bringen können, ermöglichen schwerwiegende Zwischenfälle den Ermittlern zudem oft, in einem ruhigeren, konzentrierteren Umfeld zu arbeiten und besseren Zugang zu Beweismitteln zu erhalten, da die Luftfahrzeuge in der Regel unversehrt sind, Daten leichter wiederhergestellt werden können und die Besatzung zur Verfügung steht, um ihre Schilderungen zu geben.

Neben dem Ereignisstaat können auch andere betroffene Staaten an der Untersuchung teilnehmen, wie beispielsweise der Staat, in dem das Luftfahrzeug registriert ist (Registrierungsstaat), der Heimatstaat des Betreibers, der Staat, in dem der jeweilige Luftfahrzeugtyp konstruiert wurde (Konstruktionsstaat), und der Staat, in dem die Endmontage des Luftfahrzeugs erfolgte (Herstellungsstaat). Auch die Staaten, deren Staatsangehörigkeit die Opfer besitzen, können einbezogen werden. In der EU gilt dasselbe für die EASA als übergeordnete EU-Luftfahrtsicherheitsbehörde. Besondere Vorschriften über die Rechte und Pflichten der beteiligten Staaten sorgen für einen Ausgleich zwischen deren berechtigten Interessen und der Notwendigkeit, die Integrität und Kohärenz der Untersuchung zu wahren.

Um die Zusammenarbeit in der gesamten EU zu stärken, wurde mit der Verordnung 996/2010 das Europäische Netzwerk der Behörden für die Untersuchung von Unfällen in der Zivilluftfahrt (ENCASIA) eingerichtet. Sein Ziel ist es, qualitativ hochwertige Untersuchungen zu unterstützen und die Unabhängigkeit der nationalen Behörden zu stärken. ENCASIA fördert zudem einheitliche Standards bei den Untersuchungsmethoden und der Ausbildung von Ermittlern.

Leitprinzipien

Der Rechtsrahmen für die Untersuchung von Ereignissen wird von zwei Kernprinzipien geprägt. Erstens besteht das einzige Ziel der Untersuchung darin, künftige Unfälle oder Zwischenfälle zu verhindern, und nicht darin, Schuld oder Haftung zuzuweisen. Zweitens müssen die Staaten Unfalluntersuchungsbehörden einrichten, die sowohl von den staatlichen Luftfahrtbehörden als auch von anderen Stellen unabhängig sind, die die Durchführung oder Objektivität der Untersuchung beeinträchtigen könnten, wie beispielsweise Justizbehörden. Diese Unabhängigkeit der Unfalluntersuchungsbehörde ( ) muss sowohl formal als auch inhaltlich gewährleistet sein, wobei der Staat für angemessene finanzielle, technische und personelle Ressourcen sorgen muss. Die Unabhängigkeit bei der Unfalluntersuchung erleichtert nicht nur die Beweissicherung – da Menschen zögern, Informationen über ihre eigenen Versäumnisse preiszugeben, wenn sie rechtliche oder disziplinarische Konsequenzen befürchten –, sondern untermauert auch das Vertrauen der Öffentlichkeit und der Branche und mindert das Risiko institutioneller Voreingenommenheit oder Vertuschung.

Umfang und Durchführung der Untersuchung

Im Allgemeinen umfasst die Untersuchung die Erhebung, Aufzeichnung und Analyse aller verfügbaren Informationen, gegebenenfalls die Abgabe von Sicherheitsempfehlungen, die Ermittlung der Ursachen, sofern möglich, sowie die Erstellung eines Abschlussberichts. Der Umfang jeder Sicherheitsuntersuchung wird von der Untersuchungsbehörde festgelegt, abhängig von den erwarteten Erkenntnissen zur Verbesserung der Flugsicherheit und unter Berücksichtigung der kosteneffizienten Nutzung der Untersuchungsressourcen in der EU. Obwohl sich die Untersuchung in erster Linie auf die Faktoren konzentriert, die das Geschehen am ehesten beeinflusst haben dürften, ist die Grenze zwischen Relevanz und Irrelevanz oft verschwommen: Scheinbar nicht zusammenhängende Daten könnten sich später als relevant erweisen, sobald der Zusammenhang zwischen den verschiedenen Elementen eines Vorfalls besser verstanden wird.

Eine Untersuchung zur Flugsicherheit beginnt mit einem Bericht, der im Rahmen etablierter Meldesysteme für Ereignisse eingereicht wird, und durchläuft mehrere Phasen. Zunächst wird ein Untersuchungsteam zusammengestellt, dessen Grösse und Fachkompetenz auf die Art und Schwere des Ereignisses zugeschnitten sind, wobei einfachere Fälle oft von einem einzigen Ermittler bearbeitet werden. Das Team wird von dem leitenden Ermittler geleitet, einer von der Untersuchungsbehörde ernannten Person, die über anerkannte Fachkenntnisse und Erfahrung verfügt und weitreichende Befugnisse zur Leitung der Untersuchung erhält.

Die Ermittlungsbehörde sammelt, sichert und bewahrt alle relevanten Beweismittel auf, einschliesslich physischer Materialien und aufgezeichneter Daten. In diesem Zusammenhang kann eine Abstimmung mit den Justizbehörden erforderlich sein, obwohl es sich um zwei getrennte Verfahren handelt. In jedem Fall hat die Ermittlungsbehörde uneingeschränkten Zugang zu allen Beweismitteln. Alle erhaltenen Aussagen, Aufzeichnungen, Bild- und Tonaufnahmen sowie die Namen der am Vorfall beteiligten Personen müssen vertraulich behandelt und dürfen nicht an die Öffentlichkeit weitergegeben werden.

Die im Rahmen einer Untersuchung gesammelten Beweismittel tragen dazu bei, ein klares Bild der Umstände des Vorfalls zu erstellen, und ermöglichen es den Ermittlern, den Hergang der Ereignisse zu rekonstruieren, was zur Identifizierung sowohl ursächlicher als auch mitwirkender Faktoren führt. Obwohl Untersuchungsbehörden weltweit je nach Einzelfall unterschiedliche Methoden oder oft eine Kombination daraus anwenden, berücksichtigen alle Ansätze systemische Faktoren als Teil der Analyse. In der abschliessenden Phase werden die Informationen analysiert, um technische, betriebliche und organisatorische Probleme aufzudecken, was zu Schlussfolgerungen und empfohlenen Sicherheitsmassnahmen zur Verhinderung einer Wiederholung führt. Diese werden in den Untersuchungsberichten festgehalten.

Untersuchungsberichte

Für die Erstellung und Veröffentlichung von Untersuchungsberichten, einschliesslich der darin enthaltenen Sicherheitsempfehlungen, gelten besondere Vorschriften.

Pflicht zur Erstellung und Veröffentlichung von Untersuchungsberichten

Innerhalb von 30 Tagen nach dem Vorfall muss der untersuchende Staat einen vorläufigen Bericht an die anderen teilnehmenden Staaten und an die ICAO übermitteln.

Berichtsentwürfe bleiben vertraulich, und vor ihrer Fertigstellung muss der untersuchende Staat die anderen teilnehmenden Staaten um Stellungnahmen bitten. Der Abschlussbericht sollte nach Möglichkeit spätestens 12 Monate nach dem Vorfall online veröffentlicht werden.

Die Berichte haben eine festgelegte Struktur gemäss den ICAO-Vorlagen. Sie müssen detaillierte Informationen zu den Unfallumständen, deren Analyse und den Schlussfolgerungen enthalten. Die Schlussfolgerungen umfassen eine Liste der Feststellungen sowie der im Rahmen der Untersuchung ermittelten Ursachen und/oder beitragenden Faktoren, sowohl unmittelbarer als auch systemischer Art. „Ursachen“ sind definiert als „Handlungen, Unterlassungen, Ereignisse, Umstände oder eine Kombination davon, die zu dem Unfall oder Vorfall geführt haben“, während „mitwirkende Faktoren“ „Handlungen, Unterlassungen, Ereignisse, Umstände oder eine Kombination davon sind, die, wenn sie beseitigt, vermieden oder nicht vorhanden gewesen wären, die Wahrscheinlichkeit des Eintritts des Unfalls oder Vorfalls verringert oder die Schwere der Folgen des Unfalls oder Vorfalls gemildert hätten“.

Die Untersuchungsberichte müssen die Unabhängigkeit der Untersuchungsstelle widerspiegeln: Sie müssen nachweisen, dass alle Umstände objektiv geprüft wurden, einschliesslich systemischer Ursachen wie der Unternehmensführung, des regulatorischen Rahmens und manchmal auch der für die Verkehrspolitik zuständigen Regierungsbehörde.

Sicherheitsempfehlungen

Gegebenenfalls sollten Untersuchungsberichte Sicherheitsempfehlungen enthalten, die für die präventive Funktion der Untersuchung von zentraler Bedeutung sind. Diese Empfehlungen sind unverbindlich und begründen keine Vermutung von Verschulden oder rechtlicher Haftung.

Die Untersuchungsbehörde ist verpflichtet, Sicherheitsempfehlungen an die zuständigen Behörden im In- oder Ausland zu richten, die in der Lage sind, Abhilfemassnahmen zu ergreifen. Auch die teilnehmenden Staaten können Empfehlungen aussprechen. Die ICAO fördert die zwischenstaatliche Koordinierung vor der Veröffentlichung solcher Empfehlungen, um deren Angemessenheit und Wirksamkeit sicherzustellen.

Darüber hinaus können Staaten Sicherheitsempfehlungen von globaler Bedeutung (SRGCs) herausgeben, die sich auf systemische Mängel beziehen, bei denen die Wahrscheinlichkeit eines erneuten Auftretens besteht, die erhebliche Folgen auf globaler Ebene haben und die zeitnahe Massnahmen zur Verbesserung der Sicherheit erfordern. SRGCs werden der ICAO vorgelegt und in eine öffentlich zugängliche globale Datenbank aufgenommen, wodurch internationale Transparenz und kollektives Handeln gewährleistet werden. 

Die Empfängerstaaten sind verpflichtet, innerhalb von 90 Tagen zu antworten und dabei entweder die zur Umsetzung der Empfehlung ergriffenen (oder geplanten) Massnahmen oder die Gründe für das Unterlassen von Massnahmen anzugeben. Die Untersuchungsbehörde muss diese Antworten dokumentieren und deren Angemessenheit bewerten, wobei sie eine Begründung vorlegen muss, falls sie mit der Entscheidung, keine Massnahmen zu ergreifen, nicht einverstanden ist. Darüber hinaus wird von allen Behörden oder Stellen, die Empfehlungen erhalten, erwartet, dass sie den Fortschritt ihrer Umsetzung überwachen und im Europäischen Zentralregister erfassen.

Gesamtbewertung

Das Meldesystem für Vorfälle in der Luftfahrt und das Untersuchungssystem haben sich als äusserst erfolgreich erwiesen. Seine Schlüsselelemente sind die kontinuierliche Erfassung und Analyse von Sicherheitsdaten und -informationen auf allen Ebenen sowie deren Weitergabe an alle Beteiligten. Gleichzeitig ist Sicherheit sowohl eine gemeinsame Kernverantwortung als auch ein gemeinsames Anliegen der gesamten Branche und der politischen Entscheidungsträger. Das Konzept der „Just Culture“ leistet einen wesentlichen Beitrag zur Sicherheit, trotz der Herausforderungen bei seiner praktischen Umsetzung. Die internationale Regulierung der Meldung und Untersuchung von Ereignissen, eine praktische Notwendigkeit, die sich aus der Natur des Luftverkehrs ergibt, hat zur Schaffung globaler Standards geführt und das Risikomanagement sowie die Risikominderung erheblich erleichtert. Trotz des dem Luftverkehr innewohnenden Risikos wird die Luftfahrt in vielen Schätzungen als das sicherste Verkehrsmittel angesehen. Dies wird durch ein grosses Mass an öffentlichem Vertrauen unterstrichen: Es ist kein Zufall, dass die meisten Flugreisenden sich eher um Verspätungen als um Tod oder körperliche Verletzungen sorgen. Es gibt immer Herausforderungen, wie die jüngsten Flugunfälle gezeigt haben, aber der Austausch von Informationen und Erfahrungen innerhalb der Branche und auf internationaler Ebene erleichtert die Entwicklung geeigneter Lösungen erheblich.

Auf die Erfahrungen der Luftfahrt zurückgegriffen, um das Meldesystem der AIA zu verbessern

Wie bereits dargelegt, kann die Luftfahrt angesichts der Parallelen zwischen den beiden Sektoren nützliche Erkenntnisse für die Verbesserung des Meldesystems und der Untersuchung von Vorfällen der AIA liefern. Trotz dieser Ähnlichkeiten ist jedoch Vorsicht geboten.

Unterschiede zwischen KI-Systemen und der Luftfahrt

Bevor mögliche Massnahmen für die KI-Branche untersucht werden, ist es wichtig, die wesentlichen Unterschiede zu berücksichtigen, die sie von der Luftfahrt unterscheiden.

Die Luftfahrt ist eine hochentwickelte Branche. Sie unterliegt strengen Vorschriften, die auf den Erkenntnissen aus jahrzehntelanger Erfahrung, einschliesslich Dutzender tödlicher Unfälle, basieren. Die Sicherheitsvorschriften sind auf globaler Ebene weitgehend standardisiert, was den Wettbewerbsdruck in Sicherheitsfragen verringert. Darüber hinaus basieren sie auf bewährten technischen Grundsätzen und einer hoch entwickelten Sicherheitskultur. Aus technologischer Sicht ist die Luftfahrt eine sich relativ langsam entwickelnde Branche, was den Akteuren Zeit gibt, sich auf technologische Entwicklungen und damit verbundene Herausforderungen einzustellen. Zudem finden Ereignisse in der Luftfahrt hauptsächlich in der physischen Welt statt. Unfälle in der Luftfahrt sind sofort sichtbar und können die Risikowahrnehmung der Passagiere erheblich beeinflussen, was bedeutet, dass die Auswirkungen von Unfällen auf den Ruf enorm sein können. Eng damit verbunden sind die finanziellen Auswirkungen von Unfällen, die verschiedene Formen annehmen können, wie z. B. zivilrechtliche Haftung, Bussgelder und Strafanzeigen, Einnahmeausfälle, Kosten für Reparaturen und Umbauten usw. Die vielfältigen Folgen von Unfällen führen zu einer Annäherung der Interessen der verschiedenen Akteure und veranlassen diese, der Sicherheit Vorrang einzuräumen.

Die KI-Branche steckt noch in den Kinderschuhen. KI-Systeme kommen in einem breiten Spektrum von Branchen zum Einsatz, deren Akteure unterschiedliche Interessen haben können. Die Regulierung der KI-Branche variiert stark zwischen den einzelnen Staaten, während die Erfahrungen mit Unfällen sehr begrenzt sind. KI-bezogene Unfälle werden möglicherweise nicht weitreichend bekannt, insbesondere wenn sie auf die digitale Welt beschränkt bleiben, während ihre Auswirkungen auf den Ruf weniger schwerwiegend sein können. Gleichzeitig können KI-bezogene Unfälle oder Fehlfunktionen jedoch trotz fehlender Todesopfer weitreichende gesellschaftliche Auswirkungen haben. Darüber hinaus befindet sich die Sicherheitskultur der KI-Anbieter noch in einem frühen Entwicklungsstadium. Dies hängt mit dem starken Wettbewerb unter den Entwicklern von KI-Systemen in Verbindung mit der rasanten technologischen Entwicklung zusammen. In diesem Zusammenhang wird Sicherheit gegen technologischen Fortschritt und Marktbeherrschung abgewogen. Der strategische Wettbewerb zwischen den Staaten verkompliziert die Lage zusätzlich. Daher finden Sicherheitsbedenken bei der Produktentwicklung und -einführung möglicherweise nicht die gebührende Beachtung. Ein damit zusammenhängender Faktor ist, dass KI-Systeme undurchsichtig und nicht deterministisch sind, was bedeutet, dass es schwierig ist, klare kausale Zusammenhänge zwischen menschlichem Verhalten bei der Entwicklung oder dem Betrieb des KI-Systems und der Ausgabe oder dem Verhalten des KI-Systems herzustellen. Darüber hinaus sind die Entwicklung und der Betrieb von KI-Systemen oft durch Rechte des geistigen Eigentums geschützt, was bei der Meldung und Untersuchung von Vorfällen berücksichtigt werden muss.

Ein weiterer wichtiger Aspekt ist, dass die Regulierung der Flugsicherheit seit 1944 (dem Jahr der Unterzeichnung des Abkommens von Chicago) stark internationalisiert wurde und einen Top-down-Ansatz verfolgt, bei dem die Regeln auf internationaler Ebene hauptsächlich auf ICAO-Ebene beschlossen und dann von den Staaten umgesetzt werden. Im Gegensatz dazu war die Regulierung der KI-Sicherheit bisher eine nationale Angelegenheit oder, im Falle der EU, eine regionale Angelegenheit, wobei verschiedene Staaten unterschiedliche Prioritäten haben und oft divergierende Regulierungsansätze verfolgen, die von einer umfassenden, proaktiven Regulierung in der EU, wie beispielsweise dem AIA, bis hin zu einem zurückhaltenden und deregulierenden Ansatz auf US-Bundesebene reichen.

Dennoch können Vorschriften und Praktiken aus der Luftfahrt als Inspiration für Verbesserungen bei der Meldung und Untersuchung von Vorfällen mit KI-Systemen dienen.

Schaffung einer starken Sicherheitskultur mit geeigneten Schutzmassnahmen

Sicherheitsmeldesysteme sind eng mit einer umfassenderen Sicherheitskultur verbunden, zu der auch die Bereitschaft gehört, Sicherheitsprobleme zu kommunizieren. Die Entwicklung einer solchen Kultur hat die Flugsicherheit erheblich verbessert.

Neben ihren betriebswirtschaftlichen Aspekten beinhaltet eine Sicherheitskultur, dass sich Organisationen und natürliche Personen sicher fühlen, sicherheitsrelevante Informationen zu melden. Insbesondere wenn es sich bei den Meldenden um natürliche Personen handelt, sollten personenbezogene Daten aus den Vorfallberichten entfernt werden. Die in den Meldungen enthaltenen Informationen sollten streng vertraulich behandelt und ausschliesslich zur Förderung der Sicherheit verwendet werden. Das bedeutet, dass die Sicherheitsmeldung von der Haftung getrennt sein sollte. Wichtig ist das Vorhandensein einer „Just Culture“, in der natürliche Personen und Organisationen nicht für Verhaltensweisen bestraft werden, die unter den gegebenen Umständen als angemessen angesehen werden können, in der jedoch Leichtsinn nicht akzeptabel ist. Es ist ermutigend, dass der Verhaltenskodex für allgemeine KI-Modelle bereits in diese Richtung weist.

Einrichtung freiwilliger Meldesysteme

Freiwillige Meldesysteme erfassen oft Sicherheitsdaten und Informationen, die von den obligatorischen Meldesystemen nicht abgedeckt werden, und können äusserst nützlich sein, wie die Erfahrungen in der Luftfahrt gezeigt haben.

Alle Organisationen in der Lieferkette von KI-Systemen sollten freiwillige Meldesysteme einrichten. Für Anbieter von Allzweck-KI-Modellen mit systemischem Risiko scheint eine solche Pflicht bereits im Verhaltenskodex für Allzweck-KI-Modelle als Nachüberwachungspflicht vorgesehen zu sein. In ähnlicher Weise könnte die Kommission Leitlinien gemäss Artikel 95 AIA erlassen, in denen klargestellt wird, dass die Nachüberwachungspflichten von Anbietern von KI-Systemen die Einrichtung freiwilliger Meldesysteme umfassen, die auch die Einreichung anonymer Meldungen ermöglichen würden.

Damit freiwillige Meldesysteme wirksam sind, ist, wie bereits erwähnt, eine starke Sicherheitskultur erforderlich. Dies erfordert die Vertraulichkeit von Informationen und starke Schutzvorkehrungen für die Meldenden, einschliesslich der Anonymisierung der Meldungen und der Möglichkeit zur anonymen Meldung. Der direkte Zugriff auf die gemeldeten Daten und Informationen sollte auf bestimmte Personen innerhalb jeder Organisation oder Einrichtung, auf Aufsichtsbehörden und das KI-Büro beschränkt sein.

In freiwilligen Meldesystemen sollte die Möglichkeit bestehen, potenzielle Unfälle oder „Gefahren“ gemäss der OECD-Terminologie zu erfassen. Mit anderen Worten sollte es ausreichen, dass das Ereignis zu einem Schaden oder einer Beeinträchtigung hätte führen können (Beinaheunfall), da es oft eine Frage des Zufalls ist, ob tatsächlich ein Schaden oder eine Beeinträchtigung eingetreten ist.

Darüber hinaus sollte es jedem Fachmann möglich sein, einen Vorfall in einer offiziellen zentralen Datenbank zu melden, auch wenn der Vorfall nicht in der internen Datenbank der betreffenden Organisation gemeldet wurde. Die Gründe dafür hängen zum einen mit der Möglichkeit zusammen, dass Organisationen versucht sein könnten, nützliche Sicherheitsinformationen zurückzuhalten, insbesondere wenn diese sie in ein ungünstiges Licht rücken oder ihnen einen Wettbewerbsnachteil verschaffen; zum anderen mit der psychologischen Ermutigung der Meldenden, die aus verschiedenen Gründen zögern könnten, Vorfälle intern zu melden. Zudem wurde die Möglichkeit der anonymen Meldung in einer zentralen Datenbank auch für die meldenden Organisationen als wünschenswert identifiziert, da sie diese vor Reputationsschäden schützt.

Es würde das Vertrauen stärken und die Meldung erleichtern, wenn eine solche zentrale Datenbank von einer neutralen, unabhängigen dritten Partei geführt würde, nämlich einer Organisation ohne Regulierungs- oder Durchsetzungsaufgaben. Diese Rolle könnte von einer öffentlichen oder privaten Organisation mit technischem Fachwissen übernommen werden, beispielsweise einer akademischen oder technologischen Einrichtung. Obwohl die EU diesen Ansatz in der Luftfahrt nicht verfolgt hat, wäre es sinnvoll, ihn im Zusammenhang mit KI-Systemen umzusetzen, wo die Herausforderungen der Einhaltung von Vorschriften und die damit verbundene Angst vor Sanktionen im Vergleich zur Luftfahrt grösser zu sein scheinen.

Es ist bemerkenswert, dass bereits einige Mechanismen zur Einrichtung freiwilliger Meldesysteme bestehen, die die Anforderungen der Whistleblower-Richtlinie umsetzen. Obwohl der Anwendungsbereich solcher Systeme im Rahmen der Whistleblower-Richtlinie enger gefasst ist, verringert ihre Existenz den Verwaltungsaufwand für die Einrichtung freiwilliger Meldesysteme mit einem breiteren Anwendungsbereich.

Klärung und Ausweitung der Meldepflichten für Vorfälle

Für das ordnungsgemässe Funktionieren von Meldesystemen sind klare Regeln darüber erforderlich, wer was, an wen und wann melden muss, sowie einfache Verfahren.

Klärung des Begriffs „was“

Wie in der Luftfahrt würde eine detaillierte Taxonomie von „Risiko“ und „Schaden“ zu einem gemeinsamen Verständnis dieser Begriffe in der gesamten EU beitragen. Eine gemeinsame Taxonomie von Risiken erleichtert Organisationen und Aufsichtsbehörden die Risikobewertung und -analyse erheblich, einschliesslich der Identifizierung gemeinsamer Probleme und Trends, und hilft ihnen gleichzeitig bei der Festlegung geeigneter Präventions- und Korrekturmassnahmen.

Ähnlich wie in der Luftfahrtgesetzgebung, die zwischen tatsächlichen Ereignissen („Unfällen“) und potenziellen Ereignissen („Vorfällen“) unterscheidet, wäre es sinnvoll, wenn Meldesysteme auch potenzielle Schäden, Verletzungen oder Störungen abdecken würden. Derzeit beziehen sich die Meldepflichten für Vorfälle gemäss dem AIA nur auf tatsächliche Schäden, Verletzungen oder Störungen. Dennoch können freiwillige Meldesysteme eingerichtet werden, um Informationen über „Beinaheunfälle“ einzubeziehen. Um potenzielle Schäden zu bezeichnen und Meldepflichten festzulegen, könnten die Entwürfe der OECD für Definitionen von „KI-Gefahr“ und „schwerwiegender KI-Gefahr“ als Referenz herangezogen werden. Diese unterscheiden sich von einem „KI-Vorfall“, einem „schwerwiegenden KI-Vorfall“ und einer „KI-Katastrophe“, die tatsächliche Schäden bezeichnen.

Darüber hinaus würde eine gemeinsame Taxonomie von Schäden dabei helfen, den erforderlichen Grad der „Schwere“ von Schäden an der Gesundheit, am Eigentum oder an der Umwelt einer Person sowie der „Schwere“ und „Unumkehrbarkeit“ von Störungen der Verwaltung oder des Betriebs kritischer Infrastrukturen zu bestimmen, die in der Definition des Begriffs „Vorfall“ im AIA erwähnt werden. Obwohl die Bestimmung der „Schwere“ für so viele unterschiedliche Fälle eine äusserst komplizierte und anspruchsvolle Aufgabe ist, ist sie für die ordnungsgemässe Umsetzung des AIA erforderlich.

Darüber hinaus muss der vieldeutige Begriff „Verstoss gegen Verpflichtungen aus dem Unionsrecht zum Schutz der Grundrechte“ durch offizielle Leitlinien weiter präzisiert werden. Es sollte eine umfassende, wenn auch nicht erschöpfende Liste solcher Verpflichtungen erstellt und geklärt werden, wer den (potenziellen) „Verstoss“ feststellen soll und auf welche Weise.

Dies kann durch standardisierte Meldevorlagen ergänzt werden. Die Standardisierung der gemeldeten Informationen trägt zu einer einheitlichen Umsetzung und einer einfacheren Verarbeitung bei, einschliesslich einer aussagekräftigen Datenaggregation und -vergleichbarkeit, und hat sich insbesondere in der Luftfahrt als nützlich erwiesen.

Vorfallsberichte sollten ausreichende Informationen enthalten, um die Art, den Schweregrad und die möglichen Ursachen des Vorfalls zu ermitteln. Das AI-Büro wurde beauftragt, solche Vorlagen zu entwickeln. Dabei könnten Elemente von Berichtsrahmen berücksichtigt werden, die bereits von anderen Organisationen wie der OECD und dem Center for Security and Technology (CSET) entwickelt wurden.

„Wer“ klären und erweitern

Nach dem Vorbild der Luftfahrt sollte das Personal (Mitarbeiter und Auftragnehmer) von Anbietern und Betreibern aller KI-Systeme verpflichtet sein, schwerwiegende Vorfälle in internen Sicherheitsmeldesystemen zu erfassen.

Die derzeitigen Bestimmungen des AIA über Anbieter und Betreiber von KI-Systemen mit hohem Risiko beinhalten eine solche Pflicht. Was die Anbieter von KI-Systemen mit hohem Risiko betrifft, so sind interne Meldepflichten in der Praxis notwendig, damit sie ihren Meldepflichten gemäss Artikel 73 AIA nachkommen können. Darüber hinaus können sie als Teil der bestehenden Pflichten von Anbietern risikoreicher KI-Systeme angesehen werden, ein Risikomanagementsystem einzurichten, zu dokumentieren, umzusetzen und aufrechtzuerhalten sowie ein Überwachungssystem nach dem Inverkehrbringen einzurichten und zu dokumentieren. Ähnliche Verpflichtungen ergeben sich für das Personal von Betreibern risikoreicher KI-Systeme hinsichtlich ihrer Meldepflichten gemäss Artikel 26 Absatz 5 und Artikel 73 AIA.

Da Sicherheit zu den Kernzielen des AIA gehört, könnten sich die Meldepflichten für Vorfälle zudem auf alle Entwickler und Betreiber von KI-Systemen erstrecken, unabhängig davon, ob diese als risikoreich eingestuft sind oder nicht. Andernfalls könnten potenziell wertvolle Informationen und Erfahrungen unberücksichtigt bleiben. Um eine unverhältnismässige Belastung für kleine und mittlere Unternehmen (KMU) zu vermeiden, könnten vereinfachte Meldeverfahren eingeführt werden, z. B. durch geringere Informationsanforderungen und längere Meldefristen. In der Luftfahrt bestehen solche vereinfachten Meldepflichten bereits.

Sicherstellen, dass Meldesysteme zugänglich und benutzerfreundlich sind

Meldesysteme, ob obligatorisch oder freiwillig, müssen benutzerfreundlich und leicht zugänglich sein. Die Erfahrungen in der Luftfahrt haben gezeigt, dass die Meldeverfahren einfach und unkompliziert sein sollten und dem Nutzer helfen müssen, alle wertvollen Informationen zum Vorfall zu melden, z. B. was passiert ist, wann, unter welchen Umständen und was die schädlichen Folgen waren oder hätten sein können.

Einführung einer obligatorischen Untersuchung von Vorfällen durch eine unabhängige Behörde

Die obligatorische Unfalluntersuchung durch eine unabhängige Behörde hat sich in der Luftfahrt als sehr nützlich erwiesen. Es wäre empfehlenswert, entsprechende Bestimmungen auch in der AIA festzuschreiben. Derzeit sieht die AIA eine Vorfalluntersuchung durch den Entwickler oder Betreiber von risikoreichen KI-Systemen vor, während nationale Aufsichtsbehörden anschliessend die Einhaltung der AIA durch die jeweilige Organisation untersuchen und überprüfen können. Dieses System birgt die Gefahr von Interessenkonflikten bei der Vorfalluntersuchung. Im Zusammenhang mit KI kann eine unabhängige Untersuchungsstelle versagende Sicherheitsvorkehrungen identifizieren, bestehende Richtlinien bewerten und Daten über betroffene Bevölkerungsgruppen und Risikofaktoren sammeln – Informationen, die Aufschluss über die Wahrscheinlichkeit vergangener, nicht gemeldeter oder zukünftiger Vorfälle geben können.

Es ist anzumerken, dass die obligatorische Untersuchung von Vorfällen durch eine unabhängige Behörde gemäss den sektoralen EU-Rechtsvorschriften bereits für KI-Systeme gilt, die im Verkehrssektor eingesetzt werden. Die Einführung einer obligatorischen Untersuchung von KI-bezogenen Sicherheitsvorfällen in anderen Sektoren ist jedoch kompliziert.

Herausforderungen im Zusammenhang mit KI-Systemen

Die Einrichtung eines Systems zur obligatorischen Untersuchung von Vorfällen durch eine unabhängige Behörde, ähnlich wie in der Luftfahrt, ist mit erheblichen Herausforderungen verbunden.

KI-Systeme sind wesentlich vielfältiger als Produkte und Systeme der Luftfahrt. Sie finden in vielen Sektoren breite Anwendung, und ihr Einsatz nimmt stetig zu, was bedeutet, dass die Zahl der Vorfälle deutlich höher sein kann als die Zahl der Sicherheitsvorfälle in der Luftfahrt. Dies könnte nicht nur die für unabhängige Vorfalluntersuchungen verfügbaren Ressourcen belasten, sondern auch als zu aufwendig für Entwickler und Betreiber von KI-Systemen angesehen werden.

Zudem ist die Technologie von KI-Systemen neu und entwickelt sich ständig rasant weiter, was die Etablierung standardisierter Methoden und Verfahren erschwert. Darüber hinaus stellt die Undurchsichtigkeit häufig verwendeter maschineller Lernsysteme ein erhebliches Hindernis für externe Untersuchungen dar, insbesondere wenn den Ermittlern detaillierte Kenntnisse über die jeweils eingesetzte KI-Technologie fehlen.

Zudem sind KI-Systeme häufig durch Rechte des geistigen Eigentums (IPR) geschützt, insbesondere durch Geschäftsgeheimnisse, die im Rahmen einer unabhängigen Untersuchung offengelegt werden könnten. Ein weiterer erschwerender Faktor ist die Schwierigkeit, KI-Experten als unabhängige Ermittler zu gewinnen. Erstens ist es angesichts des intensiven Wettbewerbs um Talente unter KI-Unternehmen schwierig, solche Experten für eine unabhängige Behörde zu gewinnen. Zweitens haben diese wahrscheinlich Verbindungen zu anderen Hightech-Unternehmen oder streben einen Karrierewechsel in die Industrie an („Drehtür-Effekt“), was die Unabhängigkeit der Untersuchung gefährden könnte.

Bewältigung der Herausforderungen

Diese Herausforderungen sind nicht unüberwindbar.

Der Umfang der obligatorischen unabhängigen Untersuchung von Vorfällen könnte auf bestimmte Kategorien von Vorfällen beschränkt werden. Die obligatorische unabhängige Untersuchung könnte nur für Fälle von „schwerwiegenden Vorfällen“ gemäss Artikel 3 Absatz 49 Buchstaben a, b und d gelten, d. h. für Fälle mit Todesfolge oder schwerwiegender Schädigung der Gesundheit einer Person, schwerwiegender und irreversibler Störung der Verwaltung oder des Betriebs kritischer Infrastrukturen sowie schwerwiegender Schädigung von Eigentum oder der Umwelt. Dies sind Fälle, die voraussichtlich seltener auftreten und wahrscheinlich ohnehin von Sicherheits- und Justizbehörden untersucht werden. Darüber hinaus sind sie einfacher umzusetzen als Fälle nach Artikel 3 Absatz 49 Buchstabe c, d. h. Verstösse gegen Verpflichtungen nach Unionsrecht, die dem Schutz der Grundrechte dienen.

Es sei darauf hingewiesen, dass die Untersuchung von Vorfällen trotz der Neuartigkeit und der raschen technologischen Entwicklung bereits sowohl nach dem AIA als auch nach vielen sektoralen Rechtsvorschriften verpflichtend ist. Untersuchungen werden so oder so durchgeführt werden. Daher ist es erstens nur eine Frage der Zeit, bis standardisierte Methoden und Verfahren in Form von EU-weit harmonisierten Normen, Verhaltenskodizes oder Leitlinien der Kommission entwickelt werden. Zweitens müssen wir zur Verbesserung der Sicherheit ein System vermeiden, das zu Interessenkonflikten führen kann, nämlich ein System, in dem Vorfälle von den jeweiligen Organisationen selbst untersucht werden.

Die Erklärbarkeit von KI-Systemen ist bereits eine Grundanforderung der AIA. Sie ist zudem eines der Kernprinzipien ethischer KI und ein zentrales Element der gesellschaftlichen Akzeptanz solcher Technologien. Infolgedessen wird umfangreiche Forschung in diesem Bereich betrieben, und Probleme der Erklärbarkeit werden nach und nach überwunden werden.

Der Schutz der Rechte des geistigen Eigentums im Zusammenhang mit der Überwachung und Durchsetzung des AIA durch öffentliche Behörden ist im AIA bereits berücksichtigt. Ausserdem ist der Schutz der Rechte des geistigen Eigentums an KI-Systemen nicht bedingungslos; er wird gegen das öffentliche Interesse an Sicherheit abgewogen.

Die Suche nach unabhängigen technischen Experten ist ein Thema, das die AIA durch die Einrichtung des Wissenschaftlichen Gremiums unabhängiger Experten behandelt hat, auf das jeder Mitgliedstaat Zugriff hat. Zusätzliche Massnahmen auf nationaler Ebene können ins Auge gefasst werden, wie beispielsweise wirtschaftliche, reputationsbezogene und auf die persönliche Weiterentwicklung ausgerichtete Anreize. In der Luftfahrt sind Vereinbarungen über die Übertragung der Untersuchungsaufgaben an die zuständige Behörde eines anderen Staates, der möglicherweise über mehr Ressourcen und grösseres Fachwissen verfügt, eine der Methoden zur Lösung solcher Probleme.

Das Phänomen der „Drehtür“, d. h. der Wechsel von Mitarbeitern öffentlicher Organisationen, insbesondere von Regulierungsbehörden, in Positionen in der Industrie und umgekehrt, ist ein unvermeidbares Risiko. Es kann durch geeignete gesetzliche Beschränkungen gemindert werden, wie z. B. Karenzfristen nach Beendigung des Arbeitsverhältnisses im öffentlichen Sektor. Gleichzeitig kann eine frühere Beschäftigung in der Branche für Unfallermittler von Vorteil sein, da sie ihnen Erfahrung darüber vermittelt, wie die Dinge in der Praxis funktionieren, während ein Branchenmitarbeiter oder Auftragnehmer mit Erfahrung in der unabhängigen Unfalluntersuchung der Organisation helfen kann, ihren Sicherheitsansatz und ihre Sicherheitskultur zu verbessern. Ausserdem ist es unwahrscheinlich, dass das Risiko von „Drehtüren“ die Unabhängigkeit der Untersuchung beeinträchtigt, wenn die Unfalluntersuchungsbehörden von den Regulierungsbehörden unabhängig sind und keine Befugnis zur Verhängung von Sanktionen haben. Dies erklärt auch das Fehlen gemeldeter relevanter Probleme in der Luftfahrt.

Somit können die Herausforderungen bei der Einrichtung einer obligatorischen Unfalluntersuchung durch eine unabhängige Behörde überwunden oder erheblich gemildert werden.

Sicherheitsempfehlungen aussprechen und die Weiterverfolgung sicherstellen

Eines der nützlichsten Elemente in Luftfahrtunfallberichten sind die an verschiedene Akteure gerichteten Sicherheitsempfehlungen und das Verfahren für Folgemassnahmen.

Die Kommission könnte klarstellen, dass die Untersuchungsberichte zu KI-Vorfällen nach Möglichkeit solche Empfehlungen enthalten sollten. Dies wurde bereits im Verhaltenskodex für Anbieter von GP-Modellen mit systemischem Risiko anerkannt. Gleichzeitig sollte ein formelles Verfahren zur Nachverfolgung eingerichtet werden, damit die Adressaten der Empfehlungen die gewonnenen Erkenntnisse umsetzen können. Dies würde nicht nur die Sicherheit fördern, sondern auch die Rechenschaftspflicht stärken, was ein wesentlicher Parameter für ethische KI ist. Ausserdem hilft die Erfassung realer Reaktionen auf Vorfälle KI-Ingenieuren dabei, nach einem Vorfall ethische Wege für die Zukunft zu verstehen und zu identifizieren.

Organisation einer effektiven Verbreitung von Sicherheitsinformationen

Eine effektive Verbreitung von Sicherheitsinformationen ist entscheidend für die Verbesserung der Sicherheit von KI-Systemen. Sie ermöglicht unter anderem die Identifizierung von Risikomustern und erleichtert die branchenübergreifende Zusammenarbeit.

Es wäre sehr nützlich, ein europäisches zentrales Register für KI-Vorfälle einzurichten und zu pflegen, den Informationsaustausch zwischen den nationalen Aufsichtsbehörden und dem KI-Büro zu erleichtern und massgeschneiderte Sicherheitsinformationen für Parteien mit einem berechtigten Interesse bereitzustellen. Das wissenschaftliche Gremium unabhängiger Experten könnte das KI-Büro bei der Analyse der Sicherheitsinformationen unterstützen. Darüber hinaus könnten KI-Systeme eingesetzt werden, um die gesammelten Informationen zu verarbeiten, für unterschiedliche Zwecke Zusammenfassungen mit unterschiedlichem Detaillierungsgrad zu erstellen, Sicherheitsdaten zu visualisieren, systemische Trends zu erkennen usw.

Es sollte nicht übersehen werden, dass die Verbreitung von Informationen, wenn sie unter Einhaltung angemessener Schutzmassnahmen für die Meldenden erfolgt, das Vertrauen von Fachleuten in das Sicherheitssystem stärkt und somit die freiwillige Meldung von Vorfällen fördert.

Darüber hinaus wäre es sinnvoll, den Mitgliedstaaten und dem KI-Büro die Pflicht aufzuerlegen, jährlich öffentliche Berichte über den Stand der KI-Sicherheit zu veröffentlichen. Die Berichte würden aggregierte und anonymisierte Informationen zu KI-Vorfällen, Folgemassnahmen, Statistiken und Trends enthalten. Dies wird die allgemeine Transparenz erhöhen und das Vertrauen der Öffentlichkeit in KI-Systeme sowie deren Akzeptanz fördern.

Fazit

Zusammenfassend lässt sich sagen, dass Sicherheitsmeldesysteme entscheidend sind, um die grossen Chancen von KI-Systemen zu nutzen und gleichzeitig die damit verbundenen Risiken zu mindern. Sie ermöglichen es, aus Erfahrungen zu lernen, tragen zur Entwicklung der KI-Branche bei und helfen der Gesellschaft, Risiken zu mindern. Aus ethischer Sicht trägt die Meldung von Vorfällen zur Entwicklung vertrauenswürdigerer KI-Systeme bei, insbesondere durch die Verbesserung der technischen Robustheit und Transparenz.

Auch wenn die aktuellen Bestimmungen des AIA zur Meldung und Untersuchung von Vorfällen ein Schritt in die richtige Richtung sind, besteht noch erheblicher Verbesserungsbedarf. Die Erfahrungen aus der Luftfahrt können zur Verbesserung der Sicherheitsberichterstattung genutzt werden, wobei jedoch die Unterschiede zwischen der Luftfahrt- und der KI-Branche berücksichtigt werden sollten.

Eine Reihe von Massnahmen könnte das derzeitige System erheblich verbessern: (i) Klärung der Meldepflichten, einschliesslich der Entwicklung einer gemeinsamen Taxonomie von Risiken oder Schäden, sowie die Ausweitung des Kreises der meldepflichtigen Personen und Einrichtungen; (ii) Entkopplung der Meldung und Untersuchung von Vorfällen von der Haftung; (iii) Einrichtung freiwilliger Meldesysteme; (iv) Bestimmungen zur Vertraulichkeit der Meldungen und zum Schutz der Meldenden; (v) die obligatorische Untersuchung zumindest einiger schwerwiegender Vorfälle durch eine unabhängige Behörde; (vi) die wirksame Verbreitung von Sicherheitsinformationen. Der bestehende Rahmen der AIA könnte durch Durchführungsrechtsakte oder offizielle Leitlinien einige dieser Elemente berücksichtigen, wie beispielsweise die Klärung der Meldepflichten, die Einrichtung benutzerfreundlicher freiwilliger Meldesysteme und die wirksame Verbreitung von Sicherheitsinformationen. Andere Vorschläge würden legislative Massnahmen erfordern, wie beispielsweise die obligatorische Untersuchung von Vorfällen durch eine unabhängige Behörde.

Der wichtigste Faktor ist jedoch die Schaffung einer starken Sicherheitskultur sowohl in den Organisationen als auch bei den Regulierungsbehörden. Eine solche Kultur setzt voraus, dass Sicherheit von allen beteiligten Personen und Stellen, einschliesslich Staaten und Aufsichtsbehörden, als gemeinsame Verantwortung von höchster Bedeutung angesehen wird.

Insgesamt trägt eine effektive Meldung von Vorfällen, da KI-Systeme zunehmend in fast alle Bereiche menschlichen Handelns integriert werden, zu einem umfassenderen Verständnis der KI-Risiken bei und ist ein wichtiger Schritt hin zu vertrauenswürdiger KI. Die Luftfahrt kann hierfür wertvolle Anhaltspunkte liefern. Ihr Beispiel hat gezeigt, dass Branchen schnell wachsen können, ohne die Sicherheit zu beeinträchtigen, wenn sie der Sicherheit Priorität einräumen und sich zu systematischem und strukturiertem Sicherheitslernen verpflichten.

Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.

Übersetzung Boris Wanzeck, Swiss Infosec AG

Chatzipanagiotis, Michael in: International Journal of Law and Information Technology; Oxford University Press, 2026

https://doi.org/10.1093/ijlit/eaaf019

https://creativecommons.org/licenses/by/4.0

Dem Text wurden Hyperlinks hinzugefügt.

---

KI-Governance, Security und Privacy

Unsere KI-, Governance-, Datenschutz- und Security-Spezialisten begleiten Sie bei der Erstellung der übergeordneten firmeninternen KI-Vorgaben, bei der Abwicklung von KI-Projekten, bei der Klärung von Einzelfragen und der Durchführung unabhängiger Audits. Ebenfalls unterstützen sie Organisationen in ihrer Rolle als Nutzer/Betreiber, Anbieter oder Entwickler von KI-Systemen sowohl nach Schweizer Recht als auch gemäss dem EU-AI Act.

Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch