11/2026
1. Einleitung
Da künstliche Intelligenz (KI) sowohl im privaten als auch im öffentlichen Sektor immer breitere Anwendung findet, gewinnt das wirksame Management von KI-Risiken an tiefgreifender gesellschaftlicher Bedeutung. Das EU-KI-Gesetz geht dieser Herausforderung vor allem in Artikel 9 nach, der Anbieter von risikoreichen KI-Systemen dazu verpflichtet, Risiken zu identifizieren und zu mindern. Die Wirksamkeit dieser Bestimmung hängt jedoch vollständig von der Auslegung ihrer offen formulierten Begriffe ab, wie beispielsweise «vernünftigerweise vorhersehbare Risiken» und «Akzeptanz von Risiken». Bei einer zu strengen Auslegung kann diese Regelung die für das Wirtschaftswachstum notwendige Innovation behindern, beispielsweise die Verfügbarkeit neuartiger KI-basierter Medizinprodukte. Umgekehrt kann eine zu grosszügige Auslegung dazu führen, dass schädliche Systeme Grundrechte sowie die öffentliche Gesundheit und Sicherheit gefährden. Somit ist die Auslegung von Artikel 9 des KI-Gesetzes, ebenso wie der allgemeine Ansatz zum KI-Risikomanagement, nicht nur eine rein juristische Übung. Sie ist der zentrale Mechanismus, um in den Gesetzen zur KI-Governance das richtige Gleichgewicht zwischen technologischem Fortschritt und gesellschaftlichem Schutz herzustellen.
In diesem Beitrag wird argumentiert, dass das Erreichen dieses Gleichgewichts erfordert, dass die Auslegung der Risikomanagementbestimmungen durch einen ökonomischen Rahmen operationalisiert wird. Während in der jüngeren Forschung die theoretischen Zusammenhänge zwischen Risikomanagement und Deliktsrecht im Hinblick auf Artikel 9 des KI-Gesetzes aufgezeigt wurden, geht dieser Beitrag noch einen Schritt weiter und schlägt eine konkretere, verallgemeinerte Methodik zur Integration von Kosten-Nutzen- und Risiko-Nutzen-Analysen in das KI-Risikomanagement vor. Eine ökonomische Auslegung von Artikel 9 des KI-Gesetzes ist nicht nur zulässig, sondern auch notwendig, um einen klaren Sorgfaltsmassstab festzulegen. Diese Erkenntnisse lassen sich auch auf andere Kontexte der internationalen KI-Governance anwenden, in denen es um Risikomanagement geht.
Ein rein ökonomischer und quantitativer Ansatz beim Risikomanagement berücksichtigt jedoch weder die Komplexität und Inkonsistenz von Risikomessgrössen noch die Notwendigkeit, die Grundrechte zu schützen. Um diesen zusätzlichen Aspekten Rechnung zu tragen, schlägt dieser Beitrag einen «hybriden Ansatz» vor, der quantitative Methoden mit einigen qualitativen Schutzmassnahmen kombiniert.
Darüber hinaus erstreckt sich die Analyse auf die Durchsetzungsphase und befasst sich mit den praktischen Herausforderungen der nachträglichen Beurteilung von Massnahmen zum KI-Risikomanagement. In Anbetracht der Tatsache, dass Rückblick- und Ergebnisverzerrungen die Bewertung von Risikomanagemententscheidungen verzerren können, schlägt der Beitrag vor, die Logik der «Business Judgment Rule» (BJR) aus dem Gesellschaftsrecht zu übertragen. Dies bietet eine neuartige Lösung zur Einschränkung des Prüfungsmassstabs und stellt sicher, dass Anbieter anhand ihrer Ex-ante-Entscheidungsprozesse beurteilt werden und nicht allein anhand nachteiliger Ergebnisse.
Der Beitrag ist wie folgt aufgebaut: Abschnitt 2 bietet einen Überblick über die Risikomanagementanforderungen im KI-Gesetz und die entsprechende Literatur. Abschnitt 3 befasst sich anschliessend mit der Anwendung ökonomischer Konzepte im KI-Risikomanagement. Abschnitt 4 stellt einen hybriden Ansatz für das KI-Risikomanagement vor. Abschnitt 5 widmet sich unterdessen den Herausforderungen der nachträglichen Beurteilung von Massnahmen zum KI-Risikomanagement. Abschnitt 6 bildet den Abschluss.
2. Risikomanagement im KI-Gesetz
Die Europäische Union hat im Dezember 2023 das KI-Gesetz (AI Act) verabschiedet. Die Risikomanagementbestimmung in Artikel 9 des KI-Gesetzes ist Teil der Bestimmungen zu KI-Systemen mit hohem Risiko in den Artikeln 6–15 des KI-Gesetzes. Diese gelten als eines der Schlüsselelemente der Verordnung.
2.1. Überblick
Anbieter von KI-Systemen mit hohem Risiko sind gemäss Artikel 9 des KI-Gesetzes verpflichtet, ein Risikomanagementsystem einzurichten. Artikel 9 des KI-Gesetzes schafft einen umfassenden Rechtsrahmen, der die Einrichtung, Umsetzung, Dokumentation und Pflege eines Risikomanagementsystems vorschreibt. Anbieter solcher Systeme sind verpflichtet, Risiken für Gesundheit, Sicherheit und Grundrechte zu identifizieren und zu analysieren und schliesslich Massnahmen zu deren Minderung zu ergreifen. Sie müssen die identifizierten Risiken beseitigen, bis die verbleibenden Risiken als akzeptabel gelten. Die Anbieter müssen daher umfassende Vorsichtsmassnahmen ergreifen. Um die Risiken zu bewältigen, müssen sie zudem die technischen Aspekte des KI-Systems anpassen. Ziel des KI-Gesetzes ist es, Compliance by Design und Compliance by Default zu erreichen.
Artikel 9 Absatz 2 des KI-Gesetzes legt dar, dass das Risikomanagement ein iterativer Prozess ist, der die Identifizierung und Analyse von Risiken, die Einschätzung und Bewertung neu auftretender und betrieblicher Risiken sowie schliesslich die Umsetzung gezielter Risikomanagementmassnahmen umfasst. Insbesondere verlangt Artikel 9 Absatz 5 des KI-Gesetzes individuelle Beurteilungen, um festzustellen, ob die Restrisiken des KI-Systems akzeptabel sind. Systeme mit inakzeptablen Restrisiken müssen weiteren Massnahmen zur Risikominderung unterzogen oder ausser Betrieb genommen werden. Die Artikel 9 Absatz 6 bis 9 Absatz 8 des KI-Gesetzes befassen sich mit den Testverfahren für KI-Systeme mit hohem Risiko. Dazu gehört die Festlegung geeigneter Massnahmen zur Risikominderung durch Tests während der Entwicklungsphase.
Im Falle regulatorischer Auswirkungen sind die beiden wichtigsten Voraussetzungen die Pflicht zur Identifizierung und Analyse bekannter und vernünftigerweise vorhersehbarer Risiken gemäss Artikel 9 Absatz 2 Buchstabe a des KI-Gesetzes sowie die Verpflichtung gemäss Artikel 9 Absatz 2 Buchstabe d und Absatz 5 des KI-Gesetzes, Risikomanagementmassnahmen festzulegen, damit sowohl die jeweiligen einzelnen Restrisiken als auch das Gesamtrestrisiko als akzeptabel beurteilt werden.
2.2. Änderungen im Gesetzgebungsprozess
Die Struktur der Bestimmung, insbesondere Artikel 9 Absatz 2 Buchstabe a und Artikel 9 Absatz 5 des KI-Gesetzes, hat sich vom ersten Entwurf des KI-Gesetzes bis zur endgültigen Fassung erheblich verändert. Der ursprüngliche Entwurf des KI-Gesetzes war sehr starr, da er von Organisationen verlangte, alle vorhersehbaren Risiken zu identifizieren, unabhängig davon, ob ihre Bemühungen zur Identifizierung zumutbar waren. Die endgültige Fassung von Artikel 9 Absatz 2 Buchstabe a des KI-Gesetzes sieht nun tatsächlich eine «Angemessenheitsschwelle» für die Identifizierung von Risiken vor, wie dies von einigen Wissenschaftlern und dem EU-Parlament gefordert wurde. Bei der Identifizierung von Risiken, wie sie in der endgültigen Fassung gemäss Artikel 9 Absatz 2 Buchstabe a des KI-Gesetzes vorgeschrieben ist, müssen nun nur noch «vernünftigerweise vorhersehbare Risiken» berücksichtigt werden.
Zudem wurden in der endgültigen Fassung auch die Anforderungen an die durchzuführenden Massnahmen zur Risikominderung gemäss Artikel 9 Absatz 2 Buchstabe d und Absatz 5 des KI-Gesetzes gelockert. Die Massnahmen zum Risikomanagement müssen Risiken nicht mehr zwingend so weit wie möglich beseitigen oder verringern. Dies hätte bedeutet, dass Anbieter von KI-Systemen mit hohem Risiko die damit verbundenen Risiken mit allen notwendigen Mitteln hätten minimieren müssen. Gemäss der endgültigen Fassung reicht es aus, wenn das mit einer bestimmten Gefährdung verbundene Risiko sowie das gesamte Restrisiko durch eine angemessene Konzeption und Entwicklung des risikoreichen KI-Systems so weit wie technisch machbar beseitigt oder verringert werden und als akzeptabel beurteilt werden (Artikel 9 Absatz 5 KI-Gesetz). Zudem verlangt Artikel 9 Absatz 2 Buchstabe d der endgültigen Fassung des KI-Gesetzes nun, dass Risikomanagementmassnahmen «angemessen» sind, anstatt «geeignet», wie es im ersten Entwurf des KI-Gesetzes vorgeschrieben war. Diese Formulierungsänderungen bedeuten, dass das KI-Gesetz hinsichtlich der Anforderungen an die Risikominderung vom AFAP-Prinzip zu einem milderen, aber eher undefinierten Standard übergegangen ist.
Allerdings waren nicht alle Versuche, Artikel 9 des KI-Gesetzes während des Gesetzgebungsverfahrens zu ändern, erfolgreich. Der Vorschlag des EU-Parlaments, eine explizite Angemessenheitsschwelle in Artikel 9 Absatz 5 aufzunehmen, wurde in der endgültigen Fassung des KI-Gesetzes nicht berücksichtigt. Da sich der Wortlaut der Risikomanagementanforderungen in der endgültigen Kompromissfassung des KI-Gesetzes nicht auf Risikomanagementkonzepte in anderen EU-Rechtsvorschriften, wie beispielsweise der EU-Medizinprodukteverordnung, stützt, ist unklar, wie die endgültigen Anforderungen in Artikel 9 Absätze 2 und 5 des KI-Gesetzes auszulegen sind. Dies lässt Interpretationsspielraum hinsichtlich der praktischen Anwendung dieser Konzepte.
2.3. Literaturübersicht
Angesichts der erheblichen wirtschaftlichen Auswirkungen ist es für Anbieter von KI-Systemen mit hohem Risiko unerlässlich, den Umfang der erforderlichen Risikomanagementmassnahmen genau zu bestimmen. Es ist daher überraschend, dass Artikel 9 des KI-Gesetzes bislang noch nicht im Fokus der rechts- und wirtschaftswissenschaftlichen Forschung stand. Bislang lag der Schwerpunkt in der Literatur vor allem auf dem Entwurf des KI-Gesetzes der Kommission (2021), mit dem Ziel, die grundlegende Terminologie der Risikomanagementbestimmung in Artikel 9 des KI-Gesetzes zu beleuchten. Darüber hinaus wurde die Frage aufgeworfen, wie die vorgeschriebene Risikobewertung ausgestaltet sein sollte. Insbesondere wurde diskutiert, in welchem Umfang Risiken gemindert werden sollten («so weit wie möglich» vs. «angemessen»). In diesem Zusammenhang wurde auch die Frage aufgeworfen, ob und wie eine Kosten-Nutzen- und Risiko-Nutzen-Analyse gemäss Artikel 9 des KI-Gesetzes durchgeführt werden könnte und sollte.
Zudem hat sich die Fachliteratur noch nicht darauf geeinigt, wie die in der endgültigen Fassung des KI-Gesetzes enthaltenen Vorbehalte zum Risikomanagement zu verstehen sind. Zu diesen Vorbehalten gehören die Einführung einer Angemessenheitsschwelle in Artikel 9 Absatz 2 Buchstabe a sowie Formulierungsänderungen in Artikel 9 Absatz 2 Buchstabe d und Artikel 9 Absatz 5 des KI-Gesetzes. Einige argumentieren, dass die Einführung der Angemessenheitsschwelle und der Wechsel vom AFAP-Prinzip zum Kriterium der vernünftigen Vorhersehbarkeit und Akzeptanz den Weg für eine Kosten-Nutzen-Analyse im Rahmen von Artikel 9 des KI-Gesetzes geebnet haben. Ebers merkt jedoch beispielsweise an, dass zumindest eine Risiko-Nutzen-Analyse nach der endgültigen Fassung des KI-Gesetzes generell nicht möglich ist. Fernández lässt die Frage offen und verweist auf technische Standards, die in Kürze verabschiedet werden sollen.
3. Ökonomische Konzepte im KI-Risikomanagement: Kosten-Nutzen- und Risiko-Nutzen-Ansatz
Wie in Abschnitt 2.3 erörtert, hat sich die jüngste Forschung mit der Anwendung ökonomischer Konzepte auf die Auslegung der Risikomanagementbestimmung im KI-Gesetz befasst. Während einige Wissenschaftler diesen Ansatz befürwortet haben, haben andere ihn in gewissem Masse abgelehnt. In jedem Fall wird in diesem Beitrag argumentiert, dass sich dieser Ansatz für die Auslegung der Bestimmung zum KI-Risikomanagement als sehr hilfreich erweist. Artikel 9 des KI-Gesetzes stützt sich auf unbestimmte Begriffe wie «vernünftigerweise vorhersehbare Risiken» und «Akzeptanz von Risiken», die mangels einer gesetzgeberischen Definition einen externen Rahmen für ihre Operationalisierung erfordern. Die ökonomische Analyse liefert diesen Auslegungsrahmen und stützt sich dabei auf die gemeinsamen theoretischen Grundlagen des Risikomanagements und des Deliktsrechts. Insbesondere spiegelt das übliche einseitige Deliktsrechtsmodell, bei dem zusätzliche Vorsichtsmassnahmen nur dann erforderlich sind, wenn die Grenzkosten niedriger sind als der Grenznutzen der Vorsichtsmassnahme, die Kosten-Nutzen-Strukturen wider, die bereits in den Bestimmungen zum maritimen und nuklearen Risikomanagement vorhanden sind. Dieser Ansatz lässt sich generell auf das Management von KI-Risiken anwenden.
Die Feststellung der Relevanz der ökonomischen Analyse für das KI-Risikomanagement klärt jedoch nicht, welcher genaue Massstab gilt. Bislang bleibt unklar, ob Artikel 9 des KI-Gesetzes eine reine Kosten-Nutzen-Analyse, den «as low as reasonably possible»-Standard (ALARP), den strengeren AFAP-Grundsatz oder die Berücksichtigung von Risiko-Nutzen-Verhältnissen verlangt. Folglich führt dieser Beitrag eine zweigeteilte Analyse durch. Erstens wird durch eine interpretative Analyse aufgezeigt, dass Artikel 9 des KI-Gesetzes tatsächlich einer ökonomischen Betrachtung unterzogen werden kann. Zweitens wird ermittelt, welches ökonomische Konzept die unterschiedlichen gesetzlichen Schwellenwerte von «vernünftigerweise vorhersehbaren Risiken» und «akzeptabler» Risikominderung am schlüssigsten erfüllt.
3.1. Kosten-Nutzen-Analyse
Das ökonomische Konzept der Kosten-Nutzen-Analyse in Risikomanagement-Szenarien liefert Erkenntnisse darüber, in welchem Umfang Massnahmen zur Risikoidentifikation und Risikominderung umgesetzt werden müssen. Die Beurteilung im Rahmen einer Kosten-Nutzen-Analyse läuft zunächst auf einen einfachen Vergleich zwischen den Kosten und dem Nutzen einer bestimmten Risikomanagementmassnahme hinaus. Einerseits sind die Identifikation von Risiken und das Ergreifen von Vorsichtsmassnahmen mit Kosten verbunden. In Übereinstimmung mit den bekannten Konzepten des Rechts und der Ökonomie im Deliktsrecht lassen sich die Kosten des Risikomanagements mit den Vorsorgekosten gleichsetzen. Andererseits können die Identifizierung von Risiken und die Umsetzung von Risikomanagementmassnahmen mit Nutzen verbunden sein. Bei Risikomanagementmassnahmen entsprechen die Nutzen der Verringerung des Risikos, die durch die jeweilige Massnahme bewirkt wird. Da Risiko gemäss Artikel 3 Absatz 2 des KI-Gesetzes die Kombination aus der Eintrittswahrscheinlichkeit eines Schadens und der Schwere dieses Schadens bedeutet, kann die Risikominderung entweder durch eine Verringerung der Eintrittswahrscheinlichkeit oder durch die Verringerung der Auswirkungen eines Schadens erreicht werden.
Mit den Änderungen in der endgültigen Fassung von Artikel 9 des KI-Gesetzes hat der europäische Gesetzgeber im Grunde den Weg für eine reine Kosten-Nutzen-Analyse geebnet. Während der Entwurf des KI-Gesetzes sowohl hinsichtlich der Identifizierung von Risiken als auch der Ergreifung von Massnahmen zur Risikominderung auf das AFAP-Prinzip Bezug nahm, steht die endgültige Fassung eher im Einklang mit dem allgemeinen Kosten-Nutzen-Ansatz im Deliktsrecht und in der Ökonomie.
3.1.1. Identifizierung von Risiken
Was die Identifizierung von Risiken betrifft, so folgt dieses Ergebnis ganz klar der Einführung des Kriteriums der «Angemessenheit». Es müssen nur solche Risiken identifiziert werden, die «vernünftigerweise vorhersehbar» sind (Artikel 9 Absatz 2 Buchstabe a des KI-Gesetzes). Diese Verpflichtung gilt daher nur für jene Risiken, deren Schaden durch Untersuchungen überhaupt festgestellt werden kann. Der Begriff «vernünftig» in Artikel 9 Absatz 2 Buchstabe a des KI-Gesetzes wird im Gesetz selbst nicht definiert. Der Begriff ist jedoch im Deliktsrecht fest verankert und mit dem Konzept der angemessenen Sorgfalt verbunden. Im Common Law wird dies definiert als «die Sorgfalt, die ein umsichtiger und vorsichtiger Mensch walten lassen würde, um sich vor einer wahrscheinlichen Gefahr zu schützen». Auch in zivilrechtlichen Rechtsordnungen wird im Deliktsrecht ein ähnlicher Massstab angewandt.
Da sowohl das Deliktsrecht als auch die Risikobewertung die Vorhersage potenzieller Schäden beinhalten, liegt es nahe, die wirtschaftlichen Grundsätze des Deliktsrechts auf Artikel 9 Absatz 2 des KI-Gesetzes anzuwenden. Diese Schlussfolgerung ist natürlich nicht zwingend durch die Dogmatik von Artikel 9 des KI-Gesetzes vorgegeben, da sich die Bestimmung nicht zum anwendbaren Massstab äussert. Risikomanagement und Deliktsrecht sind jedoch eng miteinander verbunden, sodass die Anwendung dieser Konzepte der naheliegendste Ansatz ist, anstatt auf andere Konzepte der Angemessenheit im europäischen Recht zurückzugreifen. Darüber hinaus ermöglicht der Rückgriff auf deliktsrechtliche Konzepte die Festlegung klarer Massstäbe für den Begriff «Angemessenheit». In Anlehnung an Schneeberger et al. ist der relevante Massstab das Verständnis einer informierten Durchschnittsperson, die das Risikomanagement tatsächlich durchführt.
Gemäss einem ökonomischen Verständnis von Angemessenheit muss der Anbieter eines risikoreichen KI-Systems alle Massnahmen zur Risikoidentifikation durchführen, deren Grenzkosten geringer sind als der erwartete Grenznutzen einer weiteren Risikoerkennung. Sind die Grenzkosten höher als der erwartete Grenznutzen der Massnahme, wäre es nicht angemessen, die Identifikationsmassnahme durchzuführen. Folglich sind Anbieter nicht zwangsläufig verpflichtet, bei schwerwiegenden Schadensereignissen kostspieligere Untersuchungsmassnahmen durchzuführen als bei erwarteten geringfügigen Schadensereignissen. Die Frage, was eine angemessene Massnahme zur Risikoidentifikation ist, hängt ausschliesslich davon ab, wie wirksam und wie kostspielig die jeweilige Massnahme aus marginaler Sicht ist. Da die Prüfung bisher unbekannter Risiken stets mit einer Art explorativer Untersuchung verbunden ist, erscheint dies gerechtfertigt, da stets eine geringe Wahrscheinlichkeit besteht, dass durch eine bestimmte explorative Untersuchung ein grosses Risiko entdeckt wird. Dies bedeutet jedoch nicht, dass es sinnvoll ist, eine solche Identifizierungsmassnahme durchzuführen. Die damit verbundenen Kosten könnten unverhältnismässig hoch sein. Nur ein ausgewogener Ansatz stellt sicher, dass Anbieter keine übermässigen Massnahmen zur Risikoidentifizierung ergreifen müssen, die ihre Innovationsaktivitäten unangemessen einschränken.
3.1.2. Risikomanagementmassnahmen
Was den Rechtsmassstab betrifft, der gemäss Artikel 9 Absatz 5 des KI-Gesetzes auf die Akzeptanz von Risikomanagementmassnahmen anzuwenden ist, ist der Wortlaut der endgültigen Fassung der Verordnung weniger eindeutig, da die Formulierung, wonach Risiken als akzeptabel zu beurteilen sind, weit gefasst ist und Raum für verschiedene Interpretationen lässt. Der Wortlaut des endgültigen Artikels 9 Absatz 5 Buchstabe a des KI-Gesetzes, wonach die Beseitigung und Minderung identifizierter Risiken «soweit technisch machbar» durch eine angemessene Konzeption und Entwicklung des KI-Systems mit hohem Risiko sichergestellt werden soll, deutet auf eine Änderung hinsichtlich des insgesamt anwendbaren Rechtsstandards in Artikel 9 Absatz 5 des KI-Gesetzes hin. Im Gegensatz zum Wortlaut im Entwurf des KI-Gesetzes verlangt Artikel 9 Absatz 5 Buchstabe a des KI-Gesetzes nicht mehr die Minderung der Risiken so weit wie möglich (AFAP). Der Verweis auf AFAP wurde in der endgültigen Fassung vollständig weggelassen. Dies führt zu der Schlussfolgerung, dass der AFAP-Grundsatz in der endgültigen Fassung des KI-Gesetzes aufgegeben wurde.
Aus Sicht der Rechtsklarheit ist es etwas problematisch, dass der AFAP-Grundsatz in der endgültigen Fassung des KI-Gesetzes nicht durch einen klaren alternativen Standard ersetzt wurde. Stattdessen verfolgt der nun in Artikel 9 Absatz 5 Buchstabe a des KI-Gesetzes eingeführte Verweis, wonach Risikomanagementmassnahmen soweit technisch machbar bereits in der Entwurfs- und Entwicklungsphase des KI-Systems durchgeführt werden sollten, einen völlig anderen Zweck. Er stellt (lediglich) klar, dass der Gedanke des «Compliance by Design» für den Regulierungsansatz des KI-Gesetzes von zentraler Bedeutung ist. Dennoch liefert die Formulierung keine weiteren Hinweise auf den anwendbaren Massstab zur Risikominderung.
Auch Artikel 9 Absatz 2 Buchstabe d des KI-Gesetzes liefert keine Klarstellung zum anwendbaren Massstab. Die Formulierung, wonach «angemessene und gezielte» Risikomanagementmassnahmen zu ergreifen sind, gibt keinen Hinweis auf die anwendbare Risikoschwelle. Der Begriff der Angemessenheit ist sehr weit gefasst und bietet keine Orientierung für Verhältnismässigkeitsentscheide.
In Ermangelung einer weiteren theoretischen Klärung der anwendbaren Risikoschwelle ist die Auslegung des Begriffs «akzeptabel» im Zusammenhang mit Artikel 9 Absatz 5 des KI-Gesetzes von entscheidender Bedeutung. Da der Wortlaut die Anwendung verschiedener Massstäbe zulässt, wie beispielsweise des ALARP-Prinzips oder einer reinen Kosten-Nutzen-Analyse, und da der systematische Ansatz zu Artikel 9 keine eindeutigen Ergebnisse erbracht hat, hängt die Auslegung weitgehend vom Zweck der Bestimmung ab. In dieser Hinsicht sind Argumente aus der ökonomischen Rechtsanalyse besonders zu berücksichtigen, da das gesamte Risikomanagementkonzept in diesem Bereich verwurzelt ist.
Die Anwendung einer Kosten-Nutzen-Analyse würde – bei korrekter Anwendung – gesellschaftlich wünschenswerte Ergebnisse gewährleisten. Erstens würde die Anwendung eines strengeren Massstabs zu Wohlfahrtsverlusten führen, da der Anbieter eines risikoreichen KI-Systems Vorsichtsmassnahmen ergreifen müsste, obwohl dessen Grenzkosten höher wären als der Grenznutzen der Massnahme. Zweitens stünde die Anwendung eines strengeren Standards zur Risikominderung im Widerspruch zum Ziel des KI-Gesetzes, Innovationen gemäss Artikel 1 Absatz 1 des KI-Gesetzes zu fördern. Erwägungsgrund (1) des KI-Gesetzes bekräftigt dies und legt eindeutig fest, dass die Förderung von Innovation ebenso wichtig ist wie der Schutz von Gesundheit, Sicherheit und Grundrechten (siehe auch Erwägungsgrund (8)). Daher könnte ein strengerer Standard zur Risikominderung zu einem höheren Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte verankerten Grundrechte führen.
Dies hätte jedoch erhebliche negative Auswirkungen auf die Innovation im Bereich risikoreicher KI-Systeme. Die voraussichtlich hohe Kostenbelastung für die Anbieter könnte dazu führen, dass die Entwicklung gesellschaftlich wünschenswerter KI-Systeme eingestellt oder gänzlich abgebrochen wird. Dies würde sich negativ auf den Status der Union als Innovationszentrum auswirken, was nicht im Einklang mit den Zielen des KI-Gesetzes steht. Aus diesem Grund besteht die einzige Möglichkeit, die unterschiedlichen Ziele des KI-Gesetzes in Einklang zu bringen, darin, bei Artikel 9 Absatz 5 einen Kosten-Nutzen-Ansatz anzuwenden. In Anlehnung an den Ansatz im Deliktsrecht bedeutet dies, dass ein Anbieter eines KI-Systems mit hohem Risiko Risikomanagementmassnahmen umsetzen müsste, solange die mit der Risikominderung verbundenen Grenzkosten niedriger sind als der aus dieser Minderung resultierende Grenznutzen. Da weitere Risikomanagementmassnahmen wahrscheinlich nur noch eine abnehmende Wirkung auf die Risikominderung haben, ist klar, dass die mit einem KI-System verbundenen Risiken nicht so weit wie möglich reduziert werden können. Stattdessen verfolgt die endgültige Fassung des KI-Gesetzes einen ausgewogeneren Ansatz, um die Risikominderung zu verbessern und Innovationsbemühungen zu gewährleisten.
3.2. Risiko-Nutzen-Analyse
Eine weitere Frage im Zusammenhang mit der Anwendung des einschlägigen Standards zur Risikominderung gemäss Artikel 9 des KI-Gesetzes ist, ob der durch das KI-System bereitgestellte individuelle Nutzen im Risikomanagementprozess berücksichtigt werden kann. Bei einer Risiko-Nutzen-Analyse werden die von einem potenziell schädlichen Produkt – in diesem Fall einem KI-System – ausgehenden Risiken gegen den (gesellschaftlichen) Nutzen abgewogen, den es bietet. Das bedeutet, dass KI-Systeme mit hohem Nutzen als akzeptabel gelten würden, selbst wenn sie höhere Risiken bergen. Umgekehrt sollten KI-Systeme mit geringem Nutzen weniger grosszügig behandelt werden. Eine solche Nutzenanalyse ist im europäischen Produktsicherheitsrecht nicht ungewöhnlich. So verweisen beispielsweise Anhang I(I)(1), (2) und (8) der MDR sowie Anhang I(I)(1), (2) und (8) der Verordnung über In-vitro-Diagnostika (IVDR) auf ein Nutzen-Risiko-Verhältnis, das der in diesem Beitrag behandelten Risiko-Nutzen-Analyse ähnelt. Sowohl in der MDR als auch in der IVDR gilt der Massstab, dass Risiken beseitigt werden müssen, ohne das Nutzen-Risiko-Verhältnis nachteilig zu beeinflussen (Anhang I Abschnitt I Ziffern 2 MDR/IVDR).
3.2.1. Grundgedanke
Der Grundgedanke hinter der Berücksichtigung des Nutzen-Risiko-Verhältnisses geht auf den renommierten Soziologen Luhmann zurück, der die oft zitierte Erkenntnis geprägt hat, dass die Begriffe Gefahr und Risiko nicht austauschbar sind und dass gesellschaftlicher Fortschritt nur durch das Eingehen von Risiken erreicht werden kann, da Risiko oft eng mit gesellschaftlichem Nutzen, d. h. Nützlichkeit, verbunden ist. KI scheint sich besonders gut für eine Risiko-Nutzen-Analyse zu eignen, da bahnbrechende technologische Fortschritte in diesem Bereich ein grosses Potenzial für den Fortschritt der Menschheit schaffen, aber auch erhebliche Risiken für die Gesellschaft mit sich bringen. Das Erreichen eines Gleichgewichts zwischen diesen beiden Faktoren würde zum grösstmöglichen gesellschaftlichen Fortschritt führen. Daraus liesse sich schliessen, dass es sich lohnen könnte, ein gewisses Mass an Risiko durch ein risikoreiches KI-System in Kauf zu nehmen, sofern es ausreichende Nutzengewinne bietet. Umgekehrt kann selbst ein moderates Mass an Risiko durch ein KI-System als inakzeptabel angesehen werden, wenn es nur einen geringen gesellschaftlichen Nutzen bietet.
Angesichts der unterschiedlichen Nutzwerte, die verschiedene Kategorien von risikoreichen KI-Systemen bieten können, ist es generell sinnvoll, über einen flexiblen Bewertungsmassstab für das breite Spektrum an KI-Systemen zu verfügen, die unter die Vorschriften des KI-Gesetzes zu risikoreichen KI-Systemen fallen. So unterscheiden sich beispielsweise die gesellschaftlichen Vorteile des Einsatzes von KI-Systemen in Freizeitbooten oder zur Entscheidung, ob Angestellte einen Bonus erhalten sollen, vom Nutzen ihres Einsatzes in medizinischen Geräten, obwohl alle drei als risikoreiche KI eingestuft werden. Diese Beispiele veranschaulichen die erheblichen Unterschiede im Nutzen verschiedener risikoreicher KI-Systeme. Da Artikel 6 des KI-Gesetzes risikoreiche KI-Systeme starr klassifiziert und keine Nutzenbewertungen zulässt, ist die einzige Möglichkeit, zwischen unterschiedlichen Nutzen zu unterscheiden, ein konkretes Risikomanagement.
Zudem müssen die potenziellen negativen Auswirkungen von Risikomanagementmassnahmen auf den Nutzen des KI-Systems berücksichtigt werden. Dieser Gedanke spiegelt sich auch in anderen europäischen Rechtsvorschriften zur Produktsicherheit wider, wie beispielsweise in Anhang I(I)(2) der MDR/IVDR. Anhang I(I)(8) der MDR/IVDR schreibt vor, dass die bekannten und vorhersehbaren Risiken eines Medizinprodukts minimiert werden müssen und im Abwägungsverhältnis zu den bewerteten Vorteilen für den Patienten und/oder Anwender, die sich aus der erzielten Leistung ergeben, akzeptabel sein müssen. Derselbe Gedanke lässt sich ohne Weiteres auf die Entwicklung und das Training eines KI-Systems anwenden. Wenn beispielsweise die Gesamtleistung eines KI-Systems aufgrund von Massnahmen zur Risikominderung verringert wird oder bestimmte Funktionen wegfallen, mindert dies den Nutzen des Systems. Aus gesellschaftlicher Sicht kann dies unerwünscht sein, da es Innovationen behindert und letztlich die Gesellschaft daran hindert, von den Vorteilen von KI-Systemen zu profitieren.
3.2.2. Anwendung im Rahmen des KI-Gesetzes
Dies wirft die Frage auf, ob und wie die Wechselwirkung zwischen Risikominderung und Nutzen im rechtlichen Rahmen von Artikel 9 des KI-Gesetzes berücksichtigt werden kann. Ebers argumentiert, dass das KI-Gesetz eine solche Risiko-Nutzen-Analyse nicht zulässt. Basierend auf dem in diesem Beitrag verfolgten Ansatz gibt es jedoch potenziell zwei Anknüpfungspunkte für die flexible Berücksichtigung von Risiko-Nutzen-Argumenten im Rahmen von Artikel 9 des KI-Gesetzes.
Der erste zu berücksichtigende Aspekt ist, dass die bereits erwähnte Verringerung des Nutzens infolge von Risikomanagementmassnahmen auch als Opportunitätskosten betrachtet werden kann. Folglich stellen diese Auswirkungen auf den Nutzen einen zusätzlichen Kostenfaktor dar. Aus diesem Grund erscheint es sinnvoll, diese Opportunitätskosten in der in Abschnitt 3.1 dargestellten Gesamtkosten-Nutzen-Abwägung zu berücksichtigen. Dieser Ansatz würde Nutzenargumente im Rahmen von Artikel 9 des KI-Gesetzes zumindest indirekt anerkennen.
Alternativ lässt sich die Frage stellen, ob Risikomanagementmassnahmen, die zu einer erheblichen Verringerung des Nutzens des KI-Systems führen, im Sinne von Artikel 9 Absatz 2 Buchstabe d KI-Gesetz «angemessen» oder gemäss Artikel 9 Absatz 5 KI-Gesetz «akzeptabel» sind. Dies würde eine weite Auslegung der betreffenden Begriffe erfordern, doch der Wortlaut allein scheint dies nicht auszuschliessen.
Die zweite Frage lautet, ob im Rahmen von Artikel 9 des KI-Gesetzes eine reine Risiko-Nutzen-Analyse durchgeführt werden kann. Dies würde einen tatsächlichen Vergleich der Restrisiken des KI-Systems mit dessen Nutzen beinhalten. Dies könnte beispielsweise dazu führen, dass für Freizeitboote andere Massstäbe gelten als für Medizinprodukte. Der einzig geeignete dogmatische Bezugspunkt für die Abwägung von Risiko-Nutzen-Argumenten wäre die Akzeptabilitätsbeurteilung gemäss Artikel 9 Absatz 5 des KI-Gesetzes. Nach diesem Ansatz könnten die Restrisiken von KI-Systemen mit hohem (gesellschaftlichem) Nutzen leichter als akzeptabel beurteilt werden als jene mit geringem gesellschaftlichem Nutzen.
Das allgemeine Verständnis des Begriffs «Akzeptanz» schliesst eine solche weite Auslegung nicht aus. Allerdings könnte die dem Artikel 9 zugrunde liegende Systematik sowie die gesamte Regelung risikoreicher KI-Systeme im KI-Gesetz mit der Einführung von Nutzenargumenten unvereinbar sein. Wie Ebers zu Recht hervorhebt, berücksichtigt das KI-Gesetz den potenziellen Nutzen eines KI-Systems in seinem Regulierungsrahmen nicht direkt. Die Regelung zielt in erster Linie auf die Risikoprävention ab, wobei die Bestimmungen nur in begrenztem Umfang auf den Nutzen oder die Vorteile der regulierten KI-Systeme Bezug nehmen. Dies könnte gegen die Berücksichtigung von Nutzenargumenten sprechen.
Dennoch sollte in diesem Zusammenhang bedacht werden, dass Artikel 1 Absatz 1 des KI-Gesetzes die Förderung von Innovation als eines der Ziele des Gesetzes festlegt. Da dieses Ziel positiv («Förderung von Innovation») statt negativ («keine Beeinträchtigung der Innovation») formuliert ist, lässt sich daraus ableiten, dass das KI-Gesetz generell so ausgelegt werden sollte, dass es die Innovation unterstützt. Der Grundgedanke ist, dass KI-Systeme der Gesellschaft zugutekommen können. Das KI-Gesetz zielt darauf ab, dieses Potenzial zu realisieren und gleichzeitig die damit verbundenen Risiken zu minimieren. Dies könnte eine flexiblere Auslegung des KI-Gesetzes rechtfertigen, wenn die betreffende Bestimmung Innovationsanreize beeinträchtigt. Angesichts dieser Überlegungen könnte das Zusammenspiel der Ziele des Gesetzes die Berücksichtigung von Nutzenargumenten im Rahmen des Risikomanagements stützen, auch wenn der systematische Ansatz des KI-Gesetzes diese Auslegung zunächst nicht nahelegt.
Aus diesen Gründen schlägt der Beitrag einen zweistufigen Test zur Anwendung des in Artikel 9 Absatz 5 des KI-Gesetzes festgelegten Akzeptanzkriteriums vor. Dieser Test würde das Risiko-Nutzen-Modell als zusätzlichen Korrekturmechanismus zur Feinabstimmung des Risikomanagementprozesses nutzen. Im ersten Schritt des Tests müsste der Anbieter eine regelmässige Kosten-Nutzen-Analyse durchführen, einschliesslich der Opportunitätskosten, die durch die Massnahmen zur Risikominderung entstehen, welche den Nutzen des KI-Systems verringern. Risikomanagementmassnahmen sollten umgesetzt werden, solange die Grenzkosten niedriger sind als der Grenznutzen, der sich aus der Risikominderung ergibt. In einem zweiten Schritt müsste der Anbieter eines KI-Systems dann die Restrisiken gegen den Nutzen des KI-Systems abwägen. Dieser Verweis auf den Nutzen könnte in zwei Richtungen gehen. Man könnte zu dem Schluss kommen, dass gemäss Artikel 9 Absatz 5 des KI-Gesetzes risikoreiche KI-Systeme mit hohem gesellschaftlichem Nutzen und einem leicht höheren Restrisiko weiterhin als akzeptabel eingestuft würden, während KI-Systeme mit geringerem gesellschaftlichem Nutzen und vergleichbarem Restrisiko als inakzeptabel eingestuft würden.
4. Hybrider Ansatz für das Risikomanagement
In diesem Abschnitt wird näher darauf eingegangen, wie der entwickelte Risikomanagementansatz in der Praxis angewendet werden kann. Der Ansatz steht vor praktischen Herausforderungen, die in den folgenden Abschnitten ausführlich erörtert werden.
4.1. Festlegung der Schwelle für als akzeptabel eingestufte Risiken
Das erste praktische Hindernis für den vorgeschlagenen Risikomanagementansatz gemäss Artikel 9 KI-Gesetz ist die Festlegung der relevanten Akzeptanzschwelle, was eine anspruchsvolle Aufgabe sein kann. Dies ist notwendig, um einen Massstab für die KI-Entwicklung und das Training zu schaffen und schliesslich die Entscheidung darüber zu stützen, ob ein Restrisiko gemäss Artikel 9 Absatz 5 KI-Gesetz als akzeptabel gilt. Die Vielschichtigkeit der mit KI-Systemen verbundenen Risiken bedeutet, dass ein mehrdimensionales Problem gelöst werden muss. Die Tatsache, dass einige Risikovariablen potenziell negativ korrelieren, erschwert die Lösung dieses Problems zusätzlich. So ist es beispielsweise möglicherweise nicht möglich, die Risiken in Bezug auf Nichtdiskriminierung und Datenschutz gleichzeitig zu verringern oder zu beseitigen, da die Bekämpfung von Diskriminierungsproblemen unter Umständen einen verstärkten Einsatz von Personendaten erfordert. Daher muss die endgültige Beurteilung der Akzeptanz des gesamten Restrisikos den Vergleich mehrerer mehrdimensionaler Gleichgewichte beinhalten. Mit anderen Worten: Die beschriebenen Zielkonflikte müssen von Fall zu Fall gelöst werden.
Der mehrdimensionale Charakter der mit risikoreichen KI-Systemen verbundenen Risiken und die sich daraus ergebenden unvermeidbaren Abwägungen könnten auch erklären, warum die in Artikel 40 des KI-Gesetzes festgelegten harmonisierten Normen möglicherweise keinen allgemeinen Risikoschwellenwert für risikoreiche KI-Systeme festlegen oder allgemeine Leitlinien für dessen Festlegung liefern. Die von den europäischen Normungsgremien (CEN/CENELEC) gemäss Artikel 40 des KI-Gesetzes entwickelten harmonisierten Normen werden in der Praxis von grosser Bedeutung sein, da Anbieter von KI-Systemen mit hohem Risiko durch deren Einhaltung von der Konformitätsvermutung gemäss Artikel 40 Absatz 1 des KI-Gesetzes profitieren könnten.
Es ist jedoch unwahrscheinlich, dass die Normen und damit die Konformitätsvermutung (Artikel 40 Absatz 1 des KI-Gesetzes) den gesamten individuellen Risikomanagementprozess gemäss Artikel 9 des KI-Gesetzes abdecken werden. Insbesondere ist es unwahrscheinlich, dass die Normen den Unternehmen als Leitfaden für die Festlegung der beschriebenen Risikoschwellenwerte im Einzelfall dienen können. Es ist zu beachten, dass die Standards nur allgemeiner Natur sein werden, da das Standardisierungsersuchen der EU-Kommission (2023) lediglich abstrakte Fragen behandelt und sich nicht auf konkrete Anwendungsfälle von KI-Systemen mit hohem Risiko bezieht. Daher geht die Bereitstellung von Leitlinien zur Abwägung individueller Risiken und Vorteile über den Rahmen des Standardisierungsantrags hinaus. Dies steht im Einklang mit dem allgemeinen Ansatz bei der Festlegung von Standards, da diese spezifischen Fragen häufig aus Standards ausgeschlossen oder nur allgemein beschrieben werden.
Tatsächlich besteht sogar die Gefahr, dass die Festlegung eines spezifischen Bewertungsstandards zur Beschreibung der Risiken und Vorteile von KI-Systemen (beispielsweise im Hinblick auf Fairness) Bedingungen schaffen könnte, unter denen dieses Ziel in manchen Situationen erreicht wird, in anderen jedoch nicht. Der Grund dafür ist, dass es keine allgemein gültige und kontextunabhängige Definition der relevanten Risikoschwellenwerte gibt. Letztlich bedeuten die vielfältigen Interessen und der kontextspezifische Charakter der zugrunde liegenden Abwägungsfragen im Risikomanagement, dass diese nicht allein durch allgemeine Normen geregelt werden können. Dementsprechend ist davon auszugehen, dass die harmonisierten Normen weder die erforderliche Kosten-Nutzen-Analyse vollständig abdecken noch definitive Leitlinien für die Festlegung der relevanten Risikoschwellenwerte bieten werden.
Dies deutet darauf hin, dass Anbieter hinsichtlich ihrer Risikomanagementsysteme wahrscheinlich nicht von der Konformitätsvermutung gemäss Artikel 40 des KI-Gesetzes profitieren werden. Sie werden wahrscheinlich weiterhin einer individuellen gerichtlichen Überprüfung ihres Ansatzes beim Risikomanagement unterliegen, insbesondere hinsichtlich der Festlegung der einzelnen Risikoschwellenwerte.
4.2. Warum eine reine Quantifizierung von Risiken scheitert
Aus rechtsökonomischer Sicht mag die Entscheidung, ob der Risikomanagementansatz gemäss Artikel 9 des KI-Gesetzes qualitativ oder quantitativ sein sollte, auf den ersten Blick recht einfach erscheinen. Der grosse Vorteil eines rein quantitativen Ansatzes besteht darin, dass er bei korrekter Anwendung zu einem eindeutigen Ergebnis führen kann, obwohl das Risikomanagement die Lösung eines mehrdimensionalen Problems beinhaltet (siehe Abschnitt 4.1). Ein quantitativer Ansatz verspricht, die Rechtsunsicherheit zu verringern.
Bislang war es jedoch nicht möglich, im Risikomanagement einen rein quantitativen Ansatz zu verfolgen, da sich nicht alle relevanten Risiken vollständig quantifizieren lassen. Bei vielen Risiken scheitert die Quantifizierung bereits am Mangel an kontextspezifischen Daten oder technischen Messgrössen, was die Beurteilung der Leistung eines KI-Systems in einem bestimmten Kontext erschwert. Zudem beziehen sich die gemäss Artikel 9 des KI-Gesetzes zu berücksichtigenden Risiken auch auf gesellschaftliche Werte und Grundrechte. Laux et al. heben zu Recht hervor, dass die Abwägung dieser Rechte und Werte schwierige normative Fragen aufwirft. Obwohl bei der Quantifizierung und Automatisierung von grundrechtsbasierten Bewertungen beträchtliche Fortschritte erzielt wurden, lassen sich diese normativen Entscheidungen aufgrund ihres wertgeladenen und relativen Charakters nach wie vor nur schwer oder fast gar nicht quantifizieren und automatisieren. Bislang steckt die Quantifizierung und Automatisierung grundrechtsbasierter Bewertungen noch in den Kinderschuhen. Diese Ansätze sind noch nicht robust genug, um Risikoabwägungen auf der Grundlage gemeinsamer mathematischer Werte zu unterstützen. Daher wird das Risikomanagement gemäss Artikel 9 des KI-Gesetzes definitiv qualitative Analysen beinhalten. Diese Erkenntnis unterstreicht auch die wichtige Rolle des Menschen, insbesondere der Unternehmensleitung, im Risikomanagementprozess. Die oben genannten schwierigen normativen Fragen müssen in der Regel vom Leitungsgremium der jeweiligen Organisation entschieden werden.
Ein weiteres Argument gegen einen rein quantitativen Ansatz, das in der Literatur vorgebracht wurde, ist das Risiko strategischen Verhaltens. Dies mag auf den ersten Blick kontraintuitiv erscheinen, da man annehmen könnte, dass die Verwendung einer bestimmten quantitativen Metrik den potenziellen Handlungsspielraum der beteiligten Akteure einschränken und letztlich zu weniger opportunistischem Verhalten führen würde. Angesichts der Komplexität und Mehrdimensionalität der Risikomanagementaufgabe (siehe Abschnitt 4.1) argumentieren Gornet und Maxwell sowie Aivodji et al. jedoch für das Gegenteil. Sie verweisen auf das Risiko, dass Anbieter sich ausschliesslich auf günstige quantitative Kennzahlen stützen, während viele andere möglicherweise auf diskriminierende Effekte hinweisen. Dies könnte zu einer Form von «Metrics Shopping» oder «Fairness Hacking» führen. Ähnlich wie beim bekannten Problem des «Forum-Shoppings» könnten Akteure einen Anreiz haben, technische Kennzahlen auszuwählen, die ihrem Geschäftsmodell entsprechen. Obwohl sowohl qualitative als auch quantitative Ansätze das Risiko opportunistischen Verhaltens bergen, könnte dieses Risiko bei letzteren potenziell noch höher sein, insbesondere angesichts des anhaltenden Mangels an Konsens darüber, wie einzelne Risiken zu quantifizieren sind. Die vermeintliche Klarheit quantitativer Ergebnisse könnte es Regulierungsbehörden mit weniger technischem Fachwissen erschweren, die Ergebnisse in Frage zu stellen. Umgekehrt könnte eine qualitative Beurteilung auf der Grundlage nachvollziehbarer Kriterien, die mehrere Kennzahlen einer Risikokategorie berücksichtigt, diesem Bedenken bis zu einem gewissen Grad entgegenwirken.
4.3. Die Notwendigkeit eines hybriden Ansatzes
Aus den im vorigen Abschnitt dargelegten Gründen wäre es sinnvoll, einen hybriden Ansatz für das Risikomanagement in Betracht zu ziehen. Der erste Schritt bestünde darin, so viele Risiken wie möglich anhand mehrerer vordefinierter Bewertungskennzahlen zu quantifizieren, die verschiedene Faktoren innerhalb einer Risikokategorie berücksichtigen. Dies würde sicherstellen, dass Risiken aus unterschiedlichen theoretischen Perspektiven betrachtet werden, wodurch eigennütziges Verhalten unattraktiv gemacht würde. Zusätzlich sollten für jedes Risiko qualitative Argumente gesammelt werden, wobei der Fokus insbesondere auf möglichen Abwägungen zwischen verschiedenen Risikokennzahlen liegen sollte. Darüber hinaus sollten alle Risiken, die sich nicht quantifizieren lassen, mithilfe anerkannter Methoden wie Risikokartierung, Checklisten und Risikomatrizen detailliert erläutert werden. Dies maximiert die Transparenz für die anschliessende Entscheidung über die Akzeptanz jedes geschätzten Risikos und des gesamten Restrisikos. Der zweite Schritt betrifft die endgültige Entscheidung über die Akzeptanz eines Risikos. Bei dieser Entscheidung sollten alle relevanten qualitativen und quantitativen Kriterien sowie Hinweise auf spezifische Risiko-Abwägungen berücksichtigt werden. Der Anbieter eines KI-Systems mit hohem Risiko müsste dann erläutern und dokumentieren, warum und wie bestimmte Risikoabwägungen und normative Entscheidungen getroffen wurden. Dies stellt schlussendlich sicher, dass die Mehrdimensionalität des Risikomanagementproblems sowie die schwierigen normativen Entscheidungen unter Zugrundelegung aller relevanten Informationen getroffen, dokumentiert und vom Leitungsgremium der jeweiligen Einrichtung überwacht werden.
5. Probleme der nachträglichen Beurteilung
Es gibt auch praktische Herausforderungen bei der Anwendung eines ausgewogenen und innovationsfreundlichen Risikomanagement-Rahmens gemäss Artikel 9 des KI-Gesetzes im Hinblick auf die behördliche und gerichtliche Überprüfung. Aus verhaltensökonomischer Sicht könnte die Normstruktur von Artikel 9 des KI-Gesetzes die Entstehung der sogenannten «Hindsight Bias» und «Outcome Bias» im Zusammenhang mit einer nachträglichen Beurteilung von Risikomanagementmassnahmen durch Aufsichtsbehörden und Gerichte begünstigen.
5.1. Der «Hindsight Bias» verzerrt die nachträgliche Überprüfung
Das Problem der «Hindsight Bias» bezieht sich auf die Erkenntnis, dass Menschen dazu neigen, die Eintrittswahrscheinlichkeit von Ereignissen, die ex ante sehr unwahrscheinlich waren, bei der ex-post-Betrachtung systematisch zu überschätzen. Das Phänomen ist besonders ausgeprägt bei prognostischen Entscheidungen, da diese zwangsläufig eine ex-ante-Entscheidung unter Unsicherheit beinhalten. Bei der Anwendung rechtlicher Normen kann dies dazu führen, dass Behörden und Gerichte systematisch einen übermässig strengen Prüfmassstab anwenden.
Angesichts dieser Erkenntnisse lässt sich schlussfolgern, dass das KI-Risikomanagement im Allgemeinen und Artikel 9 des KI-Gesetzes im Besonderen anfällig für Probleme im Zusammenhang mit der «Hindsight Bias» sein können, da die Norm auf zwei prognostischen Entscheidungen beruht. Dies gilt sowohl für die Beurteilung, ob ein Risiko vernünftigerweise vorhersehbar war, als auch dafür, ob es akzeptabel war. Diese beiden prognostischen Entscheidungen sind naturgemäss mit erheblicher Unsicherheit behaftet, was bereits eine «Hindsight Bias» auslösen kann. Zudem kann dieser Effekt regelmässig durch zwei Besonderheiten des KI-Risikomanagements verstärkt werden.
5.2. Ergebnisverzerrung
Die erste zusätzliche Sorge betrifft eine damit verbundene kognitive Heuristik, die als Ergebnisverzerrung bezeichnet wird. Baron und Hershey stellten fest, dass Menschen dazu neigen, die Qualität einer Entscheidung eher anhand des Ergebnisses zu beurteilen als anhand der Umstände, die ex ante zu dieser Entscheidung geführt haben. Dies kann dazu führen, dass ein schwerwiegender Vorfall fälschlicherweise als Folge von ex-ante-Fehlverhalten interpretiert wird. Dies wird noch dadurch verstärkt, dass Regulierungsbehörden und Gerichte oft nicht über das erforderliche technische Fachwissen verfügen, um die zugrunde liegenden Fragen der Risikobestimmung und -minderung im KI-Risikomanagement zu verstehen. Der Mangel an Fachwissen führt oft dazu, dass noch weniger verstanden wird, dass ein schädliches Ergebnis aus einer Ex-ante-Perspektive möglicherweise nicht auf unsachgemässes Management zurückzuführen ist. Beispielsweise kann es insbesondere Richtern aufgrund mangelnden Verständnisses von Technologie und Management schwerfallen zu akzeptieren, dass die Risikobewertung und die Beurteilung der Akzeptanz der von KI-Systemen ausgehenden Risiken nicht fehlerhaft waren, wenn sich zu einem späteren Zeitpunkt ein erhebliches Risiko materialisiert.
5.3. Unbekannte Unbekannte
Die zweite zusätzliche Sorge bezieht sich auf das Problem, dass Regulierungsbehörden und Gerichte möglicherweise noch grössere Schwierigkeiten haben, zu akzeptieren, dass manche KI-bezogenen Risiken überhaupt nicht vorhersehbar waren, insbesondere wenn sie katastrophaler oder zumindest sehr schädlicher Natur sind. In der informatikwissenschaftlichen Literatur zur KI ist bekannt, dass es sogenannte «unbekannte Unbekannte» gibt. Damit wird das Phänomen beschrieben, dass die Entwicklung und der Einsatz neuer Technologien, wie beispielsweise KI-Systeme, oft zu überraschenden und völlig unvorhergesehenen Ergebnissen führen. Diese «unbekannten Unbekannten» sind Ereignisse, die im Voraus nicht vorhergesehen werden können, selbst wenn erhebliche Investitionen in die Risikoidentifizierung getätigt wurden. Diese Risiken liegen ausserhalb des Bereichs des Vorabwissens, da sie mit dem derzeitigen technischen Fachwissen in der Regel nicht erkannt werden können oder weil schlichtweg unbekannt ist, dass bestimmte kausale Zusammenhänge überhaupt existieren.
Das Vorhandensein «unbekannter Unbekannter» ist bei KI-Systemen aufgrund des «Black-Box-Problems» besonders ausgeprägt: Die genaue Wirkungsweise von KI-Systemen entzieht sich oft sogar dem Verständnis der Entwickler. In solchen Situationen besteht für Anbieter keine Möglichkeit, aus einer Ex-ante-Perspektive konkrete, gezielte Massnahmen zu ergreifen. Regulierungsbehörden und Richter könnten es jedoch aus einer Ex-post-Perspektive schwer glauben, dass bestimmte Risiken schlichtweg unvorhersehbar waren, insbesondere wenn sie zu äusserst schädlichen Situationen führen. In solchen Fällen ist es daher höchst wahrscheinlich, dass die Einrede, ein Risiko sei vernünftigerweise nicht vorhersehbar gewesen, nicht akzeptiert wird.
Dies könnte zu unverhältnismässigen Haftungsrisiken für Anbieter risikoreicher KI-Systeme führen und sie dazu veranlassen, die Rückblick- und Ergebnisverzerrung von Regulierungsbehörden und Gerichten zu antizipieren. In Erwartung dessen könnten sie übermässig vorsichtig handeln, was dazu führen könnte, dass sie von gesellschaftlich wünschenswerten KI-Innovationen Abstand nehmen.
5.4. Lösungen
Lösungen zur Milderung der Probleme der Rückblick- und Ergebnisverzerrung bei der nachträglichen Beurteilung lassen sich möglicherweise aus dem Gesellschaftsrecht ableiten. In diesem Rechtsbereich steht die Rückblickverzerrung im Zusammenhang mit der Frage der Haftung des Verwaltungsrats. Letztlich sollte die Anwendung der Business Judgment Rule (BJR) verhindern, dass Gerichte bei der nachträglichen Beurteilung der Angemessenheit von Managemententscheiden einen übermässig strengen Massstab anlegen. Die BJR wurde ursprünglich im US-Gesellschaftsrecht entwickelt, wurde aber inzwischen von Rechtsordnungen auf der ganzen Welt übernommen.
5.4.1. Hintergrund der Business Judgment Rule
Letztendlich zielt die BJR darauf ab, Situationen zu regeln, in denen Gerichte eine unter Ex-ante-Unsicherheit getroffene Geschäftsentscheidung beurteilen müssen. Sie soll die Grundlage der Entscheidungsbeurteilung ändern, indem sie der Natur der nachträglichen Bewertung Rechnung trägt. Folglich sollte nicht mehr das Ergebnis einer Entscheidung der entscheidende Faktor sein, sondern vielmehr, ob die Entscheidung in gutem Glauben, im besten Interesse der Gesellschaft und auf der Grundlage ausreichender Informationen getroffen wurde. All dies sind Kriterien, die von Richtern wesentlich leichter beurteilt werden können, da sie keine Prognosen anstellen müssen, die durch den Rückblick und Ergebnisverzerrungen beeinflusst werden könnten. Das Ziel der BJR besteht darin, Unternehmensleitern zu ermöglichen, notwendige Risiken einzugehen, um das volle Potenzial ihres Unternehmens auszuschöpfen und risikobezogene Vorteile zu erzielen. Dies dürfte letztendlich zu insgesamt besseren Produkten oder Dienstleistungen sowie zu einer innovativeren Gesellschaft führen.
Aus diesem Grund wird der BJR zu Recht sowohl als materielle Haftungsregel als auch als wichtiges verfahrensrechtliches Instrument zur Bewältigung von Situationen mit nachträglicher Einsicht bei der Beurteilung durch Gerichte angesehen. So bezeichnet Bainbridge den BJR beispielsweise als Theorie der Enthaltung. Branson argumentiert hingegen, dass die BJR eher einen Prüfungsmassstab als einen rein materiell-rechtlichen Massstab darstellt. Diese Ansätze machen deutlich, dass die BJR mehr als nur Haftungsgrundsätze umfasst. Aus wirtschaftlicher Sicht dient die BJR im Wesentlichen dazu, die gerichtliche Überprüfung von Entscheidungen, die in unsicheren Situationen getroffen wurden, einzuschränken.
5.4.2. Warum die Logik der Business Judgment Rule auf das KI-Risikomanagement anwendbar ist
Auch wenn die endgültige Schlussfolgerung hinsichtlich des Charakters der BJR umstritten ist, insbesondere im Kontext des europäischen Gesellschaftsrechts, bleibt die Tatsache bestehen, dass die theoretischen und ökonomischen Grundlagen der BJR auch auf einem verfahrensrechtlichen Leitprinzip beruhen, das auf das Risikomanagement gemäss Artikel 9 des KI-Gesetzes übertragen werden kann. Es wird vorgeschlagen, dass trotz der offensichtlichen fehlenden direkten Vergleichbarkeit zwischen der BJR und dem Risikomanagement gemäss Artikel 9 des KI-Gesetzes einige Aspekte dieses Grundsatzes erfolgreich auf das Risikomanagement angewendet werden können.
Zunächst einmal gilt das BJR direkt nur für Geschäftsentscheide der Geschäftsleitung, die die Gesellschaft selbst betreffen. Im Gegensatz dazu ist die Risikomanagementbestimmung in Artikel 9 des KI-Gesetzes eine gesetzliche Verpflichtung, die darauf abzielt, Dritte zu schützen, nicht nur das betroffene Unternehmen. Das BJR wurde ursprünglich nicht für Situationen entwickelt, an denen Dritte beteiligt sind, und es ist auch nicht dafür gedacht, auf gesetzliche Verpflichtungen anzuwenden, die im Allgemeinen als eindeutig gelten und daher nicht mit Geschäftsentscheiden vergleichbar sind.
Trotz dieser dogmatischen Unterschiede sind die verfahrensrechtlichen Fragen bezüglich des Risikos von Rückblick- und Ergebnisverzerrungen für das KI-Risikomanagement und für Managemententscheide, die vom BJR-Privileg profitieren, im Wesentlichen identisch. In beiden Situationen ist das Leitungsorgan verpflichtet, äusserst unsichere Entscheide zu treffen, die potenzielle «unbekannte Unbekannte» und Abwägungen beinhalten. Auch wenn sich einige dogmatische Besonderheiten des BJR unterscheiden mögen, bleibt daher die allgemeine Notwendigkeit bestehen, die Befugnisse von Regulierungsbehörden und Gerichten einzuschränken, Entscheidungen, die unter Unsicherheit getroffen wurden, im Nachhinein zu hinterfragen.
Folglich schliesst die Einstufung der Risikomanagementpflicht gemäss Artikel 9 als eine Rechtspflicht, die Dritte betrifft, die Anwendung der grundlegenden BJR-Prinzipien nicht aus, da die zugrunde liegenden verfahrensrechtlichen Interessen sehr ähnlich sind.
5.4.3. Prüfmassstab für die nachträgliche Beurteilung des KI-Risikomanagements
Unter Berücksichtigung der grundlegenden Kriterien der BJR könnten einige Elemente des rechtlichen Tests der BJR problemlos angewendet werden, um die Ex-post-Beurteilung von Risikomanagemententscheiden gemäss Artikel 9 des KI-Gesetzes zu leiten. Insbesondere sollten Regulierungsbehörden und Gerichte nicht das Ergebnis eines Risikomanagemententscheids beurteilen, sondern vielmehr prüfen, ob die Geschäftsleitung nach Treu und Glauben und auf der Grundlage fundierter Informationen gehandelt hat.
Erstens würde der Verweis auf die Treu und Glauben-Prinzip Fälle ausschliessen, in denen Anbieter in ihrem eigenen Interesse handelten, indem sie sich am in Abschnitt 4.2 beschriebenen «Metrics Shopping» beteiligten. Um dieser Verpflichtung nachzukommen, müsste der Anbieter detailliert darlegen, wie und warum bestimmte quantitative Kennzahlen für die Beurteilung ausgewählt wurden und in welchem Zusammenhang diese mit anderen Kennzahlen stehen (siehe Abschnitt 4.2).
Zweitens ist es für Aufsichtsbehörden und Gerichte einfacher, die Anforderung, auf einer ausreichenden Informationsgrundlage zu entscheiden, im Nachhinein zu beurteilen. Es können objektive Kriterien angewendet werden, um festzustellen, ob die Informationsgrundlage ausreichend war, und die Aufsichtsbehörden und Gerichte benötigen nicht dasselbe technische und betriebswirtschaftliche Fachwissen, wie es der Fall wäre, wenn sie die Risikomanagemententscheidung selbst bewerten müssten. In diesem Zusammenhang sollten die Aufsichtsbehörden und Gerichte auch die allgemeinen Bemühungen des Unternehmens im Bereich der KI-Governance berücksichtigen. Sie sollten beurteilen, ob die Organisationsstruktur so ausgelegt ist, dass relevante Informationen effektiv verarbeitet werden können, und ob die Risikomanagementaufgaben innerhalb des Unternehmens angemessen geregelt sind. Das bedeutet, dass das Unternehmen nachweisen müsste, dass es wirksame KI-Governance-Strukturen eingerichtet hat, denn nur dann lässt sich schlussfolgern, dass die endgültige Entscheidung über die Vorhersehbarkeit und Akzeptanz von Risiken auf ausreichenden Informationen beruhte. Daher sollte die Notwendigkeit, wirksame KI-Governance-Strukturen zu etablieren, direkt mit der vorgeschlagenen Informationspflicht verknüpft werden.
Neben den Governance-Strukturen für KI ist eine detaillierte Dokumentation des Risikomanagementprozesses unerlässlich, um die Informationspflicht zu erfüllen. Denn die Dokumentation ermöglicht es den Prüfern, die Gründe für die getroffenen Entscheidungen nachzuvollziehen. Daher sollten sich Behörden und Gerichte bei der Überprüfung einer Risikomanagemententscheidung auf die Dokumentation des Unternehmens konzentrieren. Dies unterstreicht den Zusammenhang zwischen Artikel 9 des KI-Gesetzes und der Dokumentationspflicht gemäss Artikel 11 Absatz 1 sowie Anhang IV des KI-Gesetzes. Die zentrale Aufgabe der Aufsichtsbehörden bestünde dann darin, zu überprüfen, ob ausreichende Informationen zu den einzelnen Verfahrensschritten im Risikomanagementprozess erhoben wurden und ob diese Informationen angemessen in die Risikobewertung einfliessen.
6. Schlussfolgerung
Das Risikomanagement ist ein Schlüsselelement der KI-Governance, weshalb Artikel 9 des KI-Gesetzes eine zentrale Rolle bei der Gewährleistung der Einhaltung des KI-Gesetzes spielen wird. In diesem Beitrag wurde aufgezeigt, dass ein rechts- und wirtschaftswissenschaftlicher Ansatz beim Risikomanagement im Bereich der KI – insbesondere im Hinblick auf Artikel 9 des KI-Gesetzes – in vielerlei Hinsicht von Vorteil sein könnte.
Da die durch Artikel 9 aufgeworfenen rechtlichen Fragen nicht allein durch technische Standards abschliessend gelöst werden können, lassen sich Kosten-Nutzen- und Risiko-Nutzen-Analysen für Zwecke des Risikomanagements heranziehen. Darüber hinaus erscheint ein hybrider Ansatz für das Risikomanagement, der quantitative und qualitative Analysen kombiniert, vorteilhaft, da er den Anreiz für eigennütziges Verhalten verringert und gleichzeitig den spezifischen Anforderungen des Grundrechtsschutzes Rechnung trägt.
Was das Risiko von Rückblick- und Ergebnisverzerrungen bei der nachträglichen Beurteilung betrifft, könnten die Grundprinzipien des BJR trotz theoretischer Unterschiede auf Entscheidungen zum KI-Risikomanagement angewendet werden. Um Rückblick- und Ergebnisverzerrungen zu vermeiden, sollten Regulierungsbehörden und Gerichte prüfen, ob die Geschäftsleitung bei einer Risikomanagemententscheidung in gutem Glauben und auf der Grundlage ausreichender Informationen gehandelt hat, anstatt das Ergebnis dieser Entscheidung zu beurteilen. Dabei wäre zu prüfen, ob innerhalb der betreffenden Organisation eine robuste und ausreichende KI-Governance-Struktur eingerichtet wurde.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Übersetzung Boris Wanzeck, Swiss Infosec AG
Göhsl J-F. AI risk management – A law and economics perspective. Cambridge Forum on AI: Law and Governance. 2026;2:e6.
Doi:10.1017/cfl.2026.10042
https://creativecommons.org/licenses/by/4.0/deed.en
KI-Governance, Security und Privacy
Unsere KI-, Governance-, Datenschutz- und Security-Spezialisten begleiten Sie bei der Erstellung der übergeordneten firmeninternen KI-Vorgaben, bei der Abwicklung von KI-Projekten, bei der Klärung von Einzelfragen und der Durchführung unabhängiger Audits. Ebenfalls unterstützen sie Organisationen in ihrer Rolle als Nutzer/Betreiber, Anbieter oder Entwickler von KI-Systemen sowohl nach Schweizer Recht als auch gemäss dem EU-AI Act.
Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch