01/2026
Die Entwicklung KI-basierter Technologien schreitet mit rasanter Geschwindigkeit voran. Die Fähigkeiten von Programmen wie beispielsweise dem Textgenerator ChatGPT sind beeindruckend. Was die Gesellschaft im Moment erlebt, ist jedoch erst der Anfang einer umfassenden technischen Revolution. Vieles davon steckt noch in den Kinderschuhen. Es gilt schon jetzt zu bedenken, dass in dieser Entwicklung nicht nur Chancen liegen. Bei der Automatisierung und Vereinfachung von Routineentscheidungen gibt es stets auch Risiken. Im folgenden Beitrag soll dargestellt werden, welche Risiken in der Praxis vorhanden sind, welche regulatorischen Anforderungen es hierfür gibt und wie KI-Systeme klassifiziert werden können. Schlussendlich ist eine umfassende KI-Governance notwendig, um Risiken zu steuern.
KI-basierte Systeme in der Praxis
In der Öffentlichkeit bekannte Vorfälle, die mit dem Einsatz von KI-Systemen zusammenhängen, offenbaren die damit verbundenen Risiken.
Wer ist verantwortlich, wenn die Leistungsfähigkeit der neuen Technologien überschätzt wird? Wer haftet bei tödlichen Unfällen, die autonom fahrende Autos verursachen? Welche Image- und Reputationsschäden können durch fehlerhafte Systeme entstehen?
Nimmt man als Beispiel ein Unternehmen, das bereits ein KI-Recruiting-System implementiert hat, welches Curricula Vitae scannte und die sogenannten besten Profile identifizierte, und dessen Nutzung nach einer kurzen Testphase wieder einstellte. Es wurde schnell klar, dass die KI (Künstliche Intelligenz) eine diskriminierende Voreingenommenheit (Bias) gegenüber Frauen aufwies.
In der Funktionsweise der zugrunde liegenden Algorithmen findet sich der Grund dieser Fehlfunktionen. Diese müssen für ihren spezifischen Einsatz trainiert werden. Hierzu greift man auf historische Daten zurück, in denen das Bias bereits angelegt sein kann, die aber auch fehlerhaft oder urheberrechtlich geschützt sein könnten. Im Fall der genannten Recruiting-KI wurde diese auf Basis von Bewerbungen der letzten zehn Jahre trainiert. Die meisten davon stammten von Männern, sodass der Algorithmus lernte, dass das Geschlechtsmerkmal „Mann“ ein gutes Einstellungskriterium wäre.
Ein weiteres Beispiel ist ein Twitter-Chatbot, der nach nur 16 Stunden abgeschaltet werden musste, weil er nach dem Feedback und dem Umgang mit den Nutzenden den eigenen Sprachgebrauch angepasst hatte und plötzlich rassistische und diskriminierende Formulierungen benutzte. Das Problem war, dass die Anpassung des Chatbots ohne steuernde Komponente ablief.
Regulatorische Perspektive
Aus der regulatorischen Perspektive gibt es derzeit auf drei Ebenen maßgebliche Entwicklungen: im Rahmen internationaler Abkommen, auf der europäischen Ebene sowie der nationalen Ebene.
Die Global Partnership on Artificial Intelligence (GPAI) wurde im Jahr 2020 gegründet. Zentrales Anliegen ist der Einklang von KI mit Menschenrechten und demokratischen Werten, um das Vertrauen der Öffentlichkeit in die Technologie zu gewährleisten, wie in den OECD-Grundsätzen für künstliche Intelligenz dargelegt. Die Rechtsprechung der jeweiligen Länder ist für eine Auslegung verantwortlich.
Der EU AI Act ist ein EU-übergreifender Ansatz zur Regulierung von KI-Anwendungen. Ziel des Gesetzes ist es, ein rechtliches Rahmenwerk für den Einsatz von KI in der EU zu schaffen und gleichzeitig den Schutz der Bürgerrechte sowie die Förderung von Innovation und Vertrauen in diese Technologien sicherzustellen. Derzeit befindet sich der Vorschlag noch in der Verhandlung und Anpassung innerhalb der EU-Institutionen.
Der IDW (Institut der Wirtschaftsprüfer) PS861 liefert das relevante KI-Rahmenwerk auf deutscher Ebene. Der Standard mit klar definierten Anforderungen zur Prüfung künstlicher Intelligenz stellt eine gute Vorbereitung auf den EU AI Act dar, weil er die Inhalte aufgreift und Unternehmen damit hilft, KI-Systeme nach gültiger Rechtslage zu implementieren.
Bewertung eines KI-Systems nach dem EU AI Act
Zu Beginn steht im Unternehmen die Evaluierung der Identifikation von KI-Systemen. Der EU AI Act verfolgt einen risikobasierten Ansatz und kategorisiert KI-Systeme in verschiedene Risikostufen, um die Anforderungen an diese Systeme zu definieren:
- Unzulässiges Risiko
- Hohes Risiko
- Begrenztes Risiko
- Geringes Risiko
Unzulässiges Risiko
KI-Systeme, die als zu gefährlich erachtet werden, sind vollständig verboten. Hierzu zählen KI-Systeme, die dazu bestimmt sind, menschliches Verhalten unterschwellig nachteilig zu beeinflussen oder zur Ausnutzung von Schwächen schutzbedürftiger Personen. Darüber hinaus ist der Einsatz von KI-Systemen zur Bewertung oder Klassifizierung von Vertrauenswürdigkeit natürlicher Personen durch oder im Auftrag von Behörden untersagt. Ebenfalls ist der Einsatz von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken grundsätzlich untersagt.
Hohes Risiko
KI-Systeme, die bedeutende Auswirkungen auf die Sicherheit oder Grundrechte von Menschen haben könnten, unterliegen strengen Anforderungen. Insbesondere, wenn solche Systeme als Komponenten von Produkten zum Einsatz kommen. Das Ausmaß der negativen Auswirkungen des KI-Systems auf die durch die Charta der Grundrechte der Europäischen Union geschützten Rechte ist bei der Einstufung eines KI-Systems von besonderer Bedeutung. Der EU AI Act stellt hohe Anforderungen an die Gestaltung und die Nutzung dieser Systeme. Diese umfassen:
- Qualitätsanforderungen an die Datengrundlage (Daten-Governance)
- Hohe Anforderungen an die Genauigkeit und Sicherheit inklusive Cybersicherheit
- Transparente Funktionsweise und Interpretierbarkeit der Ergebnisse
- Technische Dokumentation und automatisierte Protokollierung des Betriebs
- Betrieb von Qualitäts- und Risikomanagementsystemen sowie Einhaltung von Marktbeobachtungspflichten
- Umfangreiche Aufzeichnungs‑, Dokumentations- und Protokollierungspflichten
- Sicherstellung menschlicher Aufsichtsmöglichkeiten
Grundsätzlich sollten diese Systeme mit der CE-Kennzeichnung versehen sein, aus der die Konformität mit dem EU AI Act hervorgeht. Hierzu gehört auch die angestrebte Registrierung von Hochrisiko-KI-Systemen in einer EU-Datenbank. Schwerwiegende Vorfälle und Fehlfunktionen sollen zukünftig einer Meldepflicht unterliegen.
Begrenztes und geringes Risiko
Die KI-Systeme dieser Kategorie unterliegen weniger strengen Anforderungen. Anbieter dieser Systeme sollen jedoch angehalten werden, Verhaltenskodizes zu erstellen und ermutigt werden, eine freiwillige Einstufung als System mit hohem Risiko durchzuführen. Der EU AI Act fordert, dass auch diese KI-Systeme sicher sein müssen.
Identifikation und Klassifikation von KI-Risiken
Damit ein verantwortungsvoller und effizienter Einsatz von KI-basierten Lösungen in Unternehmen erfolgen kann, sollte das Management eine umfassende KI-Governance zur Steuerung von Risiken implementieren. Die Governance von KI unterscheidet sich grundlegend zur herkömmlichen IT-Governance. Am Beispiel des Falls eines Monitorings stellt sich bei herkömmlichen IT-Systemen lediglich die Frage: Läuft das System oder nicht? Bei KI-Systemen muss neben dieser Frage ebenfalls geklärt werden: Was passiert inhaltlich? Welche Entwicklung nimmt es an? Hat es ein Bias entwickelt? Aus diesem Grund sollten weitere spezifische KI-Risiken identifiziert und klassifiziert werden. Diese sind im Folgenden aufgelistet:
- Informationsrisiko
Stimmen die erzeugten Ausgaben des KI-Systems? Muss das Modell gegebenenfalls an die Realität angepasst werden? Verhält es sich in einer realen Welt ebenso wie beim Training im Labor?
- Haftungsrisiko
Wer haftet für Entscheidungen, an denen KI-Systeme direkt oder indirekt beteiligt waren? Welche Strafen sind für eine nicht ausreichende KI-Governance zu befürchten?
- Ausfallrisiko
Welche Konsequenzen hätte es, wenn die KI einem Cyberangriff zum Opfer fällt und abgeschaltet werden muss?
- Reputationsrisiko
Folgen alle Einsatzzwecke von KI-Systemen ethischen Standards? Werden bestimmte Gruppen durch KI diskriminiert?
- Datenrisiko
Welche Urheberrechte oder sonstigen Schutzrechte müssen bei der Nutzung der Daten betrachtet werden und wie vererben sich die Rechte in die KI und ihre Ergebnisse? Werden alle Vorschriften des Datenschutzes eingehalten?
Schlussendlich benötigt es eine umfassende und einheitliche Betrachtungsweise, bei der alle Aspekte einbezogen werden. Angefangen beim Anwendungsfall über die Daten und Modelle bis hin zu den verwendeten Systemen und Schnittstellen.
Insbesondere im Management gilt es zu fragen, für welche Einsatzzwecke KI-Lösungen überhaupt geeignet sind und welche Rahmenbedingungen dafür gelten. Die Governance von KI sollte hier zu einem primären Anliegen auf der Agenda der Entscheidenden werden, um Compliancerisiken zu vermeiden. Noch mehr als bei bisherigen konventionellen Anwendungsfällen ist bei KI-Lösungen absehbar, dass die Komplexität zu- und die Transparenz und Nachvollziehbarkeit der Ergebnisse abnehmen wird. Gleichermaßen sollten die Auswirkungen, die autonome Systeme auf Prozesse und die Verkürzung von Entscheidungswegen haben, genau analysiert werden. Ebenso sind rechtliche Fragestellungen hinsichtlich der Datengrundlage sowie des Verwendens von Ergebnissen nicht abschließend geklärt.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Deistler, N. Risiken, Regulierung und Evaluierung von KI-Systemen. Wirtsch Inform Manag (2025).
https://doi.org/10.1365/s35764-025-00560-7
http://creativecommons.org/licenses/by/4.0/deed.de
KI-Governance, Security und Privacy
Unsere KI-, Governance-, Datenschutz- und Security-Spezialistinnen und -Spezialisten unterstützen Sie beim verantwortungsvollen Einsatz von Künstlicher Intelligenz – von der KI-Governance und Risikobewertung bis zur Umsetzung regulatorischer Anforderungen nach Schweizer Recht und dem EU AI Act.
Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch
Hier geht’s zum unserem Angebot: