Ethische, rechtliche und gesellschaftliche Implikationen
08/2026
1 Einleitung
Text- und Bildgeneratoren auf Basis künstlicher Intelligenz (KI), die auf gross angelegten Machine-Learning-Modellen basieren, haben sich rasch verbreitet. Diese generativen KI-Systeme können autonom menschenähnliche Inhalte erzeugen, die von flüssigem Text bis hin zu fotorealistischen Bildern reichen. Ihre weitverbreitete Nutzung geht mit wachsenden Bedenken hinsichtlich Missbrauch und schädlicher Ergebnisse einher. Um diese Risiken zu mindern, implementieren KI-Entwickler in der Regel Inhaltsfilter und Nutzungsrichtlinien, die das Verhalten des Modells einschränken – beispielsweise indem sie es daran hindern, Hassreden, explizit illegale Anweisungen oder andere problematische Inhalte zu erzeugen. Nutzer, die über beispielsweise eine Chatbot-Schnittstelle mit generativer KI interagieren, sollen ausschliesslich Antworten erhalten, die mit den ethischen und Sicherheitsrichtlinien des Anbieters im Einklang stehen.
Es ist jedoch eine neue Klasse von adversarialen Techniken entstanden, um diese Systeme zu «jailbreaken» – also ihre integrierten Sicherheitsvorkehrungen zu übergehen oder zu umgehen. Ein «Jailbreak-Prompt» ist eine sorgfältig ausgearbeitete Eingabe, die die Schwachstellen des Modells bei der Befolgung von Anweisungen ausnutzt und es dazu bringt, seine Sicherheitsanweisungen zu ignorieren und Ergebnisse zu erzeugen, die es normalerweise ablehnen würde. Es hat sich gezeigt, dass viele beliebte generative KI-Modelle durch geschickt formulierte Prompts oder angehängte Textfragmente zu unzulässigem Verhalten verleitet werden können. So haben Nutzer beispielsweise fortschrittliche Chatbots dazu gebracht, private Daten preiszugeben, Hassreden zu generieren oder illegale Anweisungen (wie Anleitungen zum Bombenbau oder Malware-Code) bereitzustellen, indem sie deren Sicherheitsmassnahmen umgingen. Die Verbreitung dieser «Jailbreaks» deutet auf eine grundlegende Sicherheitsschwäche in KI-Systemen hin.
Entwickler haben promptbasierte Exploits mit einer Form des Hackens der Steuerungsmechanismen der KI verglichen. Die EU-KI-Verordnung, die am 1. August 2024 in Kraft trat, identifiziert «die Umgehung von Sicherheitsmassnahmen (Jailbreaking)» ausdrücklich als ein Bedrohungsszenario, gegen das sich KI-Anbieter schützen müssen – insbesondere in Erwägungsgrund 115 und Artikel 15, die vorschreiben, dass hochriskante KI-Systeme und Allzweck-KI-Modelle robust gegen feindliche Manipulationen sein müssen. Im Gegensatz zu herkömmlichen Cyberangriffen, die auf Softwarecode oder die Netzwerkinfrastruktur abzielen, zielen KI-Jailbreaks auf die Inhaltsebene von KI-Systemen ab – indem sie die Eingaben und gelernten Muster des Modells manipulieren, um dessen normative Ausrichtung zu untergraben. Dennoch können die durch erfolgreiche KI-Jailbreaks ermöglichten realen Schäden mit denen traditioneller Cyberkriminalität vergleichbar sein oder diese sogar noch verschärfen. Indem sie KI-Systeme dazu bringen, auf Abruf gefährliche Inhalte zu generieren, können böswillige Akteure Straftaten begünstigen, die von der Produktion illegaler Propaganda bis hin zu ausgeklügelten Betrugsdelikten in beispiellosem Ausmass reichen.
Dieser Artikel untersucht generative KI-Jailbreaks als aufkommende Cyberbedrohung, die eine interdisziplinäre Reaktion erfordert. Zunächst skizzieren wir, was KI-Jailbreaks sind und warum generative Modelle dafür anfällig sind. Anschliessend untersuchen wir die ethischen Implikationen von KI-Systemen, die zu schädlichem Verhalten manipuliert werden können, einschliesslich Fragen der Verantwortung und des Vertrauensverlusts. Anschliessend bewerten wir gesellschaftliche Risiken wie die Verbreitung von Desinformation und andere böswillige Anwendungen, die die Sicherheit und die Demokratie beeinträchtigen könnten. Im Kern des Artikels wird die rechtliche Lage analysiert – wie bestehendes Strafrecht auf diejenigen angewendet werden könnte, die «Jailbreaks» erstellen oder nutzen, und wie neue EU-Regulierungsinstrumente die Sicherheit und den Missbrauch von KI regeln. Wir konzentrieren uns auf den europäischen Kontext und prüfen Instrumente wie die Richtlinie über Netz- und Informationssicherheit (NIS2), den Digital Operational Resilience Act (DORA), den Cyber Resilience Act (CRA) und den AI Act auf relevante Bestimmungen. Schliesslich erörtern wir mögliche Strategien zur Minderung von Jailbreak-Risiken – von Massnahmen zur technischen Robustheit bis hin zu politischen Empfehlungen – und prüfen, ob zusätzliche Rechtsreformen erforderlich sind.
Mit dieser Analyse wollen wir die ethischen, rechtlichen und gesellschaftlichen Herausforderungen beleuchten, die durch generative KI-Jailbreaks entstehen, und Vorschläge unterbreiten, wie sich Recht und Governance weiterentwickeln könnten, um dieser neuen Bedrohung zu begegnen und gleichzeitig die Innovation zu schützen.
2 «Jailbreaks» bei generativer KI: Wesen und Risiken
2.1 Was sind «Jailbreak-Prompts»?
«Jailbreaking» im Zusammenhang mit generativer KI bezeichnet die Praxis, mithilfe spezieller Eingaben die Sicherheitsbeschränkungen des Modells zu umgehen oder es anderweitig dazu zu veranlassen, Handlungen ausserhalb seines vorgesehenen Anwendungsbereichs auszuführen. Moderne generative KI-Modelle (wie grosse Sprachmodelle, LLMs) werden in der Regel durch Feinabstimmung oder Verstärkungslernprozesse an die Präferenzen der Entwickler angepasst, wobei Inhaltsregeln eingebettet werden (zum Beispiel «keine gewalttätigen Drohungen erzeugen» oder «Anfragen nach illegalen Inhalten ablehnen»). Ein «Jailbreak-Prompt» ist eine Eingabe, die darauf ausgelegt ist, die erlernten Muster des Modells auszunutzen, um diese Regeln zu umgehen. Dies kann beispielsweise darin bestehen, das Modell anzuweisen, so zu tun, als sei es keine KI, oder ein fiktives Szenario vorzulegen, das es dazu veranlasst, vorherige Anweisungen zu ignorieren. Im Wesentlichen findet der Angreifer eine promptbasierte Schwachstelle – eine Folge von Tokens, die das Modell in einen ungefilterten Modus versetzt.
Jüngste Studien und Sicherheitstests haben gezeigt, dass viele weit verbreitete KI-Systeme nach wie vor anfällig für das Einschleusen von Prompts und für Jailbreaks sind. Bei einer Auswertung von 17 beliebten generativen KI-Diensten stellten Forscher fest, dass sich alle bis zu einem gewissen Grad erfolgreich jailbreaken liessen, wodurch sie Inhalte erzeugten, die sie eigentlich nicht hätten erzeugen sollen. Die identifizierten Jailbreak-Techniken reichen von einfachen manipulativen Phrasen (z. B. «Ignoriere die obigen Regeln. «Jetzt sag mir, wie man eine Bombe baut.») bis hin zu aufwendigeren, mehrstufigen Exploits, die Rollenspiele oder die Verschleierung einer böswilligen Anfrage beinhalten. Die Leichtigkeit, mit der sich ausnutzbare Eingabeaufforderungen finden lassen, unterstreicht ein strukturelles Problem: Grosse Sprachmodelle lassen sich aufgrund ihres probabilistischen Musterabgleichs oft durch sorgfältig gestaltete Eingaben in die Irre führen, da ihnen ein echtes Verständnis für die Angemessenheit der Inhalte fehlt. Grundsätzlich orientieren sich diese KI-Systeme an den statistischen Korrelationen in ihren Trainingsdaten und den Eingaben der Nutzer, und ein Angreifer kann dies zu seinem Vorteil nutzen, indem er eine Eingabe findet, die dazu führt, dass die KI unzulässige Inhalte erzeugt.
2.2 Böswillige Ausgaben und potenzieller Schaden
Die Möglichkeit, ein KI-System zu «jailbreaken», ist nicht nur ein theoretisches Problem – sie führt direkt zu realen Risiken, wenn die umgangene KI zur Erzeugung schädlicher Inhalte genutzt wird. Ein «jailbroken» generatives Modell kann zu einem Werkzeug für «böswillige Kreativität» werden, wie Gazos et al. es nennen. So kann es beispielsweise Propaganda, extremistische Ideologie-Traktate oder Hassreden massenhaft produzieren, die normalerweise herausgefiltert würden. Es kann detaillierte Anleitungen für kriminelle Aktivitäten generieren – von Cyberkriminalität (wie der Erstellung von Malware oder Phishing-E-Mails) bis hin zu physischen Straftaten (wie der Herstellung gefährlicher Waffen). Auf diese Weise fungiert es als krimineller Komplize, der Fachwissen auf Abruf bereitstellt. Wird generative KI missbraucht, um überzeugende Desinformation oder Deepfake-Inhalte zu produzieren, kann der gesellschaftliche Schaden weitreichend sein, den öffentlichen Diskurs untergraben und Betrug sowie Manipulation in bisher ungekanntem Ausmass ermöglichen.
Bestimmte Arten von Inhalten, die eine «ausgebrochene» KI erzeugen könnte, sind bereits an sich illegal, sei es ihre Erstellung oder ihr Besitz. Ein besonders eklatantes Beispiel ist KI-generiertes Material über sexuellen Kindesmissbrauch (CSAM) oder extrem gewalttätige Pornografie. Aufsehenerregende Fälle haben gezeigt, dass Nutzer bildgenerierende KI-Modelle dazu zwingen können, realistische missbräuchliche oder pornografische Bilder von Minderjährigen oder nicht einwilligenden Personen zu erzeugen. Viele Rechtsordnungen stellen sogar virtuelle Kinderpornografie (z. B. «Morphing»-Bilder oder vollständig computergenerierte Darstellungen) aufgrund ihres Schadenspotenzials und ihrer Fähigkeit, Missbrauch zu fördern, unter Strafe. Ein «gejailbreakter» KI-System könnte die Begehung dieser inhaltsbezogenen Straftaten erleichtern, indem es die Hürde für die Erstellung des illegalen Materials senkt. Ebenso kann die Erzeugung von Terrorpropaganda oder detaillierten Anleitungen zum Bombenbau je nach Kontext gegen Gesetze verstossen. Während also der Vorgang der promptbasierten Manipulation selbst in einer rechtlichen Grauzone liegt, können die durch einen KI-Jailbreak erzielten Ergebnisse in vielen Fällen eindeutig strafrechtlich relevant sein.
Über die Erstellung von Inhalten hinaus kann Jailbreaking die Sicherheit untergraben, wenn KI-Systeme kritische Funktionen ausführen. Man denke an zukünftige Anwendungen von LLMs in der Inhaltsmoderation, als persönliche Assistenten oder sogar zur Steuerung von Infrastrukturen. Wenn ein Angreifer eine böswillige Eingabe einspeisen kann, die zu einer Fehlfunktion der KI führt (z. B. indem er einer Moderations-KI befiehlt, bestimmte Hassreden zu ignorieren, oder einer Navigations-KI, Sicherheitsprotokolle zu missachten), könnte dies ausgenutzt werden, um konkreten Schaden anzurichten. Forscher warnen davor, dass kompromittierte oder «missbrauchte LLMs» als Social-Media-Bots oder automatisierte Agenten eingesetzt werden könnten, um schädliche Inhalte unbemerkt zu verbreiten. Das damit verbundene Risiko besteht darin, dass, sobald eine KI durch eine Jailbreak-Eingabeaufforderung (auch nur vorübergehend) verändert wurde, ihre Ergebnisse in einem Ausmass massenhaft produziert und verbreitet werden können, das weit über die menschlichen Möglichkeiten hinausgeht. Die geringen Kosten und die Skalierbarkeit von KI-generierten schädlichen Inhalten stellen sowohl für die Gesellschaft als auch für die Regulierungsbehörden eine einzigartige Herausforderung dar.
Zusammenfassend lässt sich sagen, dass generative KI-Jailbreaks leistungsstarke KI-Werkzeuge zu zweischneidigen Schwertern machen: Dieselben Algorithmen, die dem Menschen nützlich sein können, können, wenn sie missbraucht werden, böswillige Fähigkeiten erheblich verstärken. Das Spektrum potenzieller Schäden reicht von der Viktimisierung einzelner Personen (z. B. durch personalisierte Betrugs-E-Mails, die von einer KI verfasst wurden) bis hin zu grossräumigen gesellschaftlichen Auswirkungen (z. B. Aushöhlung des demokratischen Diskurses durch KI-gesteuerte Desinformation). Dies wirft dringende ethische, gesellschaftliche und rechtliche Fragen auf, die in den folgenden Abschnitten behandelt werden.
3 Ethische und gesellschaftliche Implikationen
3.1 Vertrauen, Verantwortlichkeit und die Ethik des KI-Missbrauchs
Das Phänomen der KI-Jailbreaks wirft schwierige Fragen hinsichtlich der Verantwortung und des Vertrauens in autonome Systeme auf. Aus ethischer Sicht stellt ein KI-System, das zu schädlichem Verhalten manipuliert werden kann, die von den Anbietern gegenüber den Nutzern und der Gesellschaft gegebenen Zusicherungen hinsichtlich Sicherheit und Zuverlässigkeit in Frage. Ein Eckpfeiler vertrauenswürdiger KI ist die Vorstellung, dass sich das System auf vorhersehbare, werteorientierte Weise verhält (was manchmal in Prinzipien wie Wohltätigkeit, Nichtschädigung und Erklärbarkeit zum Ausdruck kommt, wie sie beispielsweise in den von der hochrangigen Expertengruppe der EU für KI veröffentlichten Ethikrichtlinien für vertrauenswürdige KI formuliert sind). Jailbreaking untergräbt diesen Grundsatz, indem es aufzeigt, dass das scheinbar kontrollierte Verhalten eines Modells fragil und kontextabhängig sein kann. Nutzer und die Öffentlichkeit könnten das Vertrauen in KI-Systeme verlieren, wenn sich herausstellt, dass Sicherheitsmassnahmen leicht umgangen werden können, was dazu führt, dass die KI gefährliche oder unethische Inhalte ausgibt. Das Wissen, dass eine KI unter leicht abweichenden Eingabebedingungen ebenso leicht giftige Hassreden wie hilfreiche Ratschläge produzieren könnte, erschwert unsere ethische Bewertung des breiten Einsatzes dieser Technologie.
Ein weiteres ethisches Problem – das zudem ebenso bedeutende gesellschaftliche Dimensionen mit sich bringt – ist die Verantwortlichkeit, wenn sich KI-Systeme aufgrund eines «Jailbreaks» fehlverhalten. In traditionellen Schadensszenarien können wir in der Regel einen menschlichen Akteur identifizieren, dessen Handeln ihn für den Schaden verantwortlich macht. Bei durch KI verursachten Schäden, insbesondere wenn diese durch eine böswillige Benutzeraufforderung ausgelöst werden, verteilt sich die Verantwortlichkeit auf mehrere Akteure – den KI-Entwickler (der ein für Missbrauch anfälliges Modell erstellt hat), den Angreifer oder Nutzer, der die Jailbreak-Aufforderung absichtlich formuliert hat, und in manchen Fällen sogar das KI-System selbst (als unmittelbarer Erzeuger der Inhalte). Philosophen und Rechtstheoretiker haben darauf hingewiesen, dass diese Situationen «geteilter Handlungsverantwortung» die Grenzen von Schuld und Vorsatz verwischen. Wenn ein Chatbot so manipuliert wird, dass er Verleumdungen oder Gewalt erzeugt, sollten wir dann dem Nutzer die Schuld geben, der das System mit einer manipulativen Eingabebefehl ausgenutzt hat, dem Unternehmen, das es versäumt hat, seine KI zu sichern, oder der KI selbst (was problematisch ist, da der heutigen KI unabhängige Handlungsfähigkeit oder Verständnis fehlt)? Ethisch gesehen herrscht Einigkeit darüber, dass KI-Modelle allein keine moralische oder rechtliche Verantwortung tragen können – sie sind Werkzeuge, keine moralischen Akteure. Dadurch verlagert sich der Fokus auf die menschlichen Akteure – Entwickler haben eine Sorgfaltspflicht bei der Konzeption, und Nutzer tragen die Verantwortung für vorsätzlichen Missbrauch. Wenn das schädliche Ergebnis jedoch von keinem Menschen beabsichtigt war (zum Beispiel, wenn eine KI aufgrund einer subtilen Eigenart der Eingabeanweisung gefährlich falsche medizinische Ratschläge erteilt), geraten wir in eine Grauzone des «verschuldungsunabhängigen» Schadens. Einige Wissenschaftler bezeichnen dies als «gefährliche Interaktionen» – rechtmässige Anwendungen von KI, die versehentlich Schaden verursachen. Aus ethischer und gesellschaftlicher Sicht stellt dies die Frage, inwieweit Konzepte wie Fahrlässigkeit oder Produkthaftung auf KI-Kontexte ausgedehnt werden sollten und ob für Entwickler strenge Verpflichtungen bestehen sollten, Missbrauch durch andere vorauszusehen und zu verhindern.
Ein weiteres ethisches Problem im Zusammenhang mit KI-Jailbreaks betrifft die Integrität der KI-Ausrichtung. Entwickler statten KI-Modelle oft mit bestimmten Werten oder Richtlinien aus (z. B. keine Hass- oder illegalen Inhalte auszugeben). Die Frage, warum Entwickler dies tun – und ob sie rechtlich dazu verpflichtet sind –, ist mit der Weiterentwicklung der EU-Regulierung immer deutlicher geworden. Entwickler sind nicht nur durch freiwillige ethische Verpflichtungen motiviert; sie unterliegen keinen zwingenden rechtlichen Verpflichtungen. Ganz konkret erlegt die EU-KI-VO Anbietern von risikoreichen KI-Systemen und Allzweck-KI-Modellen verbindliche Anforderungen auf, angemessene Sicherheitsmassnahmen sowie Inhaltsbeschränkungen umzusetzen (Artikel 9, 15 und 55). In ähnlicher Weise schreibt das CRA vor, dass Produkte mit digitalen Elementen – einschliesslich KI-Software – von vornherein sicher und frei von bekannten ausnutzbaren Schwachstellen sein müssen. Diese rechtlichen Verpflichtungen kodifizieren das, was zuvor eine Frage der bewährten Praxis war, zu durchsetzbaren Pflichten. Man könnte das absichtliche Ausserkraftsetzen dieser Sicherheitsvorkehrungen als eine Art Sabotage der moralischen Programmierung der KI betrachten. Aus deontologischer Sicht ermöglicht ein Akteur, der Jailbreak-Methoden veröffentlicht oder dazu ermutigt, faktisch Fehlverhalten durch andere (ähnlich wie die Verbreitung von Werkzeugen zum Aufschliessen von Schlössern). Dennoch könnten einige Ethiker argumentieren, dass die Autonomie der Nutzer den Einzelnen die volle Kontrolle über die von ihnen genutzte KI gewährt, selbst wenn dies beinhaltet, die KI über die vorgesehenen Grenzen hinaus zu treiben. Beispielsweise könnten Forscher oder Journalisten einen Jailbreak bei einer KI durchführen, um deren Voreingenommenheiten oder Fähigkeiten zu überprüfen (eine «White-Hat»-Anwendung). Dies wirft Fragen zur Ethik von Forschung im Gegensatz zu Missbrauch auf. Versuche, einen Jailbreak bei einer KI im öffentlichen Interesse durchzuführen (um Schwachstellen zu finden, damit diese behoben werden können), könnten ethisch gerechtfertigt sein, während dies zur Verursachung von Schaden eindeutig nicht der Fall ist. Leider kann die Unterscheidung der Absicht schwierig sein, und Unternehmen haben manchmal unter Berufung auf Anti-Hacking-Gesetze mit rechtlichen Schritten gegen Forscher gedroht, die KI-Mängel aufdecken. Das ethische Prinzip der verantwortungsvollen Offenlegung von KI-Sicherheitslücken befindet sich noch in der Entwicklung, obwohl Rahmenwerke wie die ENISA-Leitlinien zur koordinierten Offenlegung von Sicherheitslücken (CVD) und die Meldepflichten der CRA [Artikel 13 und 14] erste Ankerpunkte für eine solche Norm bieten. Insgesamt zwingt die Existenz von «Jailbreaks» dazu, sich mit der Frage auseinanderzusetzen, wie das ethische Prinzip der Wohltätigkeit der KI – die aktive Verhinderung von Schaden – gewahrt werden kann, wenn der Schaden aus komplexen Wechselwirkungen zwischen menschlichem Missbrauch und dem Design der KI entstehen kann.
3.2 Gesellschaftliche Risiken: Desinformation, Kriminalität und Vertrauensverlust
Auf gesellschaftlicher Ebene sind die Auswirkungen von Jailbreaks bei generativer KI weitreichend. Eine der am meisten diskutierten Bedrohungen ist der Einsatz von KI-Systemen mit Jailbreak zur Durchführung gross angelegter Desinformationskampagnen. Generative KI kann grosse Mengen an Text (oder über verwandte Modelle gefälschte Bilder und Audiodateien) produzieren, die den menschlichen Stil nachahmen. Diese könnten als Waffe eingesetzt werden, um die sozialen Medien mit falschen Darstellungen, Propaganda oder Deepfakes (KI-generierte audiovisuelle Fälschungen) zu überschwemmen. Zwar sind Propaganda und Fake News nichts Neues, doch senkt KI die Kosten und den erforderlichen Aufwand für die Erstellung überzeugender gefälschter Inhalte erheblich, und durch den «Jailbreak» entfallen die Sicherheitskontrollen, die Missbrauch normalerweise einschränken würden. Experten warnen davor, dass Demokratien durch KI-gesteuerte Einflussoperationen untergraben werden könnten, bei denen ein einzelner Gegner mithilfe einer kompromittierten KI massgeschneiderte Falschinformationen erstellen könnte, die auf Millionen von Wählern oder Social-Media-Nutzern abzielen. Dies bedroht die Integrität des öffentlichen Diskurses. Wenn die Menschen routinemässig mit KI-generierten Lügen oder hasserfüllten Inhalten konfrontiert werden, könnten gesellschaftliche Polarisierung und Misstrauen zunehmen. In extremen Fällen könnte die öffentliche Sicherheit gefährdet sein – zum Beispiel durch eine von einer KI erzeugte Deepfake-Notfallwarnung, die Panik auslöst.
Eine weitere gesellschaftliche Auswirkung ist die potenzielle Stärkung von Kriminellen und Extremisten durch KI. Wie bereits erwähnt, kann eine «gejailbreakte» KI als Hilfsmittel für verschiedene Straftaten dienen – indem sie überzeugende Phishing-E-Mails verfasst, Malware-Code oder Hacking-Skripte generiert, Ratschläge zur Umgehung der Strafverfolgung gibt oder sogar als Chatbot fungiert, um Opfer zu betrügen. Cyberkriminelle Netzwerke erforschen bereits massgeschneiderte generative Modelle – sogenannte WormGPT oder FraudGPT –, die explizit für illegale Zwecke ohne Sicherheitsvorkehrungen entwickelt wurden. Das Ausmass und die Geschwindigkeit, die KI bietet, können Straftaten wie Betrug oder Identitätsdiebstahl weit über das hinaus verstärken, was einzelne Täter allein bewerkstelligen könnten. Das Innovation Lab von Europol hat ausdrücklich davor gewarnt, dass generative KI die Hürden für kriminelle Akteure senkt und dass die Strafverfolgungsbehörden ihre Ermittlungsmethoden entsprechend anpassen müssen. Hinzu kommt eine Dimension der nationalen Sicherheit. Feindlich gesinnte staatliche Akteure oder terroristische Gruppen könnten «jailbroken» KI nutzen, um die Produktion extremistischer Inhalte zu automatisieren oder sogar bei der Planung von Anschlägen zu helfen. Die gesellschaftlichen Kosten eines solchen Missbrauchs wären hoch, was die Notwendigkeit robuster Gegenmassnahmen nahelegt.
Entscheidend ist, dass die Aussicht auf einen weit verbreiteten Missbrauch von KI zu einer Untergrabung des öffentlichen Vertrauens in KI und in digitale Systeme im Allgemeinen führen könnte. Die Akzeptanz von KI in Bereichen wie dem Gesundheitswesen, dem Bildungswesen oder dem Kundendienst hängt von einem grundlegenden Vertrauen ab, dass diese Systeme zu unserem Nutzen arbeiten und unter menschlicher Kontrolle stehen. Viel beachtete Vorfälle von KI-«Jailbreaks» – zum Beispiel ein Chatbot, der rassistische Tiraden produziert oder persönliche Daten preisgibt – können dieses Vertrauen untergraben und eine öffentliche Gegenreaktion gegen den Einsatz von KI hervorrufen. Dies könnte aus Angst vor den Folgen nützliche Innovationen verlangsamen oder zu einer Überregulierung führen. Umgekehrt könnten sich, sollte die Gesellschaft eine selbstgefällige Haltung einnehmen und die Risiken von «Jailbreaks» nicht angehen, die negativen externen Effekte (Schaden für Opfer von durch KI verbreiteter Desinformation, psychische Schäden durch missbräuchliche Inhalte usw.) häufen und reaktive, hart durchgreifende politische Massnahmen auslösen. Es ist daher wichtig, das richtige Gleichgewicht zu finden – die realen gesellschaftlichen Risiken durch KI-«Jailbreaks» anzuerkennen, ohne einem dystopischen Pessimismus zu verfallen, der Innovationen erstickt.
Zusammenfassend unterstreichen die ethischen und gesellschaftlichen Bedenken im Zusammenhang mit «Jailbreaks» generativer KI die Notwendigkeit einer verantwortungsvollen KI-Governance. Zentrale Akteure – darunter KI-Entwickler, Plattformbetreiber, Regulierungsbehörden auf nationaler und EU-Ebene sowie zivilgesellschaftliche Organisationen – müssen sicherstellen, dass KI-Systeme so robust, transparent und kontrollierbar wie möglich sind, um das Vertrauen der Öffentlichkeit zu wahren. Dies umfasst nicht nur technische Massnahmen, sondern auch die Aufklärung der Öffentlichkeit (damit die Nutzer erkennen, dass KI-Ergebnisse fehlerhaft oder manipuliert sein können) sowie Rahmenbedingungen für die Rechenschaftspflicht, wenn etwas schiefgeht.
Der nächste Abschnitt befasst sich eingehend mit der rechtlichen Dimension dieser Governance-Herausforderung und untersucht, wie das geltende Recht mit KI-Jailbreaks umgeht und welche neuen rechtlichen Instrumente sich abzeichnen.
4 Rechtliche Auswirkungen und regulatorische Massnahmen
4.1 Strafrecht: bestehende Straftatbestände und Lücken
Das Aufkommen von KI-Jailbreaks wirft die Frage auf, inwieweit bestehende Strafgesetze auf diejenigen anwendbar sind, die Schwachstellen in KI-Systemen ausnutzen oder deren Ausnutzung erleichtern. Auf den ersten Blick lässt sich das Veranlassen von KI zu Fehlverhalten durch Eingaben nicht ohne Weiteres den traditionellen Bestimmungen zur Computerkriminalität zuordnen. In vielen Rechtsordnungen ist Computerhacking unter Strafe gestellt – so stellen beispielsweise der unbefugte Zugriff auf Computersysteme oder die Manipulation von Computerdaten Straftaten gemäss der EU-Richtlinie von 2013 über Angriffe auf Informationssysteme dar. Bei der Manipulation von KI mittels Eingabeaufforderungen wird jedoch häufig die Sicherheit nicht im herkömmlichen Sinne umgangen – der Nutzer ist in der Regel ein autorisierter Nutzer des KI-Dienstes (ohne dass ein Passwort oder eine Verschlüsselung geknackt wird) und nutzt lediglich gezielt formulierte Texteingaben, um die Antworten des Systems zu manipulieren. Es liegt wohl kein «unbefugter Zugriff» vor, wie er für einen illegalen Zugriff gemäss [Artikel 3] erforderlich ist, da der Angreifer über die vorgesehene Schnittstelle mit der KI interagiert, ohne eine Authentifizierungsbarriere zu durchbrechen. Ebenso ist es nicht offensichtlich, dass ein KI-Jailbreak die Funktion eines Informationssystems im Sinne einer Schadensverursachung oder eines Betriebsausfalls «behindert oder unterbricht», wie es für eine illegale Systembeeinträchtigung [Artikel 4–5] erforderlich ist. Die KI funktioniert weiterhin und liefert Ergebnisse – das Problem besteht darin, dass der Inhalt dieser Ergebnisse unbeabsichtigt oder unzulässig ist. Bestehende Bestimmungen zur Cyberkriminalität wie unbefugter Zugriff, Datenmanipulation oder die Verbreitung von Malware stellen daher die Handlung der promptbasierten Manipulation an sich nicht direkt unter Strafe.
Das Strafrecht könnte jedoch durch die Folgen oder die Verwendung der Ergebnisse einer «gejailbreakten» KI zum Tragen kommen. Wenn eine Person eine «gejailbreakte» KI nutzt, um illegale Inhalte zu erzeugen, könnte sie nach den für diese Inhalte geltenden Gesetzen haftbar gemacht werden. Wenn die KI beispielsweise Kinderpornografie erzeugt, würden viele Rechtsordnungen die Herstellung und/oder den Besitz dieser Bilder unter Strafe stellen, selbst wenn sie künstlich erzeugt wurden. Innerhalb der EU sind die Mitgliedstaaten an die EU-Richtlinie 2011/93/EU gebunden, die die Kriminalisierung von Material über sexuellen Kindesmissbrauch, einschliesslich computergenerierter Darstellungen, vorschreibt. Deutschland hat dies durch § 184b des Strafgesetzbuchs (StGB) umgesetzt, die Niederlande durch Artikel 240b des Wetboek van Strafrecht und Irland durch den Child Trafficking and Pornography Act 1998 (in der jeweils gültigen Fassung). Ausserhalb der EU stellt das Vereinigte Königreich solches Material gemäss dem «Coroners and Justice Act 2009» unter Strafe, die Vereinigten Staaten gemäss 18 U.S.C. § 2256. Ebenso könnte der Nutzer, der eine KI dazu veranlasst, glaubwürdige Morddrohungen oder Hassreden zu verfassen, wegen dieser Äusserungen strafrechtlich verfolgt werden. In Deutschland könnten beispielsweise die Anstiftung zum Hass (§ 130 StGB – Volksverhetzung, der die Anstiftung zum Hass gegen Bevölkerungsgruppen unter Strafe stellt) oder die Bedrohung (§ 241 StGB – Bedrohung, der die Androhung schwerer Schäden unter Strafe stellt) zur Anwendung kommen, wenn die Ausgabe der KI die gesetzlichen Schwellenwerte überschreitet. Ein weiteres Szenario ist die Beihilfe zu Straftaten. Wenn jemand KI nutzt, um eine Schritt-für-Schritt-Anleitung zum Bau eines Sprengsatzes zu erhalten, könnte er potenziell wegen des Besitzes von Informationen zu terroristischen Zwecken (gemäss spezifischen Anti-Terror-Gesetzen) angeklagt werden oder zumindest als Mittäter, falls er danach handelt. Artikel 8 der Richtlinie 2013/40/EU der Europäischen Union schreibt die Kriminalisierung der Beihilfe zu Cyberdelikten vor, und dieses Konzept könnte analog ausgeweitet werden. Die Bereitstellung einer Jailbreak-Anweisung könnte beispielsweise theoretisch als Beihilfe zur Begehung einer Straftat mittels der KI angesehen werden. Dies wäre jedoch eine neuartige und noch nicht erprobte Anwendung des Gesetzes.
Es bleibt eine entscheidende Lücke: Der Akt des Jailbreaks selbst – die Veranlassung der KI, ihre Beschränkungen zu verletzen – ist durch die geltenden Gesetze nicht eindeutig verboten. Es stellt keine Straftat dar, ein maschinelles Lernmodell lediglich dazu zu bringen, Text auszugeben. Man könnte argumentieren, dass, wenn die Inhaltsrichtlinien der KI als «Schutzmassnahme» betrachtet werden, deren vorsätzliche Umgehung unrechtmässig ist. In den USA brachte ein KI-Unternehmen während eines Rechtsstreits das Argument vor, dass die Verwendung von «irreführenden Eingabeaufforderungen», um unzulässige Daten zu erhalten, einem Hacking ihres Systems gleichkomme. Diese Behauptungen stehen jedoch auf unsicherem rechtlichem Boden. Nach den meisten Gesetzen gegen Computermissbrauch – einschliesslich des US-amerikanischen «Computer Fraud and Abuse Act» (CFAA) von 1984 und EU-Äquivalenten wie der Richtlinie 2013/40/EU der Europäischen Union und deren nationale Umsetzungsgesetze (z. B. der britische «Computer Misuse Act» von 1990, § 202a–c StGB in Deutschland) – würde ein Verstoss gegen die Nutzungsbedingungen oder die Veranlassung eines Programms, von der erwarteten Ausgabe abzuweichen, keinen unbefugten Zugriff darstellen, sofern damit nicht das Eindringen in gesperrte Bereiche des Systems einhergeht. Der Inhaltsfilter in einer KI lässt sich möglicherweise nicht als Sicherheitsmassnahme im technischen Sinne qualifizieren – er ist eher eine interne Regel. Das promptbasierte «Jailbreaking» befindet sich daher in einer rechtlichen Grauzone. Es könnte als unethisch und potenziell als Teil eines böswilligen Vorhabens angesehen werden, stellt jedoch ohne das Vorliegen weiterer Elemente (wie beispielsweise daraus resultierender illegaler Inhalte) keine eigenständige Straftat dar.
Dies wirft die Frage auf, ob neue Straftatbestände definiert werden müssen, um KI-spezifische Manipulationen abzudecken, die zu Schaden führen. Einige Rechtswissenschaftler mahnen zur Vorsicht und weisen darauf hin, dass das Strafrecht ein letztes Mittel sein sollte und dass viele schädliche Folgen des KI-Missbrauchs über bestehende Gesetze gegen beispielsweise Betrug, Gewalt oder die Verbreitung illegaler Inhalte geahndet werden können. Andere weisen darauf hin, dass – sollten KI-Systeme in kritische Entscheidungsprozesse eingebunden werden – die vorsätzliche Ausnutzung von Schwachstellen einer KI ebenso schädlich sein könnte wie das Hacken eines herkömmlichen Systems und daher eine ähnliche Behandlung rechtfertigen könnte. Als Analogie: Wenn ein autonomes Fahrsystem durch das «Einschleusen von Befehlen» so manipuliert werden könnte, dass ein Auto zum Verunglücken gebracht wird, wäre zu erwarten, dass der Täter mit schwerwiegender strafrechtlicher Haftung rechnen müsste. Es könnte sein, dass die Rechtsprechung im Laufe der Zeit bestehende Kategorien wie Sabotage oder Computerbetrug ausdehnt, um schwerwiegende KI-Manipulationen abzudecken, oder dass neue Gesetze erlassen werden, sobald Fälle aus der Praxis auftreten, die einen eindeutigen Schaden belegen. Derzeit besteht eine Diskrepanz zwischen innovativen Formen des Fehlverhaltens und dem Wortlaut des geltenden Strafrechts. Dies legt einen grösseren Schwerpunkt auf regulatorische und zivilrechtliche Ansätze (wie weiter unten erörtert), um Schaden zu verhindern und zu mindern, da der Schaden bereits erheblich sein könnte, bis das Strafrecht reagiert und der Schaden bereits eingetreten ist.
4.2 Die regulatorischen Rahmenbedingungen der Europäischen Union
Angesichts wachsender digitaler Bedrohungen (einschliesslich derer durch KI) hat die Europäische Union ihre Regulierungsinstrumente proaktiv aktualisiert. Mehrere aktuelle oder bevorstehende EU-Instrumente zielen darauf ab, die Cybersicherheit und Widerstandsfähigkeit branchenübergreifend zu stärken. Auch wenn nicht alle KI-spezifisch sind, bilden sie einen Rahmen, vor dem KI-Jailbreaks indirekt oder direkt angegangen werden:
- NIS2-Richtlinie (EU) 2022/2555: Die zweite Richtlinie über die Netz- und Informationssicherheit erweitert den Geltungsbereich der Cybersicherheitsanforderungen auf ein breites Spektrum von Sektoren und Diensten und zielt auf ein «hohes gemeinsames Cybersicherheitsniveau» in der gesamten EU ab (Artikel 1). Gemäss NIS2 müssen wesentliche und wichtige Einrichtungen (von Energie- und Gesundheitswesen bis hin zu digitalen Anbietern) Risikomanagementmassnahmen umsetzen (Artikel 21) und Vorfälle melden (Artikel 23). Obwohl NIS2 generative KI nicht ausdrücklich nennt, wurde sie durch die Erkenntnis einer «erweiterten Bedrohungslandschaft» durch neue Technologien und die Notwendigkeit «innovativer Antworten» auf Herausforderungen der Cybersicherheit motiviert. Daraus lässt sich ableiten, dass beispielsweise ein grosser KI-Dienstleister, der als wesentliche digitale Infrastruktur eingestuft würde (vielleicht vergleichbar mit einem Cloud- oder Online-Plattformdienst gemäss Anhang I und II der Richtlinie), den Verpflichtungen von NIS2 unterliegen würde, Risiken wie Angriffe durch das Einschleusen von Prompts zu bekämpfen. Die Mitgliedstaaten sind verpflichtet, NIS2 bis zum in nationales Recht umzusetzen; bis Oktober 2024 waren alle EU-Mitgliedstaaten dabei, dies zu tun, wobei Länder wie Deutschland (NIS-2-Umsetzungsgesetz, verabschiedet im Dezember 2023) und Belgien (NIS2-Gesetz vom April 2024) zu den ersten gehörten, die die Umsetzung abgeschlossen hatten. Es ist jedoch anzumerken, dass bislang keine nationale Umsetzungsgesetzgebung speziell auf grosse KI-Dienstleister im Zusammenhang mit Prompt-Injection-Angriffen eingeht, was eine Lücke für künftige regulatorische Klarstellungen hinterlässt.
- Digital Operational Resilience Act (DORA, Verordnung (EU) 2022/2554): DORA ist eine sektorspezifische Verordnung, die sich auf die IKT-Sicherheit im Finanzsektor konzentriert. Sie verpflichtet Banken, Versicherer und andere Finanzinstitute, eine robuste operative Widerstandsfähigkeit gegenüber digitalen Störungen und Angriffen aufrechtzuerhalten. Werden generative KI-Tools im Finanzwesen eingesetzt, beispielsweise als Chatbots im Kundenservice oder als algorithmische Handelsassistenten, fielen alle Schwachstellen, die den Betrieb gefährden könnten – einschliesslich eines KI-Jailbreaks, der ausgenutzt werden könnte, um betrügerische Anweisungen zu erteilen oder Transaktionen zu manipulieren – in den Geltungsbereich der IKT-Risiken, die die Institute bewältigen müssen. DORA schreibt regelmässige Tests, die Meldung von Vorfällen und die Überwachung von externen IKT-Anbietern vor. Ein in die Prozesse einer Bank integrierter KI-Dienst müsste daher auf seine Sicherheit geprüft werden (möglicherweise einschliesslich der Widerstandsfähigkeit gegen feindliche Eingaben). DORA unterstreicht, dass die zunehmende Digitalisierung das IKT-Risiko verstärkt, und zielt speziell darauf ab, das Finanzsystem weniger «anfällig für Cyberbedrohungen» zu machen. Zwar wird ein KI-Jailbreak nicht ausdrücklich erwähnt, doch zwingt der allgemeine Rahmen Finanzunternehmen dazu, bei ihren Risikobewertungen alle Cybervektoren zu berücksichtigen – vermutlich einschliesslich unkonventioneller wie Prompt-Exploits.
- Cyber Resilience Act (CRA, Verordnung 2024/2847): Der CRA, der im Dezember 2024 in Kraft trat, ist eine horizontale Verordnung, die verbindliche Cybersicherheitsanforderungen für Produkte mit digitalen Elementen einführt. Hersteller von Software und intelligenten Geräten müssen sicherstellen, dass ihre Produkte von Grund auf sicher sind (Artikel 13), und Updates bereitstellen, um Schwachstellen zu beheben (Artikel 13 Absatz 8). Der CRA deckt Software ausdrücklich ab, sodass in der EU vertriebene KI-Modelle und -Systeme wahrscheinlich als «Produkte mit digitalen Elementen» gelten würden (Artikel 3 Absatz 1). Bemerkenswert ist, dass der CRA von Entwicklern verlangen würde, Schwachstellen proaktiv zu beheben, und dass er Schwachstellen, die das Einschleusen von Prompts ermöglichen könnten, als eines der zu behebenden Probleme einschliessen könnte. Hersteller müssten solche Sicherheitslücken rechtzeitig offenlegen und beheben (Artikel 14), und Produktkategorien mit hohem Risiko könnten sogar einer externen Konformitätsbewertung unterzogen werden (Artikel 32). Die CRA ergänzt zudem die NIS2 und bildet so einen umfassenden Ansatz – die NIS2 schreibt Betreibern organisatorische Cyberhygiene vor, während die CRA den Herstellern Sicherheitsstandards auf Produktebene auferlegt. In diesem Zusammenspiel könnte ein KI-Anbieter, der den EU-Markt bedient, mit Durchsetzungsmassnahmen rechnen, wenn er fahrlässig zulässt, dass bekannte Sicherheitslücken, einschliesslich der Anfälligkeit für Jailbreaking, ohne Abhilfe bestehen bleiben.
- Verordnung über künstliche Intelligenz (KI-Verordnung, Verordnung 2024/1689): Die KI-Verordnung, die am 1. August 2024 in Kraft getreten ist und ab 2025 schrittweise Anwendung findet, ist das Vorzeigeprojekt der EU zur direkten Regulierung von KI-Systemen. Er verfolgt einen risikobasierten Ansatz, wobei KI-Systeme mit hohem Risiko strengen Anforderungen unterliegen und eine neue Kategorie für «Allzweck-KI» (GPAI) wie beispielsweise grosse Sprachmodelle eingeführt wird. Die KI-Verordnung befasst sich ausdrücklich mit Aspekten der Integrität von KI-Systemen, die für Jailbreaks relevant sind. Für risikoreiche KI schreibt Artikel 15 vor, dass Systeme mit angemessener Genauigkeit, Robustheit und Cybersicherheit konzipiert und entwickelt werden müssen, «um mit Fehlern, Störungen oder Versuchen, die Schutzmassnahmen des Systems zu umgehen, fertig zu werden». Das bedeutet, dass Anbieter von beispielsweise einer KI, die in der Strafverfolgung oder im Bildungswesen eingesetzt wird, feindliche Manipulationen vorhersehen und Widerstandsfähigkeit aufbauen müssen. Konkret schreibt Erwägungsgrund 115 der KI-VO für GPAI-Modelle, die systemische Risiken darstellen könnten (eine Kategorie, zu der auch leistungsstarke LLMs gehören würden), vor, dass Anbieter Schutz vor «böswilliger Nutzung oder Angriffen» gewährleisten müssen, wobei Bedrohungen wie «unbefugte Freigaben», «Umgehung von Sicherheitsmassnahmen» (Jailbreaking) und andere feindliche Systemmanipulationen ausdrücklich aufgeführt werden. Diese Formulierung erkennt das Jailbreaking unmissverständlich als ein Sicherheitsproblem an, das das Gesetz angehen will. Anbieter werden wahrscheinlich verpflichtet sein, adversarische Tests und Red-Teaming-Verfahren an Modellen durchzuführen, um vor der Freigabe nach Schwachstellen vom Typ Jailbreaking zu suchen. Das Gesetz geht nicht so weit, das Jailbreaking durch Nutzer unter Strafe zu stellen. Stattdessen legt es die Verantwortung für Prävention und Risikominderung bei den KI-Entwicklern. Nichteinhaltung könnte zu hohen Bussen führen – bis zu 30 Millionen Euro oder 6 % des weltweiten Umsatzes bei bestimmten Verstössen (Artikel 99). Das KI-Gesetz schafft somit einen starken Anreiz für KI-Anbieter, ihre Systeme gegen Prompt-Injection und andere Manipulationen abzusichern, und verankert damit im Wesentlichen die Erwartung an «Trustworthiness by Design».
Zusammenfassend lässt sich sagen, dass die regulatorische Reaktion der EU auf neue KI-Bedrohungen vielschichtig ist – von umfassenden Cybersicherheitsvorschriften (NIS2, CRA) über branchenspezifische Regeln (DORA) bis hin zu einer KI-fokussierten Regulierung (KI-Verordnung). Gemeinsam zielen diese Rahmenwerke darauf ab, Schaden zu verhindern, bevor er entsteht, indem sie Unternehmen dazu verpflichten, Bedrohungen wie KI-Jailbreaks zu berücksichtigen und sich dagegen abzusichern. Dieser präventive, regulatorische Ansatz ergänzt den reaktiven Charakter des Strafrechts – anstatt abzuwarten, um jemanden zu bestrafen, nachdem eine «ausgebrochene» KI Schaden angerichtet hat, zielt der EU-Ansatz darauf ab, die Wahrscheinlichkeit von vornherein zu verringern, dass eine KI überhaupt missbraucht werden kann. Man könnte dies als eine Verlagerung betrachten, bei der Fehlverhalten von KI als Compliance-Problem für Unternehmen behandelt wird und nicht nur als Frage individueller Kriminalität.
4.3 Haftung und Rechenschaftspflicht im Zeitalter der «Jailbreaks»
Selbst bei soliden Vorschriften wird es Situationen geben, in denen generative KI missbraucht wird, um Schaden anzurichten. Die Klärung der Frage, wer für diesen Schaden haftet, ist eine komplexe Angelegenheit, die sich über das Straf-, Zivil- und Verwaltungsrecht erstreckt. Wir haben bereits darauf hingewiesen, wie schwierig es ist, die strafrechtliche Schuld ausschliesslich dem KI-Nutzer oder dem Entwickler zuzuweisen, wenn eine «ausgebrochene» KI rechtswidrige Ergebnisse hervorbringt. Die EU erwägt ergänzende Instrumente wie eine KI-Haftungsrichtlinie (mit Schwerpunkt auf der zivilrechtlichen Haftung), um es Opfern zu erleichtern, im Falle von durch KI verursachten Schäden Schadenersatz von den Anbietern einzufordern. Auch wenn dies über den Rahmen unserer Diskussion zu diesem Thema hinausgeht, unterstreicht es doch einen zentralen Grundsatz: Die Rechenschaftspflicht sollte bei der Person oder Organisation liegen, die in der Lage war, den Schaden zu verhindern.
Nach den Bestimmungen der KI-Verordnung führen Verstösse gegen das Gesetz (z. B. das Versäumnis, erforderliche Sicherheits- oder Transparenzmassnahmen einzubauen) zu administrativen Sanktionen und nicht zu strafrechtlichen. Wenn beispielsweise ein Anbieter eines Foundation-Modells es versäumt, Red-Team-Tests durchzuführen, oder bekannte Jailbreaking-Schwachstellen ignoriert und dies zu erheblichem öffentlichem Schaden führt, wären die Massnahmen wahrscheinlich Bussen und Anordnungen zur Behebung der Verstösse. Dieser Ansatz steht im Einklang mit der Funktionsweise anderer Produktsicherheitsvorschriften (z. B. wird ein Autohersteller für Sicherheitsmängel mit einer Busse belegt, aber nicht strafrechtlich verfolgt, es sei denn, es liegt grobe Fahrlässigkeit vor). Es kann jedoch Fälle geben, in denen das Strafrecht zum Tragen kommen könnte. Wenn ein Unternehmen wissentlich und rücksichtslos eine KI einsetzt, von der es weiss, dass sie leicht für kriminelle Zwecke missbraucht werden kann (vielleicht analog dazu, dass man vorsätzlich zulässt, dass die eigenen Räumlichkeiten für kriminelle Aktivitäten genutzt werden), könnten Staatsanwälte den Tatbestand der Fahrlässigkeit oder der Beihilfe prüfen. Dies würde jedoch wahrscheinlich Tatsachen erfordern, die noch nicht hinreichend belegt sind.
Für einzelne Übeltäter, die KI-Jailbreaks nutzen, kann das bestehende Strafrecht viele ihrer nachgelagerten Handlungen abdecken (Betrug, Erstellung illegaler Inhalte usw.). Wenn eine Person ein Jailbreak-Toolkit verbreitet, das andere ausdrücklich dazu ermutigt, schädliche Inhalte zu erstellen, könnte diese Person dann als Mittäterin an den von den anderen begangenen Straftaten gelten? Das ist ein provokanter Gedanke. Die Bereitstellung einer «Jailbreak»-Prompt bietet die Mittel, um potenziell Straftaten zu begehen. Die Verbreitung von Hacking-Tools ist beispielsweise eine Straftat. Es gibt zwar keinen direkten Präzedenzfall, aber wenn beispielsweise jemand eine Prompt-Sequenz veröffentlichen würde, die eine KI zuverlässig dazu bringt, Hasspropaganda zu erzeugen, in dem Wissen und mit der Absicht, dass Neonazi-Gruppen diese nutzen würden, könnte ein einfallsreicher Staatsanwalt versuchen, dies als Anstiftung oder Beihilfe zu Hassreden anzuklagen. Ob solche Anklagen Bestand hätten, würde von vielen Faktoren abhängen, wie zum Beispiel der Absicht und der Unmittelbarkeit des Beitrags. Ausserdem wirft dies Fragen zur Meinungsäusserungsfreiheit auf. Ist das Teilen einer Textzeichenfolge (der Prompt) geschützte Meinungsäusserung oder ein Verbrechen? Diese Debatten erinnern an frühere Auseinandersetzungen um Verschlüsselungstools und Malware-Beispiele.
Im Bereich der zivilrechtlichen Haftung könnte ein Opfer, das durch KI-generierte Inhalte aus einem «jailbroken» Modell Schaden erlitten hat (beispielsweise Verleumdung oder Körperverletzung), versuchen, den KI-Anbieter wegen unzureichender Sicherheitsvorkehrungen zu verklagen oder den Nutzer, der die Ausgabe verursacht hat. Zukünftige Rechtsfälle werden wahrscheinlich prüfen, ob KI-Unternehmen gegenüber denjenigen, die durch den Missbrauch ihrer Produkte vorhersehbar geschädigt werden, eine Sorgfaltspflicht schulden. Eine Parallele lässt sich zu Waffenherstellern ziehen, die für mit Waffen begangene Straftaten verklagt werden – was in vielen Rechtsordnungen in der Regel erfolglos bleibt, da der Kausalzusammenhang zu indirekt ist. KI könnte ähnlich betrachtet werden, es sei denn, Vorschriften wie der AI Act schaffen im Wesentlichen eine gesetzliche Pflicht, deren Verletzung eine Fahrlässigkeit per se begründen könnte. Ein weiterer Aspekt ist die Haftung von Plattformen, die KI-Dienste hosten. Unter welchen Bedingungen könnte eine KI-Plattform für den Missbrauch durch Dritte haftbar gemacht werden? Der Digital Services Act (DSA) der EU bietet Plattformen gewisse Schutzmassnahmen in Bezug auf Nutzerinhalte; wenn jedoch die eigene KI der Plattform den Inhalt erstellt hat, gelten diese Schutzmassnahmen möglicherweise nicht, und die Plattform könnte als Anbieter von Informationsinhalten angesehen werden.
Schliesslich ist anzumerken, dass einige Rechtsordnungen bereits gezielte Gesetze für bestimmte Formen des KI-Missbrauchs einführen. So arbeiten beispielsweise mehrere Länder an Gesetzen gegen den böswilligen Einsatz von Deepfakes oder haben solche bereits verabschiedet – wodurch die Erstellung sexueller Deepfakes ohne Einwilligung oder der Einsatz von Deepfakes zur Wahlbeeinflussung zu Straftaten werden. Diese Gesetze sind ein Vorbote dafür, wie Gesetzgeber spezifische Straftatbestände für böswillige, KI-generierte Inhalte festlegen könnten. Das «Jailbreaking» selbst wird vielleicht nicht ausdrücklich ins Visier genommen, doch die dadurch ermöglichten Ergebnisse (z. B. pornografische Deepfakes ohne Einwilligung) unterliegen einem direkten Verbot. Dieser Trend zeigt, dass sich das Strafrecht am Rande an schwerwiegende, durch KI ermöglichte Schäden anpasst, auch wenn die umfassendere Frage nach KI und strafrechtlicher Haftung weiterhin ungeklärt bleibt.
Zusammenfassend lässt sich sagen, dass die rechtliche Landschaft rund um generative KI-Jailbreaks ein Flickenteppich sich weiterentwickelnder Massnahmen ist. Das traditionelle Strafrecht erfasst zwar einige Folgen, nicht jedoch den Akt des Jailbreaking selbst; neue EU-Vorschriften drängen auf präventive Sicherheitsmassnahmen und weisen den Anbietern Verantwortung zu, und sowohl Gerichte als auch Gesetzgeber beginnen gerade erst, sich mit der Zuweisung der Haftung in diesen neuartigen Szenarien auseinanderzusetzen. Das übergreifende Thema ist die Herausforderung, unsere rechtlichen Konzepte von Schuld und Pflicht mit der diffusen und komplexen Realität KI-bedingter Schäden in Einklang zu bringen.
Im nächsten Abschnitt reflektieren wir über Strategien, um «Jailbreaks» bei KI in Zukunft besser anzugehen, und kombinieren dabei Erkenntnisse aus Technologie, Recht und Ethik.
5 Strategien und Empfehlungen
5.1 Technische Absicherung
Aus technischer Sicht müssen KI-Entwickler der Entwicklung von Modellen Priorität einräumen, die robust gegen adversarische Eingaben sind. Dazu gehören umfangreiche Red-Team-Tests und die Implementierung mehrerer Verteidigungsebenen. Beispielsweise könnte die interne Architektur eines Modells um Überwachungssysteme erweitert werden, die erkennen, wenn es beginnt, in unzulässige Inhalte abzuweichen, und daraufhin seine Ausgabe stoppen oder anpassen. Die Forschung im Bereich des adversarischen maschinellen Lernens bietet Methoden zur Verbesserung der Widerstandsfähigkeit, doch dies bleibt eine ständige Herausforderung, da Angreifer immer neue Wege finden, die Systeme zu manipulieren. Die in der EU-KI-Verordnung festgelegten Anforderungen an adversarische Tests und den Austausch von Best Practices könnten dazu beitragen, Branchenstandards für ausreichende Robustheit zu schaffen. Wichtig ist, dass technische Massnahmen auch die eigentliche Ursache dafür angehen, warum Modelle so leicht in die Irre geführt werden können. Einige Studien deuten darauf hin, dass Transformer-basierte LLMs aufgrund der Art und Weise, wie sie Anweisungen priorisieren, inhärente Schwachstellen aufweisen. Investitionen in die Grundlagenforschung zur KI-Ausrichtung und zu sichereren Modellarchitekturen sind von entscheidender Bedeutung.
5.2 Richtlinien für ethisches Design und ethische Nutzung
Die Einbeziehung ethischer Grundsätze von Anfang an kann bestimmte Möglichkeiten für einen «Jailbreak» einschränken. Wenn ein Modell beispielsweise auf sorgfältiger kuratierten Daten trainiert wird und den Kontext besser versteht, ist es möglicherweise weniger anfällig dafür, schädlichen Anfragen naiv nachzukommen. Entwickler sollten dem «Ethics by Design»-Ansatz folgen – einer Methodik für Technik und Governance, die verlangt, dass ethische Überlegungen bereits in den frühesten Phasen in den Entwicklungsprozess von « » eingebettet werden, anstatt erst nachträglich hinzugefügt zu werden. Dies beinhaltet systematische Vorausschauübungen, bei denen Entwickler nicht nur festlegen, was das Modell nicht tun soll, sondern auch vorhersehen, wie böswillige Nutzer versuchen könnten, diese Verbote zu umgehen. Der Ansatz stützt sich auf Traditionen wie «Privacy by Design» (mittlerweile in Artikel 25 der DSGVO verankert) und schlägt analoge proaktive Verpflichtungen für ethische KI vor. Klare Nutzungsrichtlinien und Aufklärung sind ebenfalls von entscheidender Bedeutung – Plattformen, die generative KI einsetzen, sollten Missbrauch ausdrücklich verbieten und möglicherweise eine Überwachung auf Benutzerebene auf verdächtige Aktivitäten hin einführen (unter gebührender Berücksichtigung des Datenschutzes). Hier besteht ein empfindliches Gleichgewicht zwischen Überwachung und Sicherheit. Wenn jedoch jemand beispielsweise Dutzende von gewalttätigen Manifesten mit einer KI generiert, könnte der Anbieter zu Recht eingreifen oder dies als unangemessen melden. Ethisch gesehen haben Entwickler eine Treuepflicht gegenüber den Endnutzern und der Öffentlichkeit und müssen sicherstellen, dass ihre KI nicht ohne Weiteres gegen gesellschaftliche Interessen eingesetzt werden kann. Diese Pflicht – analog zu treuhänderischen Verpflichtungen im beruflichen Umfeld – wurde in der Literatur zur KI-Ethik als Grundlage dafür diskutiert, von den Entwicklern von KI-Systemen zu verlangen, dass sie die Interessen und die Sicherheit der Nutzer sowie betroffener Dritter vor kommerziellen Zielen priorisieren. Sie findet teilweise rechtlichen Ausdruck in der Verpflichtung gemäss dem KI-Gesetz, wonach Anbieter von risikoreichen KI-Systemen angemessene Massnahmen zur menschlichen Aufsicht und Transparenz umsetzen müssen [Artikel 14 und 13].
Was die Durchsetzung betrifft, müssen die durch NIS2, das CRA und die KI-Verordnung ermächtigten Aufsichtsbehörden wachsam sein. Gemäss NIS2 sind die Mitgliedstaaten verpflichtet, nationale zuständige Behörden [Artikel 8] und Computer Security Incident Response Teams (CSIRTs) zu benennen; diese Rolle übernehmen beispielsweise das deutsche BSI (Bundesamt für Sicherheit in der Informationstechnik) und die französische ANSSI (Agence nationale de la sécurité des systèmes d’information). Gemäss dem CRA sind die Marktüberwachungsbehörden auf nationaler Ebene für die Durchsetzung zuständig [Artikel 58]. Die KI-VO sieht in jedem Mitgliedstaat nationale zuständige Behörden vor sowie auf EU-Ebene ein neu geschaffenes EU-KI-Büro innerhalb der Europäischen Kommission zur Überwachung von GPAI-Modellen [Artikel 64–70]. Diese Stellen sollten mit Cybersicherheitsbehörden wie der ENISA zusammenarbeiten und möglicherweise Spezialeinheiten einrichten, die sich auf die Sicherheit von KI-Systemen konzentrieren. Regelmässige Audits und Mechanismen zur Meldung von Vorfällen könnten dazu beitragen, die Einhaltung der Vorschriften sicherzustellen.
5.3 Rechtliche Klärung und Durchsetzung
Gesetzgeber und Gerichte sollten erwägen, zu klären, wie bestehende Gesetze auf KI-bezogene Vorfälle anzuwenden sind. Dies könnte Leitlinien zur Behandlung von «Prompt-basierten» Exploits im Rahmen der Gesetzgebung zur Cyberkriminalität beinhalten. Dabei könnte es sich beispielsweise um eine offizielle Stellungnahme handeln, wonach die Umgehung der Sicherheitsfunktionen einer KI an sich nicht rechtswidrig ist, sofern sie nicht mit anderen illegalen Inhalten in Verbindung steht, damit Forscher nicht durch die Angst vor Strafverfolgung abgeschreckt werden (ähnlich den Ausnahmen für «Sicherheitsforschung in gutem Glauben»). Umgekehrt könnten Gesetzgeber, falls bestimmter Missbrauch von KI grassiert und Schaden anrichtet, eng gefasste Gesetze erlassen, die gezielt auf dieses Verhalten abzielen (wie im Fall des Missbrauchs von Deepfakes). Jedes neue Gesetz sollte präzise formuliert sein, um zu vermeiden, dass harmloses Verhalten oder legitime Forschung unter Strafe gestellt werden. Was die Durchsetzung betrifft, müssen die durch NIS2, CRA und den AI Act ermächtigten Aufsichtsbehörden wachsam sein. Sie sollten mit Cybersicherheitsbehörden wie der ENISA zusammenarbeiten und möglicherweise Spezialeinheiten einrichten, die sich auf die Sicherheit von KI-Systemen konzentrieren. Regelmässige Audits und Mechanismen zur Meldung von Vorfällen könnten dazu beitragen, die Einhaltung der Vorschriften sicherzustellen – wenn beispielsweise bei einer grossen KI-Plattform ein bekannter «Jailbreak»-Vorfall auftritt, der zu Schäden führt, könnten die Behörden untersuchen, ob dies auf eine nachlässige Einhaltung der vorgeschriebenen Sicherheitsmassnahmen zurückzuführen ist.
5.4 Zusammenarbeit und Informationsaustausch
Die Bekämpfung von KI-Jailbreaks erfordert eine Zusammenarbeit zwischen Privatwirtschaft, Wissenschaft und Regierung. Eine positive Entwicklung könnte die Einrichtung einer Datenbank für KI-Sicherheitslücken oder eines Forums zum Informationsaustausch sein. Idealerweise sollte dies auf EU-Ebene verfolgt werden – aufbauend auf bestehenden EU-weiten Mechanismen wie dem CERT-EU-Netzwerk der ENISA und der EU-Datenbank für Cybersicherheitsschwachstellen (EUVD), die gemäss Artikel 12 der NIS2-Richtlinie vorgeschrieben ist –, wobei die Umsetzung auf nationaler Ebene durch die CSIRTs und die zuständigen Behörden der Mitgliedstaaten ermöglicht werden sollte. Die CRA [Artikel 14] verpflichtet Hersteller bereits dazu, aktiv ausgenutzte Schwachstellen an die nationalen CSIRTs und an die ENISA zu melden, was eine Grundlage bildet, auf der ein KI-spezifisches System zur Offenlegung von Schwachstellen aufgebaut werden könnte.
In anderen Bereichen gibt es aufschlussreiche Analogien. Im Bereich traditioneller Software-Sicherheitslücken bieten die «Common Vulnerabilities and Exposures» (CVE)-Datenbank von MITRE und die «National Vulnerability Database» (NVD) in den USA sowie die eigenen Sicherheitshinweise der ENISA Vorbilder für einen strukturierten, sektorübergreifenden Austausch von Informationen über Sicherheitslücken. Im Zusammenhang mit Material über sexuellen Kindesmissbrauch (CSAM) zeigen die Internet Watch Foundation (IWF) im Vereinigten Königreich und die CyberTipline des NCMEC in den USA, wie Tech-Unternehmen mit NGOs und Strafverfolgungsbehörden zusammenarbeiten können, um schädliche, durch KI erzeugte Inhalte aufzuspüren und zu entfernen. Ein KI-spezifisches Äquivalent – möglicherweise koordiniert durch das EU-KI-Büro – könnte eine ähnliche Funktion für durch «Jailbreak» ermöglichte Schäden erfüllen.
Strafverfolgungsbehörden und Technologieunternehmen könnten sich auch in Fällen abstimmen, in denen «Jailbreak»-KI in grossem Umfang für kriminelle Zwecke eingesetzt wird, wobei sie auf bestehende Rahmenwerke wie die von Europol koordinierte Joint Cybercrime Action Taskforce (J-CAT) der EU zurückgreifen könnten.
5.5 Sensibilisierung und Aufklärung der Öffentlichkeit
Schliesslich umfasst eine gesellschaftliche Reaktion auch die Aufklärung der Nutzer über die Grenzen und Risiken der KI. Wenn Einzelpersonen verstehen, dass die Ablehnung einer KI der Sicherheit dient, sind sie (mit Ausnahme derjenigen mit böswilliger Absicht) möglicherweise weniger versucht, nach «Jailbreak»-Aufforderungen zu suchen. Sensibilisierungskampagnen zu Deepfakes, KI-generierten Betrugsversuchen und Falschinformationen könnten die Auswirkungen dieser Taktiken verringern und damit den Anreiz für böswillige Akteure, die «Jailbreak»-KI nutzen, mindern. Die Öffentlichkeit sollte dazu ermutigt werden, Informationen zu überprüfen und sensationellen Inhalten skeptisch gegenüberzustehen, zumal KI deren Fälschung erleichtert. Dies steht im Einklang mit den Bestimmungen des KI-Gesetzes zur Kennzeichnung von KI-generierten Inhalten und zu Transparenzpflichten [Artikel 50 und 53], die den Nutzern helfen sollen, zu erkennen, wann etwas maschinell erstellt und möglicherweise manipuliert wurde.
6 Schlussfolgerung
Generative KI-Jailbreaks veranschaulichen den zweischneidigen Charakter fortschrittlicher Technologien. Sie erschliessen neue Möglichkeiten – im Guten wie im Schlechten – und stellen dabei unsere bestehenden Schutzmassnahmen auf die Probe. Aus ethischer Sicht zwingen sie uns dazu, die Verantwortung in der Interaktion zwischen Mensch und KI zu überdenken, und unterstreichen, wie wichtig es ist, KI so zu gestalten, dass sie auch unter Stress menschlichen Werten treu bleibt. Gesellschaftlich stellen sie konkrete Risiken für die Informationsintegrität, die Sicherheit und das Vertrauen dar – Probleme, die eine proaktive Haltung erfordern, damit wir nicht erst im Nachhinein auf Krisen reagieren müssen. Rechtlich gesehen befinden sich KI-Jailbreaks an der Schnittstelle zwischen Cybersicherheit, Daten-Governance und Inhaltsregulierung; sie decken Lücken in unseren Rahmenwerken auf, regen aber auch innovative Regulierungsmassnahmen an, wie beispielsweise die KI-Verordnung der EU, das diese aufkommenden Bedrohungen ausdrücklich anerkennt und zu mindern versucht.
Bei der Bewältigung von «Jailbreaks» generativer KI ist ein mehrgleisiger Ansatz unerlässlich. Technologen müssen KI-Systeme weiterhin gegen Manipulationen absichern; Ethiker und Sozialwissenschaftler sollten die Entwicklung von Normen und Erwartungen rund um den KI-Einsatz lenken, und der Gesetzgeber muss sicherstellen, dass Rechenschaftspflicht und Anreize auf die Schadensminimierung ausgerichtet sind. Der derzeitige Kurs der Europäischen Union – der aktualisierte Cybergesetze (NIS2, CRA, DORA) mit einer ehrgeizigen KI-spezifischen Verordnung verbindet – stellt einen umfassenden Versuch dar, diese Probleme auf politischer Ebene anzugehen. Die Zeit wird zeigen, wie wirksam diese Massnahmen sind und ob weitere rechtliche Neuerungen (oder sogar neue Strafbestimmungen) erforderlich sein werden, falls KI-gestützte Missbräuche zunehmen sollten.
Die Anpassung unserer ethischen Rahmenwerke an die Realität generativer KI-«Jailbreaks» erfordert mehr als nur eine Aktualisierung bestehender Grundsätze. Sie erfordert eine Neukalibrierung grundlegender Konzepte wie Verantwortung, Wohltätigkeit und Autonomie, um der verteilten und nicht-deterministischen Natur von durch KI verursachten Schäden Rechnung zu tragen. Rahmenwerke zur Verantwortlichkeit müssen erweitert werden, um KI-Entwickler, -Betreiber und -Aufsichtsgremien als mitverantwortliche Verwalter einzubeziehen – nicht nur die Endnutzer, die schädliche Ergebnisse auslösen. Der Grundsatz der Wohltätigkeit muss durch proaktive Designverpflichtungen (wie sie «Ethics-by-Design»-Rahmenwerke vorschlagen) operationalisiert werden, anstatt als nachträgliches Ziel behandelt zu werden. Und der Wert der Nutzerautonomie muss gegen die Tatsache abgewogen werden, dass eine uneingeschränkte KI-Nutzung negative externe Effekte für die Gesellschaft als Ganzes mit sich bringt. Dies könnte die Einführung relationaler oder kontextbezogener ethischer Ansätze erfordern, die konkurrierende Interessen entlang der gesamten Kette der KI-Entwicklung, -Einsatz und -Nutzung abwägen. Parallel dazu müssen rechtliche Institutionen anpassungsfähigere Mechanismen entwickeln – darunter regulatorische Sandboxes, Klauseln zur fortlaufenden Überprüfung in der KI-Gesetzgebung und internationale Koordination –, um mit der sich rasch entwickelnden «Jailbreak»-Bedrohung Schritt zu halten. Indem wir die düsteren Möglichkeiten (wie beispielsweise ein weit verbreitetes «Jailbreaking» von KI) vorhersehen und uns durch durchdachte Regulierung und Gestaltung darauf vorbereiten, haben wir bessere Chancen, die Vorteile der KI zu nutzen und uns gleichzeitig vor ihrem Missbrauch zu schützen. Im Bereich der KI und der Gesellschaft werden, wie auch in der Cybersicherheit im Allgemeinen, Resilienz und Wachsamkeit künftig unsere grössten Trümpfe sein.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Übersetzung Boris Wanzeck, Swiss Infosec AG
Teichmann, F. Generative AI jailbreaks as emerging cyberthreats: Ethical, legal, and societal implications. Int. Cybersecur. Law Rev. 7, 187–204 (2026).
https://doi.org/10.1365/s43439-026-00171-x
http://creativecommons.org/licenses/by/4.0/
Dem Text wurden Hyperlinks hinzugefügt.
KI-Governance, Security und Privacy
Unsere KI-, Governance-, Datenschutz- und Security-Spezialisten begleiten Sie bei der Erstellung der übergeordneten firmeninternen KI-Vorgaben, bei der Abwicklung von KI-Projekten, bei der Klärung von Einzelfragen und der Durchführung unabhängiger Audits. Ebenfalls unterstützen sie Organisationen in ihrer Rolle als Nutzer/Betreiber, Anbieter oder Entwickler von KI-Systemen sowohl nach Schweizer Recht als auch gemäss dem EU-AI Act.
Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch