Große Herausforderungen und zukünftige Ausrichtungen
10/2026
1 Einleitung
Seit der öffentlichen Veröffentlichung von ChatGPT im Jahr 2022 hat die KI rasante Fortschritte gemacht und eine Vielzahl von Anwendungsmöglichkeiten hervorgebracht. Allzweck-KI-Modelle sind leistungsfähiger und zunehmend benutzerfreundlicher geworden, wie Systeme wie ChatGPT zeigen, die den Zugang zur KI erweitern und die Erforschung potenziell nützlicher KI-Anwendungen fördern. Darüber hinaus haben maßgeschneiderte KI-Anwendungen, die für spezifische Aufgaben entwickelt wurden, neue Wege eröffnet und ermöglichen es Nutzern, KI-Systeme an ihre eigenen Bedürfnisse und Anwendungsszenarien anzupassen und sie gleichzeitig in externe Tools zu integrieren. So können Nutzer beispielsweise KI zur Aufgabenverwaltung mit ihren persönlichen Kalendern verknüpfen. Über die individuelle Anpassung hinaus ermöglicht die zunehmende Handlungsautonomie, die KI-Systemen eingeräumt wird, diesen, immer komplexere Arbeitsabläufe mit reduzierter menschlicher Aufsicht zu planen, zu koordinieren und auszuführen. Der Wandel hin zur agentischen KI spiegelt sich in der steigenden Beliebtheit autonomer Systeme wie OpenClaw wider, was verdeutlicht, dass sich KI von passiver Unterstützung hin zu proaktivem Handeln entwickelt.
Die Weiterentwicklung agentischer KI-Anwendungen stellt die Sicherheits- und Datenschutzforschung vor erhebliche Herausforderungen. Da KI-Agenten immer mehr Berechtigungen erhalten, um ihnen größere Autonomie zu gewähren, sind Nutzer zunehmend Sicherheits- und Datenschutzrisiken ausgesetzt. Zu den aufkommenden Bedrohungen zählen Prompt-Injection-Angriffe, eine Flut bösartiger Anwendungen auf KI-Plattformen sowie die Weitergabe sensibler personenbezogener Daten an KI-Anwendungen im Austausch für Komfort und Benutzerfreundlichkeit – oft getrieben durch anthropomorphes Vertrauen. Diese Entwicklungen unterstreichen, wie wichtig es ist, die Herausforderungen zu verstehen, die durch immer fortschrittlichere KI-Agenten entstehen, sowie die potenziellen zukünftigen Risiken agentischer KI zu antizipieren, bevor sich solche Schwachstellen tief in technologischen Infrastrukturen und der alltäglichen Praxis verankern. Eine Expertenbewertung ist unerlässlich und zeitgemäß, da sie es uns ermöglicht, relevante Bedrohungen zu erfassen und zu verstehen sowie potenzielle Wege zur Risikominderung zu bewerten – insbesondere angesichts der Tatsache, dass agentische KI bislang noch nicht systematisch unter dem Gesichtspunkt der nutzerorientierten Sicherheit und des Datenschutzes untersucht wurde.
In diesem Artikel stellen wir die Ergebnisse einer Zukunftsprognose vor, in der zentrale Sicherheits- und Datenschutzherausforderungen in agentischen KI-Systemen konzeptualisiert, die Hindernisse für eine wirksame Bewältigung dieser Herausforderungen untersucht und Richtungen für die zukünftige Forschung zur Überwindung dieser Hindernisse aufgezeigt wurden. Die Ergebnisse dieser Untersuchung bieten umsetzbare Implikationen für Forscher, politische Entscheidungsträger und Praktiker, die proaktiv an der Regulierung und Minderung der Risiken im Zusammenhang mit zunehmend autonomen KI-Technologien arbeiten möchten.
2 Thema 1: Wer ist verantwortlich? Rechtskonformität, Governance und Haftung
Agentische KI-Systeme erschweren die Einhaltung gesetzlicher Vorschriften, da die Verantwortung oft auf Handlungen, Akteure und technische Komponenten verteilt ist. Ein einzelner Arbeitsablauf kann ein Grundmodell, eine Orchestrierungsschicht, ein Abrufsystem, Tools von Drittanbietern, Nutzerdaten und nachgelagerte Dienste kombinieren, die von verschiedenen Parteien verwaltet werden. Da das agentische KI-System im Laufe der Zeit Handlungen plant, delegiert, ausführt und überarbeitet, wird es schwieriger zu ermitteln, wer eine relevante Entscheidung kontrolliert hat und wer für deren Folgen geradestehen sollte.
Das EU-Recht bietet einen nützlichen Ausgangspunkt. Gemäß der EU-Datenschutz-Grundverordnung (DSGVO) verpflichtet die Rechenschaftspflicht die für die Datenverarbeitung Verantwortlichen, für die Einhaltung von Grundsätzen wie Rechtmäßigkeit, Fairness und Transparenz verantwortlich zu sein und diese nachweisen zu können. Das EU-KI-Gesetz für KI-Systeme mit hohem Risiko enthält damit verbundene Pflichten, wie beispielsweise Aufbewahrungspflichten, technische Dokumentation, Transparenz für die Betreiber, menschliche Aufsicht und Überwachung nach dem Inverkehrbringen. Im Zusammenhang mit den Grundsätzen der Gleichheit und Nichtdiskriminierung weisen diese Regulierungsinstrumente auf drei Compliance-Anker für agentische KI hin: nachweisbare Rechenschaftspflicht, operative Transparenz und Schutz vor ungerechtfertigten oder diskriminierenden Ergebnissen.
Durch XAI-Methoden generierte Erläuterungsartefakte können zusammen mit Protokollen und Dokumentationen die Aufsicht, Anfechtung, Prüfung und Haftungsbeurteilung unterstützen. Sie sind jedoch für sich genommen keine Konformitätsmechanismen. Um die Einhaltung rechtlicher Vorschriften zu unterstützen, müssen sie das Systemverhalten getreu wiedergeben, für die jeweilige Zielgruppe geeignet sein und mit konkreten Pflichten, Rechten und Eingriffsbefugnissen verknüpft sein. Die Herausforderung für die Forschung besteht darin, rechtliche Anforderungen an Rechenschaftspflicht, Transparenz und Fairness in technische und organisatorische Mechanismen zu übersetzen, die über die Lieferketten agentischer KI, Handlungsverläufe und Änderungen nach der Einführung hinweg wirksam bleiben.
Menschliche Aufsicht und Verantwortung in fragmentierten Lieferketten
Agentische KI-Systeme werden selten von einem einzigen Akteur entwickelt oder betrieben. Ein eingesetzter Agent kann ein Basismodell, ein Orchestrierungs-Framework, Plugins oder Skills, eine Abrufinfrastruktur, benutzerspezifischen Speicher sowie Subagenten kombinieren, die von verschiedenen Mitwirkenden erstellt oder betrieben werden. Dies erschwert die Rechenschaftspflicht nicht etwa aufgrund fehlender Regulierung, sondern weil bestehende regulatorische Verpflichtungen in der Regel bestimmten Rollen, Einsatzkontexten oder Sektoren zugeordnet sind, die sich nicht eindeutig auf einen durchgängigen Workflow agentischer KI abbilden lassen. Das EU-KI-Gesetz beispielsweise weist Anbietern, Betreibern, Importeuren, Vertreibern und anderen Akteuren Verpflichtungen zu und verlangt, dass KI-Systeme mit hohem Risiko so konzipiert werden, dass Menschen sie wirksam überwachen können. Andere Rechtsordnungen schreiben verwandte, jedoch eher vertikale oder kontextspezifische Pflichten vor: Die DSGVO sieht Schutzmaßnahmen im Zusammenhang mit automatisierten Entscheidungen vor, einschließlich menschlicher Eingriffe in bestimmten Fällen; das EU-Gesetz über digitale Dienste zielt auf die Transparenz von Plattformen und Empfehlungssystemen ab; die EU-Medizinprodukteverordnung behandelt bestimmte medizinische Software als Medizinprodukt; und die überarbeitete EU-Produkthaftungsrichtlinie stellt klar, dass Software, einschließlich KI-Systemen, im Sinne der verschuldensunabhängigen Haftung als Produkt behandelt werden kann. Daher legen rechtliche Überlegungen zur XAI nahe, dass die Herausforderung der Rechenschaftspflicht bei agentischer KI vorsichtig formuliert werden sollte: Die Herausforderung besteht nicht einfach darin, Rechenschaftspflicht für agentische KI von Grund auf neu zu schaffen, sondern darin, derzeit fragmentierte, sektorale und rollenbasierte Pflichten über die gesamten Lieferketten der agentischen KI hinweg umsetzbar zu machen.
Die menschliche Aufsicht ist für das Verantwortungsproblem von zentraler Bedeutung. Sie sollte nicht darauf reduziert werden, einen Menschen nominell „in den Kreislauf“ einzubinden. Eine wirksame menschliche Aufsicht setzt voraus, dass die verantwortliche Person oder Organisation über ausreichende Kausalkraft zum Eingreifen, epistemischen Zugang zum Verständnis der relevanten Situation, Handlungsbefugnis sowie über Verfahren für Eskalation, Anfechtung und Abhilfe verfügt. Agenten-basierte KI-Systeme stellen jede dieser Anforderungen auf die Probe. Ein menschlicher Aufseher sieht möglicherweise nur das Endergebnis, obwohl die relevanten Ereignisse bereits früher im Rahmen eines Tool-Aufrufs, eines Abrufschritts, einer delegierten Teilaufgabe oder des Zugriffs auf Dienste von Drittanbietern stattfanden. Die benötigten Protokolle können unter der Kontrolle eines anderen Akteurs stehen. Der KI-Agent handelt möglicherweise schneller, als ein Mensch die Situation überprüfen könnte, oder präsentiert eine überzeugende Darstellung, die Automatisierungsvoreingenommenheit fördert. In solchen Fällen sind Dokumentation, Erklärungen und Prüfpfade für die menschliche Aufsicht notwendig, reichen jedoch nicht aus, sofern sie nicht mit tatsächlichen organisatorischen Verantwortlichkeiten verknüpft sind.
Aktuelle XAI- und Compliance-Technologien sollten daher eher als noch in den Kinderschuhen steckende Unterstützungsinfrastruktur betrachtet werden und nicht als Ersatz für menschliches und institutionelles Urteilsvermögen. Diese Vorsicht wird durch ein allgemeineres Problem in der Softwareentwicklung untermauert: Es ist schwierig, Dokumentation aktuell, vollständig und im Einklang mit sich weiterentwickelnden Systemen zu halten – selbst außerhalb des KI-Kontexts. Praktiker berichten von wiederkehrenden Problemen mit unzureichender, unangemessener, veralteter und mehrdeutiger Dokumentation, und Untersuchungen von Repositorien zeigen, dass Dokumentation leicht in Widerspruch zu der Implementierung geraten kann, die sie eigentlich beschreiben soll. Das Problem verschärft sich, wenn Dokumentation nicht nur zur Koordinierung der Entwicklung, sondern auch als Nachweis der Einhaltung gesetzlicher Vorschriften verwendet wird. So verlangt beispielsweise die technische Dokumentation gemäß dem EU-KI-Gesetz Informationen über den beabsichtigten Zweck, das Systemdesign, die Datenverwaltung, das Risikomanagement, die menschliche Aufsicht, die Leistung und die Überwachung nach dem Inverkehrbringen. Solche Elemente lassen sich nur schwer automatisieren, da sie von kontextbezogenen rechtlichen Beurteilungen, organisatorischen Verantwortlichkeiten und Nachweisen abhängen, die über Modelle, Datensätze, Protokolle, Werkzeuge und Bereitstellungspraktiken verteilt sein können.
Bei agentenbasierten KI-Systemen ist die Kluft zwischen Compliance-Artefakten und aussagekräftiger Überwachung noch größer, da die Überwachung nicht nur die Modellausgabe, sondern auch den Handlungsverlauf, die delegierten Entscheidungen, Datenoffenlegungen und sich ändernde operative Kontexte abdecken muss. Die Frage für die Forschung lautet nicht lediglich, ob eine Erklärung, ein Dokument oder ein Compliance-Bericht generiert werden kann, sondern ob dieser wahrheitsgetreu, aktuell und ausreichend umsetzbar ist, um eine kompetente Person oder Institution bei der Entscheidung zu unterstützen, wann die Handlung eines KI-Agenten zugelassen, gestoppt, rückgängig gemacht, eskaliert oder angefochten werden soll. Dies verbindet die Dokumentation direkt mit der Zuweisung von Verantwortung: Wenn Spuren, Erklärungen und Compliance-Artefakte nicht mit Sicherheit aufzeigen können, wer einen bestimmten Teil eines Arbeitsablaufs kontrolliert hat, welche Beweise verfügbar waren und wann ein Eingreifen möglich war, können sie keine sinnvolle behördliche Aufsicht oder Haftungsbeurteilung unterstützen.
Daraus ergibt sich die konkrete Forschungsmöglichkeit, Modelle zur Verantwortungszuweisung und zur menschlichen Aufsicht für agentische KI-Lieferketten zu entwickeln. Solche Modelle sollten die an einem Arbeitsablauf beteiligten Akteure identifizieren, die rechtliche oder organisatorische Rolle, die sie einnehmen, die Entscheidungen und Ressourcen, die sie kontrollieren, die Beweise, die zur Bewertung ihres Beitrags zu einem Vorfall erforderlich sind, sowie die Punkte, an denen die Pflichten zur Überwachung, zum Eingreifen, zur Entschädigung oder zur Abhilfe übertragen werden sollten. Außerdem sollten sie festlegen, wann eine Zertifizierung einmalig erfolgen kann und wann sie eine kontinuierliche Überprüfung erfordert, wer Abweichungen nach der Bereitstellung überwacht, wer befugt ist, die Genehmigung auszusetzen oder zu widerrufen, welche Nachweise eine Rezertifizierung rechtfertigen und wie sich die Aufsichtspflichten ändern, wenn ein KI-Agent aktualisiert, neu konfiguriert oder mit neuen Tools verbunden wird.
Fehler zurückverfolgen, ohne die Privatsphäre zu gefährden
Die Rechenschaftspflicht hängt letztlich von der Rückverfolgbarkeit ab, d. h. von der Fähigkeit, die relevanten Umstände zu rekonstruieren, unter denen ein agentisches KI-System gehandelt hat, einschließlich der Akteure, Artefakte, Daten, Modellversionen, Genehmigungen und des betrieblichen Kontexts, die an der Erzeugung des jeweiligen Ergebnisses beteiligt waren. Fehler müssen über den gesamten Entwicklungs- und Bereitstellungsstapel hinweg nachvollziehbar sein – von der Datenkuratierung, dem Vortraining, der Feinabstimmung, der Anpassung, der Bewertung, der Bereitstellung und der Inferenz bis hin zur Überwachung nach der Bereitstellung und der Reaktion auf Vorfälle –, damit die Verantwortung in konkreten Lebenszyklusphasen lokalisiert werden kann, anstatt über das gesamte System verteilt zu sein.
Doch die Rückverfolgbarkeit schafft ein Paradoxon. Die Mechanismen, die zur Gewährleistung der Rechenschaftspflicht erforderlich sind – wie das Protokollieren von Benutzerkennungen, das Versehen von Sitzungen mit Wasserzeichen, das Aufzeichnen von Interaktionsmetadaten und das Aufbewahren ausgewählter Inhalte zur Überprüfung von Vorfällen –, können selbst Formen der Überwachung darstellen, die die Privatsphäre untergraben, die diese Systeme eigentlich schützen sollen. Diese Spannung ist in Kontexten mit hohem Risiko am stärksten. So muss beispielsweise ein medizinischer KI-Agent, der katastrophale Fehler verursachen kann, überprüfbar sein, doch der Prüfpfad kann vertrauliche Patientendaten enthalten. Ebenso muss ein Sicherheits-KI-Agent, der Haushaltsgeräte überwacht, selbst überwacht werden, was die Frage aufwirft, wer den Wächter überwacht und was geschieht, wenn die zum Schutz der Nutzer konzipierte Überwachung von anderen Akteuren, die Zugriff auf dieselben Daten haben, für andere Zwecke genutzt wird. Die Lösung des Paradoxons der KI-Rückverfolgbarkeit ist keine rein technische Angelegenheit, sondern erfordert normative Abwägungen, die Rechenschaftspflicht gegen Datenminimierung, Speicherbegrenzung, Vertraulichkeit und Zugriffskontrolle abwägen.
Die Forschungsaufgabe besteht darin, auf Rechenschaftspflicht ausgerichtete Provenienzmechanismen zu entwickeln, die eine unnötige Offenlegung personenbezogener Daten minimieren und gleichzeitig die für eine Überprüfung erforderlichen Nachweise bewahren. Vielversprechende Ansätze umfassen mehrschichtige Prüfpfade, datenschutzkonforme Protokollierung, rollenbasierten Zugriff auf Vorfallprotokolle, kryptografische Integritätsprüfungen, selektive Offenlegung sowie Aufbewahrungsregeln, die zwischen routinemäßigen Interaktionsdaten und relevanten regulatorischen Nachweisen unterscheiden. Diese Mechanismen sollten dahingehend bewertet werden, ob die verschiedenen Interessengruppen (d. h. Entwickler, Betreiber, Regulierungsbehörden, betroffene Nutzer und Gerichte) die Rechenschaftsfragen beantworten können, zu deren Stellung sie berechtigt sind, ohne dass ihnen Zugriff auf irrelevante personenbezogene Daten gewährt wird.
Definition von Grenzen, Metriken und Bedrohungsmodellen
Rechenschaftspflicht setzt eine Definition des Begriffs „Verstoß“ voraus. Bei agentenbasierten KI-Systemen sollten Verstöße nicht auf explizite Sicherheitsverletzungen oder Aufgabenausfälle beschränkt sein, da sie auch schädliche Verhaltensabweichungen umfassen, wie beispielsweise sozial diskriminierende Ergebnisse, unsichere Empfehlungen, Manipulation, Unterwürfigkeit oder Anfälligkeit für kognitive Verzerrungen in Eingabeaufforderungen, Daten und Interaktionsverläufen. Ohne explizite Grenzen dafür, was ein KI-Agent tun darf, und ohne explizite Kriterien dafür, wann sein Verhalten schädlich wird, können Organisationen die Einhaltung von Vorschriften nicht sinnvoll messen, Abweichungen nicht identifizieren und Fehler nicht zuordnen. Die Festlegung solcher Grenzen ist an sich schon eine erhebliche Herausforderung. KI-Agenten sind nicht deterministisch, passen sich dem Kontext an, interagieren mit Tools und verhalten sich anders, wenn sie mit anderen KI-Agenten verkettet sind, als wenn sie isoliert bewertet werden. Verzerrungen können sich daher über mehrstufige Arbeitsabläufe hinweg ausbreiten oder verstärken. So können beispielsweise ein voreingenommenes Suchergebnis, eine suggestive Benutzeraufforderung oder eine unterwürfige Zwischenantwort nachfolgende Tool-Aufrufe und Entscheidungen in einer Weise beeinflussen, die sich nur schwer einer einzelnen Komponente zuordnen lässt.
Dies motiviert zu Bewertungen, die Verzerrungsanfälligkeit und schädliches Handeln als Probleme der Rechenschaftspflicht behandeln und nicht lediglich als Mängel der Modellqualität. Jüngste Arbeiten haben gezeigt, dass LLMs bei der Entscheidungsfindung ein kognitiven Verzerrungen ähnliches Verhalten zeigen können, dass benutzerorientiertes Training unterwürfige Antworten gegenüber wahrheitsgemäßen begünstigen kann und dass KI-Agenten, die Werkzeuge nutzen, spezielle Benchmarks zur Bewertung der Schädlichkeit erfordern, da der mehrstufige Einsatz von Werkzeugen Formen des Missbrauchs ermöglichen kann, die bei einer Bewertung im Stil von Chatbots nicht erfasst werden. Im Kontext der Softwareentwicklung unterstreichen Belege dafür, dass Allzweck-KI-Systeme anfällig für durch Eingabeaufforderungen und Daten induzierte kognitive Verzerrungen sind, sowie Erkenntnisse, dass LLMs unter realistischen sicherheitsrelevanten Einschränkungen – wie der Lokalisierung von Schwachstellen innerhalb von Dateien – versagen können, die Notwendigkeit, das Verhalten von Agenten unter einsatzähnlichen Bedingungen zu testen, anstatt sich allein auf vereinfachte Benchmarks zu beschränken.
Eine robuste Rechenschaftspflicht erfordert einen strukturierten Prozess vor der Inbetriebnahme, um die Funktionsweise des Systems zu verstehen, Bedrohungsmodelle zu erstellen und eine Ursache-Wirkungs-Analyse auf Systemebene vor der Freigabe durchzuführen – und nicht erst, nachdem Vorfälle eingetreten sind. Bei agentenbasierten KI-Systemen muss die Analyse vor der Bereitstellung Kaskadeneffekte berücksichtigen, bei denen das Versagen, die Manipulation oder die Fehlkonfiguration eines KI-Agenten Ausfälle bei abhängigen KI-Agenten auslöst, sowie die KI-Agenten-spezifischen Risiken, die durch Autonomie, den Einsatz von Werkzeugen, Nichtdeterminismus, die Identität des Agenten und die Kommunikation zwischen KI-Agenten entstehen. Eine solche Analyse muss zudem über die klassische Sicherheitspraxis hinausgehen, um komplexe Aufgaben zu bewältigen, die den Einsatz externer Werkzeuge beinhalten, wobei eine einzige Benutzeranweisung lange Ketten voneinander abhängiger Teilaktionen auslösen kann, sodass die Zuordnung mit jedem nachfolgenden Schritt schwieriger nachzuverfolgen ist. Die Analyse muss zudem der Größenordnung Rechnung tragen. In Umgebungen, die von KI-Agenten durchdrungen sind, kann die Anzahl der interagierenden Komponenten die Denkfähigkeit eines menschlichen Analysten übersteigen, was darauf hindeutet, dass die Bedrohungsmodellierung und die Überwachung selbst möglicherweise KI-Unterstützung benötigen.
Verantwortlichkeit von vornherein einplanen, statt sie nachträglich zu beheben
Anstatt die Verantwortung erst nach einem Versagen zuzuweisen, können KI-Agenten so konzipiert werden, dass Rechenschaftspflicht Teil ihrer Betriebsarchitektur ist. In Multi-Agenten-KI-Systemen kann Rechenschaftspflicht sowohl als normativer als auch als struktureller Mechanismus behandelt werden. KI-Agenten erstellen, tauschen und speichern Aufzeichnungen über Verpflichtungen, Handlungen, Ausnahmen und Fehler, wodurch andere in die Lage versetzt werden, diese Aufzeichnungen anzufechten oder darauf zu reagieren. Für agentische KI-Systeme deutet dies auf eine Forschungsrichtung hin, die sich mit selbstverantwortlichen KI-Agenten befasst, d. h. mit agentischen KI-Systemen, die nicht nur nachverfolgen, wer was getan hat, sondern auch Handlungen kennzeichnen, die unfair, unzumutbar oder inakzeptabel sein könnten, relevante Parteien vor riskanten Entscheidungen warnen, Kritik oder Debatten von anderen KI-Agenten einholen und ihren eigenen Beitrag zu Fehlern melden. Solche KI-Systeme können die Rechenschaftspflicht von einer reaktiven Rekonstruktion hin zu einer bereits bei der Entwicklung integrierten Eigenschaft des KI-Agenten selbst verlagern.
Allerdings ist es schwierig, einen solchen Wandel zu erreichen, da Fairness, Verantwortung und akzeptables Risiko in rechtlichen, kulturellen oder institutionellen Kontexten nicht einheitlich verstanden werden. Agenten-basierte KI-Systeme können über Rechtsordnungen, Kulturen und organisatorische Umgebungen hinweg agieren, in denen widersprüchliche Annahmen hinsichtlich Fairness, Autonomie, akzeptablem Risiko und Ressourcenverteilung bestehen. So könnte beispielsweise ein Finanz-KI-Agent, der auf Effizienzmaximierung ausgelegt ist, wohlhabende und wirtschaftlich benachteiligte Nutzer unterschiedlich behandeln, da die im KI-System verankerten Optimierungskriterien implizit Rentabilität oder Haftungsminimierung gegenüber einer gerechten Behandlung aller Nutzer priorisieren. Ein solches Verhalten kann selbst ohne explizite diskriminierende Absicht entstehen, da Trainingsdaten, institutionelle Anreize und historische Entscheidungsmuster bestehende soziale Hierarchien widerspiegeln. Verantwortungsbewusste KI-Agenten müssen daher explizit darlegen, welches Fairness-Konzept umgesetzt wird, wer die Befugnis hat, dieses zu definieren, und wie Fairness-Standards hinterfragt oder überarbeitet werden können.
Eine eng damit verbundene Frage ist, wo ethisches Verhalten in der Systemarchitektur angesiedelt werden sollte. Viele aktuelle Ansätze zur Ausrichtung wenden ethische und sicherheitsrelevante Schutzmaßnahmen durch Interventionen nach dem Training an, wie beispielsweise die Feinabstimmung von Anweisungen, Reinforcement Learning from Human Feedback (RLHF), Reinforcement Learning aus KI-Feedback oder konstitutionelle Selbstkritik, die auf vortrainierte Fähigkeiten aufgesetzt wird. Obwohl solche Sicherheitsmechanismen nach dem Training wichtig sind, bleiben sie anfällig, wenn Sicherheitsziele mit den Modellfähigkeiten in Konflikt stehen oder sich nicht auf Bereiche verallgemeinern lassen, in denen diese Fähigkeiten bereits vorhanden sind. Ein nachhaltigerer Ansatz würde Verantwortlichkeits- und Wertkriterien über die gesamte Datenkuratierung, das Vortraining, die Feinabstimmung, die Bewertung, den Einsatz und die Überwachung hinweg integrieren, anstatt Ethik als abschließende Anpassung zu behandeln. Die Integration von Verantwortlichkeit über den gesamten Lebenszyklus hinweg wirft jedoch schwierige Fragen auf, die sich nicht darauf reduzieren lassen, zu entscheiden, welches Wissen ein Modell enthalten sollte oder nicht. Dasselbe Wissen oder dieselbe Fähigkeit kann je nach Aufgabenstellung, Nutzerabsicht, betroffenen Parteien, institutionellem Umfeld und nachgelagerten Konsequenzen vorteilhaft oder schädlich sein. In manchen Fällen reichen sogar Kontextinformationen nicht aus, um die angemessene Vorgehensweise zu bestimmen, da ethische Urteile mit Unsicherheit, konkurrierenden Werten und umstrittenen Normen verbunden sein können. Kleine, zweckgebundene Modelle für abgegrenzte Aufgaben bieten einen ergänzenden Ansatz, da ihr engerer Anwendungsbereich es möglicherweise einfacher macht, sicherheitsrelevante Kontexte, zulässige Handlungen und Sicherheitseigenschaften zu spezifizieren, zu testen und zu prüfen als bei universellen KI-Systemen, die zur Ausführung spezialisierter Aufgaben eingesetzt werden.
XAI kann zu dieser Agenda beitragen, wenn es als Teil eines Verantwortlichkeitsstacks und nicht als eigenständige Transparenzebene betrachtet wird. Die globale Regelextraktion, die neuronengestützte Regelermittlung und die quellgetreue Erklärungsplanung können Ermittlern helfen, Verhaltens(un)regelmäßigkeiten zu verstehen, Mechanismen zu lokalisieren und Ergebnisse mit Beweisen zu verknüpfen. Die offene Frage ist, wie diese Methoden mit Protokollen, Berechtigungen, Prüfpfaden, organisatorischen Verfahren und rechtlichen Standards kombiniert werden können, um umsetzbare Kontroll- und Abhilfemaßnahmen zu unterstützen.
Selbstverantwortlichkeit und architektonisch eingebettete Ethik erweitern die Angriffsfläche eher, als dass sie sie beseitigen. Angreifer könnten genau jene Mechanismen ins Visier nehmen, die eigentlich die Verantwortlichkeit gewährleisten sollen, indem sie die Selbstüberwachung eines KI-Agenten umgehen oder Wege finden, dessen eingebettete Einschränkungen zu umgehen. Allgemeiner betrachtet deuten Untersuchungen zur Täuschung durch KI darauf hin, dass fortgeschrittene KI-Systeme Verhaltensweisen erlernen oder zeigen können, die Fehlausrichtungen verbergen, Handlungsgründe strategisch falsch darstellen oder Sicherheitstrainings so durchführen, dass ein falscher Eindruck von Sicherheit entsteht. Obwohl nicht garantiert ist, dass KI-Agenten zwangsläufig lernen, Schuld von sich abzuwälzen, unterstreicht die bloße Existenz dieser Möglichkeit, dass Mechanismen der Rechenschaftspflicht selbst als Objekte der Gestaltung, des Angriffs, der Verteidigung und der kontinuierlichen Neubewertung über den gesamten Systemlebenszyklus hinweg behandelt werden müssen.
3 Thema 2: Was können Nutzer genehmigen und wie? Einwilligung, Daten und Kontext
Die Einwilligung dient seit langem als Eckpfeiler von Datenschutzrahmenwerken, doch die Annahmen, die vielen aktuellen Einwilligungsmechanismen zugrunde liegen, sind für agentische KI-Systeme schlecht geeignet. Bestehende Modelle behandeln die Einwilligung in der Regel als ein einmaliges, isoliertes Ereignis, das eine Person einem Dienst für einen bestimmten Zweck erteilt. Agentische KI verstärkt diese Einschränkungen, da sich Aktionen über mehrstufige Arbeitsabläufe mit Ausweichmöglichkeiten und Wiederholungsversuchen erstrecken können, KI-Agenten ohne menschliche Anwesenheit im Namen der Nutzer handeln und eine einzelne übergeordnete Aufgabe eine Kaskade von Unteraktionen auslösen kann, an denen mehrere Dienste und andere KI-Agenten beteiligt sind. Dieselben Probleme erstrecken sich auf die Daten, auf die sich KI-Agenten stützen, sowie auf die kontextuellen Rahmenbedingungen, die bislang das theoretische Gerüst für den Datenschutz in Computersystemen gebildet haben.
Ein neues Verständnis der Einwilligung für mehrstufige und multiagentische Arbeitsabläufe
In herkömmlichen Szenarien stimmt ein Nutzer einer Aktion zu, die Aktion wird ausgeführt, und die Einwilligung ist damit erfüllt. Agentenbasierte KI-Workflows verkomplizieren jeden Schritt dieser Abfolge. Eine einzelne delegierte Aufgabe kann viele Teilaktionen umfassen, von denen einige fehlschlagen und Ausweichversuche auslösen, wobei bei jedem Versuch potenziell unterschiedliche Daten an unterschiedliche Parteien weitergegeben werden. Beispielsweise könnte ein KI-Agent, der den Auftrag hat, eine Reservierung in einem Restaurant vorzunehmen, die Adresse des Nutzers an einen ersten Anbieter weitergeben; scheitert dieser Reservierungsversuch, ist die Adresse bereits offengelegt worden, bevor der KI-Agent ein anderes Restaurant erreicht, mit dem der Nutzer möglicherweise lieber zusammengearbeitet hätte. Selbst teilweise oder rückgängig gemachte Transaktionen können dauerhafte Spuren hinterlassen und eine qualitativ andere Datenschutzsituation schaffen als jene, für deren Bewältigung die aktuellen Rahmenwerke konzipiert wurden. Die gleiche Logik liegt dem klassischen „Confused-Deputy“-Problem in Form agentischer KI zugrunde: Ein KI-Agent, dem weitreichende Berechtigungen gewährt wurden, um effektiv zu funktionieren, wird sowohl zum Zugriffsmechanismus als auch zur Zugriffskontrolle, und ein Nutzer kann ihn dazu überreden, Daten abzurufen, auf die der Nutzer eigentlich keinen Zugriff haben sollte.
Das Problem verschärft sich, wenn KI-Agenten miteinander kommunizieren. Wenn ein Nutzer seine Einwilligung während eines delegierten Arbeitsablaufs widerruft, wird dieser Widerruf möglicherweise nicht lückenlos weitergegeben. So könnte beispielsweise ein anderer KI-Agent weiterhin davon ausgehen, dass die Einwilligung noch gültig ist, und nachgelagerte Datenempfänger könnten sensible Nutzerdaten bereits erhalten und gespeichert haben. Ohne einen klar definierten Geltungsbereich kann sich die Einwilligung praktisch unbegrenzt ausbreiten und Menschen in Interaktionen mit Parteien verwickeln, denen sie niemals den Zugriff auf oder die Nutzung ihrer Daten gestatten wollten. Eine naive Reaktion wäre es, für jede Entscheidung eine ausdrückliche Einwilligung einzuholen, doch ein solcher Ansatz dürfte scheitern, wie der Web-Kontext zeigt, in dem Banner zur Cookie-Einwilligung eher zu Gewöhnung als zu einer informierten Einwilligung geführt haben. Bei Entscheidungen mit hoher Sensibilität kann die Einwilligung als Sicherheitsprimitiv behandelt werden – wobei eine Authentifizierung anstelle einer Ja/Nein-Abfrage erforderlich ist – oder durch hybride Architekturen durchgesetzt werden, die fest programmierte Sperren für bestimmte Aktionen implementieren, während die übrige Entscheidungsfindung des KI-Agenten flexibel bleibt. Zwar besteht ein praktischer Ansatz darin, Protokolle und Assistenten so zu gestalten, dass die Häufigkeit, mit der der KI-Agent Menschen um Einwilligung bittet, minimiert wird (z. B. indem er lernt, was der Nutzer wünscht, und nur dann fragt, wenn der KI-Agent von seinem erwarteten Pfad abweicht, anstatt bei jedem Schritt), doch bleibt offen, wo die Schwelle für die Einwilligungsabfrage gesetzt werden soll. Auch in agentenbasierten KI-Kontexten kann Einwilligung nicht als statisch betrachtet werden. Dieselbe Autorisierung kann heute ein anderes Gewicht haben als gestern, selbst bei einer scheinbar identischen Aufgabe. Darüber hinaus ist die Einwilligung nicht immer individuell. Wenn KI-Agenten im Namen mehrerer Parteien handeln, werden Gruppeneinwilligungen und Verhandlungsprotokolle notwendig, und von den Handlungen eines KI-Agenten betroffene Außenstehende, die nie mit ihm interagiert haben, werfen die weitere Frage auf, wessen Einwilligung für Auswirkungen maßgeblich ist, die über die ursprüngliche autorisierende Partei hinaus auch andere betreffen.
Neudefinition von Sensibilität, Zweck und Gedächtnis
Die Datenpraktiken, die der Einwilligung zugrunde liegen, erfordern eine ebenso grundlegende Überarbeitung. Bestehende Klassifikationen sensibler Daten reichen für agentische KI-Systeme nicht aus, in denen die Sensibilität stark kontextabhängig ist und sich eher aus Schlussfolgerungen als aus direkter Offenlegung ergeben kann. Die Handlungen eines KI-Agenten können selbst Informationen über Personen preisgeben, selbst wenn keine sensiblen Daten explizit übertragen werden. Beispielsweise könnte ein KI-Agent, der dem Nutzer vorschlägt, joggen zu gehen, und dabei abgelehnt wird, implizit etwas über den körperlichen Zustand dieser Person erfahren haben, und ein KI-Agent, der häufig gebeten wird, Nachrichten vorzulesen, kann Rückschlüsse auf das Sehvermögen des Nutzers ziehen. Auch Kontexte, die scheinbar wenig sensibel sind, können dennoch Signale liefern, die reich an Rückschlüssen sind. So kann beispielsweise ein Assistent für die Haustierbetreuung, der im Auftrag einer Person Lieferungen plant, dazu missbraucht werden, darauf zu schließen, dass das Haus leer ist, was Möglichkeiten für Phishing oder andere gezielte Betrugsversuche eröffnet. Bestehende Datenklassifizierungen, die auf einem relativ festen Begriff der intrinsischen Sensibilität basieren, erfassen solche neu entstehenden Sensibilitäten nicht, und die Frage, wer für die Entwicklung geeigneterer Taxonomien verantwortlich sein sollte, bleibt offen.
Das Gedächtnis verschärft das Problem noch. KI-Agenten beziehen einen Großteil ihres Nutzens daraus, dass sie den Zustand über Interaktionen hinweg aufrechterhalten. Je mehr sich dieser Zustand ansammelt, desto lockerer wird die Verbindung zwischen der Datenerfassung und dem definierten Zweck. Heute gespeicherte Informationen können morgen auf unvorhergesehene Weise kombiniert werden. Datenminimierung, -aufbewahrung und -löschung werden erheblich schwieriger, wenn das Gedächtnis eines KI-Agenten mit der Aufgabenerfüllung verflochten ist, was zu einer strukturellen Spannung zwischen Datenschutz und den Fähigkeiten agentischer KI führt, für deren Bewältigung die aktuellen Datenschutzrahmen nicht gut gerüstet sind. Infolgedessen erhält das Gedächtnis eines KI-Agenten selbst den Charakter einer Sicherheitseigenschaft. Ein Angreifer, der verändern oder selektiv beeinflussen kann, was ein KI-Agent in seinem Gedächtnis speichert, kann Menschen effektiv manipulieren oder das zukünftige Verhalten des KI-Agenten verzerren. Darüber hinaus steht das Recht auf Löschung vor der praktischen Schwierigkeit, gespeicherte Erfahrungen vom Betriebszustand zu entflechten.
Eine Antwort auf diese Herausforderungen könnte darin bestehen, agentische KI-Systeme so zu konzipieren, dass sie in lokal kontrollierten, datenschutzkonformen Umgebungen statt in undurchsichtigen oder zentral verwalteten Infrastrukturen betrieben werden. Zu solchen Ansätzen gehören die Verarbeitung auf dem Endgerät oder innerhalb einer Institution, bei der datenschutzrelevante oder kontextsensitive Daten den abgegrenzten Kontext nicht verlassen, sowie strukturierte Interaktionsschichten, die Eingaben einschränken oder filtern, bevor sie die Schlussfolgerungspipeline des KI-Agenten erreichen. Diese Strategien machen die Einwilligung, kontextbezogene Schlussfolgerungen oder Lösungen für speicherbezogene Herausforderungen zwar nicht überflüssig, könnten jedoch Unklarheiten verringern und den Umfang unsicherer oder unbeabsichtigter Handlungen begrenzen.
Kontexte jenseits der kontextuellen Integrität
Das Konzept der kontextuellen Integrität, wonach Informationsflüsse dann angemessen sind, wenn sie den Normen des Kontexts entsprechen, in dem die Informationen ursprünglich geteilt wurden [55], war in den letzten zwei Jahrzehnten ein grundlegender Ansatzpunkt für die Datenschutzforschung. Die Herausforderung, die von agentischer KI ausgeht, besteht nicht unbedingt darin, dass die kontextuelle Integrität aufgegeben werden sollte, sondern darin, dass die relevanten Kontexte, Normen und Werte möglicherweise schwer im Voraus zu identifizieren sind. KI-Agenten können gleichzeitig in vielen Kontexten agieren, eine einzelne Benutzeranweisung in Aktionen über verschiedene Dienste hinweg umsetzen und an der Gestaltung eben jener Interaktionsräume mitwirken, in denen Datenschutznormen gelten sollen.
Ob die kontextuelle Integrität überarbeitet, ergänzt oder ersetzt werden sollte, ist nach wie vor umstritten. Eine Position vertritt die Ansicht, dass die Theorie verworfen werden muss, um Platz für wirklich neue konzeptionelle Arbeiten zu schaffen, da es noch keinen Raum mit klar definierten Normen gibt, um darüber zu argumentieren, welche Informationsflüsse angemessen sind. Andere haben argumentiert, dass die der Theorie zugrunde liegende Intuition nach wie vor stichhaltig ist, ihre Operationalisierung sich jedoch an agentische KI-Umgebungen anpassen muss. Unabhängig davon ist offensichtlich, dass neue theoretische Arbeiten erforderlich sind, um ernsthaft zu untersuchen, inwiefern KI-Agenten selbst an der Gestaltung der Normen und Kontexte mitwirken, in denen sie agieren. Eine Möglichkeit, diese Lücke zu verdeutlichen, bietet der sogenannte „agentenbasierte KI-Kontext“: die Erkenntnis, dass Sicherheit und Datenschutz in agentenbasierten KI-Umgebungen neue konzeptionelle Rahmenwerke und neue technische Methoden erfordern und nicht lediglich eine Erweiterung bestehender. Ohne diese Arbeit werden die Mechanismen für Einwilligung und Datenverwaltung weiterhin auf Annahmen beruhen, die die agentenbasierte KI bereits zu untergraben begonnen hat.
4 Thema 3: Wem dient der Agent und wie? Menschliche Aufsicht, Personalisierung und Verletzlichkeit
Ein entscheidendes Versprechen der agentischen KI ist ihre Fähigkeit, mit reduzierter oder gar keiner menschlichen Aufsicht zu handeln. Diese Eigenschaft bildet den zentralen Spannungsbogen dieses Themas: Wie lässt sich eine sinnvolle menschliche Beteiligung bewahren, wie können vielfältige Bedürfnisse berücksichtigt und die am stärksten gefährdeten Personen geschützt werden, ohne dabei die Autonomie zu negieren, die agentische Systeme so wertvoll macht? Die Herausforderungen sind nicht nur technischer, sondern auch sozialer, ethischer und politischer Natur und betreffen die Art und Weise, wie KI-Agenten den Kontext wahrnehmen, ihre Handlungen personalisieren und die Position des Menschen im Laufe der Zeit neu definieren, während ihre Fähigkeiten wachsen.
Anpassung des Agentenverhaltens an menschliche Nutzer
Effektive agentische KI-Systeme müssen wissen, wann sie autonom handeln und wann sie sich den menschlichen Nutzern unterordnen müssen. Sie müssen dies auf eine Weise tun, die die tatsächlichen Präferenzen des menschlichen Nutzers widerspiegelt und nicht nur im Stil einer generischen Annäherung. Eine solche Abstimmung ist nicht trivial. KI-Agenten tun sich schwer damit, die Grenzen ihrer eigenen Kompetenz zu erkennen und Situationen zu identifizieren, in denen die Tragweite menschliches Urteilsvermögen erfordert. Diese Schwierigkeiten treten besonders akut in beruflichen Kontexten wie dem Gesundheitswesen zutage, wo menschliche Fachkräfte im Rahmen von Zulassungsregelungen, ethischen Kodizes und implizitem Wissen agieren, das KI-Agenten noch nicht nachbilden können. Ärzte beziehen bei der Diagnosestellung oft unzählige unausgesprochene Hinweise mit ein, während sich ein KI-Agent darauf verlassen muss, alle Signale zu erfassen, die digitalisiert werden können, was die Grundlage für Diagnosen zwangsläufig einschränkt. Zudem erfordert die autonome Reaktion auf eine einzelne übergeordnete Anforderung oft eine Abfolge mehrerer untergeordneter Handlungen. Die Entscheidung, wann und welche der Handlungen innerhalb dieser Abfolge ein KI-Agent an einen Menschen delegieren sollte und wie er dies tun kann, ohne genau die angestrebte Delegation zu stören, bleibt eine offene Herausforderung.
Die Personalisierung im Bereich der agentenbasierten KI verschärft die bereits bekannten Schwierigkeiten beim Umgang mit den Zielkonflikten zwischen Personalisierung und Datenschutz. Um Nutzer gut zu bedienen, müssen KI-Agenten wesentlich größere Teile ihrer alltäglichen Gewohnheiten und Präferenzen erfassen. Sobald diese Daten jedoch gesammelt sind, können sie in dieselbe werbegetriebene Tracking-Infrastruktur gelangen, die einen Großteil des gesamten Internets monetarisiert. Die Erfassung selbst ist datenschutzrelevant: Die Anpassung des Verhaltens eines KI-Agenten an die Lebensumstände eines Nutzers erfordert, dass dieser Nutzer mehr Informationen preisgibt, als üblicherweise von digitalen Diensten erfasst werden. Das Risiko ist in beide Richtungen gegeben. Eine Überpersonalisierung kann dazu führen, dass ein KI-Agent so stark auf einen einzelnen Nutzer abgestimmt ist, dass er dessen Vorurteile verstärkt oder gerade durch diese Abstimmung zu einem Vektor der Manipulation wird. Eine Unterpersonalisierung führt zu einem allgemeineren Verhalten, das den spezifischen Bedürfnissen einer Person oder eines Haushalts möglicherweise nicht gerecht wird, insbesondere in einer gemeinsam genutzten Umgebung, in der mehrere Personen mit demselben agentenbasierten KI-System interagieren. Es ist eine Herausforderung, personalisierte KI-Agenten so zu kalibrieren, dass sie individuelle Unterschiede respektieren, ohne die Nutzer durch ständige Neukonfigurationen zu überfordern.
Neudefinition von Verletzlichkeit und Intersektionalität für agentische KI-Kontexte
Verwundbarkeit in agentischen KI-Kontexten lässt sich nicht auf die Zugehörigkeit zu einer marginalisierten Gruppe reduzieren. Obwohl bestimmte Bevölkerungsgruppen gut dokumentierten Risiken ausgesetzt sind, die besondere Aufmerksamkeit erfordern, erzeugt agentische KI neue und aufkommende Formen der Verwundbarkeit, die Menschen in einem breiteren Sinne betreffen. Mit zunehmendem Vertrauen und zunehmender Abhängigkeit von einem KI-Agenten würden Menschen diesem mehr Informationen preisgeben und sich stärker auf ihn verlassen, wodurch sich das Machtgleichgewicht in der Mensch-Agent-Beziehung verschiebt. Je leistungsfähiger KI-Agenten werden, desto stärker sind Menschen potenziell exponiert und verwundbar. Der Übergang kann so schleichend verlaufen, dass er unbemerkt bleibt, bis Menschen bereits erhebliche sensible Informationen und Autonomie an KI-Agenten abgetreten haben. In dieser Hinsicht können geringfügige und anhaltende Einflüsse gefährlicher sein als offene Angriffe, da sie sich unterhalb der Schwelle des menschlichen Bewusstseins ansammeln. Veränderte emotionale oder affektive Zustände des Menschen aufgrund der langfristigen Nutzung agentischer KI können selbst zu einer bedeutenden Angriffsfläche werden.
Das traditionelle Konzept der Intersektionalität, das entwickelt wurde, um zu verstehen, wie sich die sich überschneidenden sozialen und politischen Identitäten eines Individuums (zum Beispiel ethnische Zugehörigkeit, Geschlecht, Klasse, Sexualität oder Behinderung) zu einzigartigen Formen von Diskriminierung oder Privilegien verbinden, erfordert im Kontext der agentischen KI sowohl eine Neukonzeption als auch eine Operationalisierung – und diese beiden Aufgaben lassen sich sinnvollerweise getrennt behandeln. Es besteht eine Spannung hinsichtlich des konzeptionellen Vokabulars selbst. Begriffe wie „Verwundbarkeit“ und „Intersektionalität“ sind mit einer Geschichte behaftet, die manche als klärend, andere hingegen als stigmatisierend empfinden. Keiner der beiden Begriffe erfasst den situativen, emergenten Charakter des Risikos agentischer KI eindeutig. Es bedarf neuer konzeptioneller Arbeiten, um zu verdeutlichen, was eine intersektionale Analyse für agentische KI-Systeme bedeuten könnte, und es bedarf neuer methodischer Arbeiten, um diese Analyse in sichere, geschützte und die Privatsphäre respektierende agentische KI-Technologien umzusetzen, die sowohl statisch als auch dynamisch entstehende Formen von Benachteiligung und Schaden erkennen.
Die Auseinandersetzung mit Vulnerabilität erfordert darüber hinaus Maßnahmen zur Förderung der KI-Kompetenz, die auf unterschiedliche Bevölkerungsgruppen mit unterschiedlichem technischem Fachwissen und unterschiedlichen Nutzungskontexten zugeschnitten sind. Nutzer können keine sinnvolle Kontrolle ausüben oder fundierte Entscheidungen über die Übertragung von Aufgaben treffen, wenn ihnen die Fähigkeit fehlt, die Fähigkeiten, Grenzen und Risiken von KI-Systemen, die in ihrem Namen handeln, zu bewerten. Die Herausforderung besteht darin, relevante Aufklärungsinformationen auf eine Weise bereitzustellen, die leicht verständlich, kontextsensitiv und praktisch anwendbar ist, ohne die Nutzer zu überfordern. Verschiedene Nutzergruppen benötigen möglicherweise unterschiedliche Formen der Unterstützung. So ist es beispielsweise unwahrscheinlich, dass Kinder, ältere Erwachsene, Fachkräfte, die in Umgebungen mit hohem Risiko tätig sind, und Personen mit begrenzter digitaler Kompetenz von identischen Aufklärungsinformationen oder Strategien zur Risikokommunikation profitieren.
Dies schafft einen umfassenderen Bedarf an leicht zugänglichen und neutralen Formen öffentlicher Leitlinien in Bezug auf agentische KI, einschließlich bewährter Verfahren für die sichere Nutzung, realistischer Erläuterungen der Einschränkungen und Mechanismen, die es Menschen ermöglichen, die Entscheidungen eines KI-Agenten bei Bedarf anzufechten oder zu überprüfen. Ohne solche Kompetenzen und Unterstützungsstrukturen könnte die Fähigkeit, sicher von agentischen KI-Systemen zu profitieren, ungleich verteilt sein, was bestehende soziale und wirtschaftliche Ungleichheiten zwischen denjenigen, die das Verhalten von KI-Agenten kritisch bewerten können, und denjenigen, die gezwungen sind, sich auf agentische KI-Systeme zu verlassen, die sie nicht vollständig verstehen, noch verstärken würde.
Unterscheidung zwischen Manipulation und emergentem Einfluss
Agentische KI-Systeme können das Nutzerverhalten durch Anstöße, Empfehlungen und andere Formen der Beeinflussung prägen. Dabei gilt folgende Definition: Zwang kann als Einschränkung der akzeptablen Alternativen einer Person verstanden werden, Überredung als offenes Appellieren an ihre Fähigkeit zur bewussten Abwägung und Manipulation als verdeckte Untergrabung oder Schwächung ihres Entscheidungsprozesses, oft durch Ausnutzung von Schwachstellen, ohne dass sie sich dessen bewusst ist. Für agentische KI besteht die Schwierigkeit darin, dass ähnliche Eingriffe normativ unterschiedlich bewertet werden können, je nachdem, wessen Interessen sie dienen, was der Nutzer versteht und ob sie die autonome Entscheidungsfreiheit bewahren oder untergraben. Beispielsweise kann ein KI-Agent, der einen Menschen dazu anregt, aufzustehen, weil Vitalparameter auf ein Gesundheitsrisiko hindeuten, die Interessen dieses Menschen unterstützen, während ein Agent, der denselben Anstoß in erster Linie gibt, um die Anforderungen eines Versicherers an die Einhaltung von Verhaltensregeln zu erfüllen, eine ausbeuterische Manipulation darstellen kann. Aktuelle Rahmenkonzepte unterscheiden in agentischen KI-Systemen noch nicht zuverlässig zwischen nützlicher Unterstützung, legitimer Überredung und Manipulation.
Das Problem wird durch die Daten verschärft, mit denen diese agentenbasierten KI-Systeme trainiert werden. KI-Modelle, die auf von Menschen erstellten Materialien trainiert wurden, können die in diesen Materialien vorhandenen manipulativen Strategien übernehmen und sie ohne explizite Anweisung reproduzieren. Das Verhalten eines KI-Modells könnte zudem bereits durch wenige, technisch nicht anspruchsvolle Eingabeaufforderungen manipulativ gestaltet werden. Infolgedessen bestehen im Umfeld agentischer KI mehrere unterschiedliche Einflussprobleme nebeneinander: (i) Menschen, die ihre KI-Agenten als Mittel einsetzen, um andere Menschen zu manipulieren; (ii) KI-Agenten, die die Menschen, mit denen sie interagieren, in einer Weise lenken, die deren autonome Entscheidungsfreiheit untergräbt; (iii) feindlich gesinnte Dritte, die KI-Agenten durch das Einschleusen von Eingabeaufforderungen oder durch „Jailbreaking“ manipulieren; und (iv) nicht feindlich gesinnte Dritte wie Werbetreibende, Plattformbetreiber, Modellentwickler oder Tool-Anbieter, die das Verhalten der Agenten durch Vertragsbedingungen, Standardeinstellungen oder kommerzielle Anreize beeinflussen. Jedes dieser Szenarien erfordert unterschiedliche Schutzmaßnahmen, und dieselben architektonischen Entscheidungen, die hilfreiche Anstöße ermöglichen, können auch automatisierte Überredung oder Social Engineering in großem Maßstab ermöglichen. Die operative Herausforderung besteht daher nicht nur darin, böswillige Manipulationen aufzudecken, sondern auch zu erkennen, wann rechtlich zulässige oder scheinbar routinemäßige Designentscheidungen zu Interessenkonflikten, versteckter Einflussnahme oder inakzeptablen Formen der Verhaltenssteuerung führen.
5 Thema 4: Was passiert, wenn etwas schiefgeht? Transparenz, Resilienz und Fehlerbehebung
Selbst ein gut konzipiertes agentenbasiertes KI-System kann versagen. Die relevante Frage ist nicht, ob Ausfälle auftreten, sondern ob sie erkannt, verstanden, eingedämmt und behoben werden können. Dieses Thema bündelt Herausforderungen hinsichtlich der Nachvollziehbarkeit des Verhaltens von KI-Agenten und der Fähigkeit soziotechnischer Systeme, Ausfälle abzufedern und sich daran anzupassen. Hier unterscheidet sich agentische KI deutlich von früheren Software-Generationen, da die betreffenden Systeme nicht deterministisch sind, zu strategischen Handlungen fähig sind und in Entscheidungsketten eingebettet sind, die kleine Fehler zu großen Konsequenzen verstärken können.
Black-Box-Verhalten verständlich machen
Die Undurchsichtigkeit großer KI-Modelle ist eine bekannte Herausforderung, doch agentische KI-Systeme erweitern diese in wesentlicher Weise. Eine einzelne Ausgabe eines KI-Modells lässt sich zumindest beobachten. Ein Nutzer, der eine mehrstufige Aufgabe an einen Agenten delegiert, hat jedoch möglicherweise kaum Einblick in die Zwischenschritte, die in seinem Namen bei jedem Schritt getroffen wurden, in die Daten, auf die der KI-Agent dabei zugegriffen hat, und in die alternativen Wege, die er in Betracht gezogen hat, bevor er sich für den eingeschlagenen Weg entschied. Erklärbarkeit im Kontext agentischer KI muss daher über die Begründungen für einzelne Entscheidungen hinausgehen und den Handlungsverlauf eines KI-Agenten nachvollziehbar machen, einschließlich der Überlegungen hinter den Entscheidungen, andere KI-Agenten hinzuzuziehen, Menschen einzubeziehen oder nach Fehlschlägen den Kurs zu ändern.
Die Lesbarkeit ist ebenfalls eine Eigenschaft der Daten, auf die sich ein KI-Agent stützt. Da ein immer größerer Anteil der System-Ein- und -Ausgaben selbst von KI-Systemen erzeugt wird, ist die Überprüfung der Authentizität und Herkunft dieser Daten ein zentrales Anliegen. Glaubwürdigkeit, Rückverfolgbarkeit und Überprüfbarkeit von Quellenangaben – die bereits in den Diskussionen zur Rechenschaftspflicht als Herausforderungen identifiziert wurden – sind auch hier von gleicher Bedeutung und müssen umgesetzt werden, ohne die Privatsphäre der Menschen zu beeinträchtigen, deren Interaktionen aufgezeichnet werden.
Prüfung nicht-deterministischer und sich selbst modifizierender Systeme
Herkömmliche Ansätze zur Qualitätssicherung gehen davon aus, dass sich ein in einer bestimmten Konfiguration getestetes Softwaresystem im Einsatz konsistent verhält. Agentenbasierte KI-Systeme widerlegen diese Annahme, da sie sich in Verbindung mit anderen KI-Agenten möglicherweise anders verhalten als bei einer isolierten Bewertung und im schlimmsten Fall den Bewertungsprozess selbst täuschen können, indem sie ihr Verhalten ändern, sobald sie erkennen, dass sie getestet werden. Optimistisch betrachtet lässt sich ein solches kontextabhängiges Verhalten von KI-Agenten als Erfolg bei der Nachahmung menschlichen Verhaltens werten: Auch Menschen ändern ihr Verhalten, wenn sie beobachtet werden (z. B. Selbstzensur) oder wenn sie mit verschiedenen Personen interagieren.
Die Unmöglichkeit, KI-Agenten als deterministische Systeme zu testen, ist eher ein strukturelles Merkmal ihres Designs als eine Einschränkung, die durch bessere Testmethoden überwunden werden kann. Selbst ein agentenbasiertes KI-System, das zuvor eine Prüfung, Bewertung oder Zertifizierung bestanden hat, kann aufgrund dynamischer Aktualisierungen, sich ändernder Tool-Integrationen oder Modifikationen durch Entwickler vom während der Bewertung beobachteten Verhalten abweichen.
Diese Eigenschaften bedeuten, dass eine einmalige Zertifizierung für KI-Agenten nicht ausreicht. Stattdessen ist eine kontinuierliche Überprüfung erforderlich, doch die Techniken, um diese in großem Maßstab durchzuführen, stecken noch in den Kinderschuhen. Es ist notwendig, KI-Agenten über einen längeren Zeitraum hinweg zu überwachen und festzustellen, wann Verhaltensabweichungen so erheblich sind, dass eine erneute Bewertung, Überprüfung oder Zertifizierung erforderlich wird – insbesondere, wenn der KI-Agent an Aufgaben mit hohem Risiko beteiligt ist. Ein vielversprechender Ansatz ist der Einsatz hybrider Architekturen, die deterministische Sicherheitsschranken mit nicht-deterministischer Entscheidungsfindung kombinieren, wobei bestimmte Aktionen durch fest programmierte Regeln eingeschränkt werden, während der Rest flexibel bleibt. Ein solcher Ansatz ist auch für die zuvor diskutierten Herausforderungen im Zusammenhang mit Einwilligung und Zugriffskontrolle relevant. Die Prüfung von KI-Agenten in großem Maßstab steht vor demselben rekursiven Problem, das zuvor im Zusammenhang mit der Bedrohungsmodellierung identifiziert wurde: Die Überwachungsaufgabe selbst erfordert möglicherweise KI-Unterstützung, und die Sicherheitsmerkmale der unterstützenden KI werden zu einer weiteren offenen Frage. Mit anderen Worten: Es ist noch nicht klar, ob die sichere und zuverlässige Prüfung des Verhaltens von KI-Agenten Menschen, nicht-agentischer KI oder anderen (zertifizierten) KI-Agenten anvertraut werden muss.
Vorwegnahme und Eindämmung von Kaskadenausfällen
Während Kaskaden bereits bei der Bedrohungsmodellierung vor der Bereitstellung antizipiert werden, stellt ihre Eindämmung, sobald sie einmal begonnen haben, ein separates Problem dar. Ein Ausfall in einem isolierten System ist auf das System selbst begrenzt; ein Ausfall in einem agentenbasierten KI-Ökosystem kann sich jedoch ausbreiten. Wenn KI-Agenten im Namen von Nutzern handeln und mit anderen KI-Agenten kommunizieren, kann ein einzelner fehlverhaltensbehafteter KI-Agent einen Dominoeffekt auslösen, der viele nachgelagerte Parteien betrifft. Wie bereits im Zusammenhang mit der Rechenschaftspflicht erörtert, besteht die operative Konsequenz darin, dass die Aktivitäten von Menschen und KI-Agenten in den Systemprotokollen miteinander verschmelzen, was es für herkömmliche Sicherheitsabläufe schwierig macht, protokollierte Aktionen eindeutig einer bestimmten Partei (Mensch oder KI-Agent) zuzuordnen.
Die Eindämmung solcher Kaskaden erfordert die Übernahme und Anpassung von Mechanismen aus benachbarten Bereichen. In dieser Hinsicht stehen Sandboxing- und Isolationstechniken vor einer verwandten, aber eigenständigen Schwierigkeit. Im Evaluierungskontext besteht die Sorge, dass ein zu testender KI-Agent seine Grenzen überschreiten könnte. Im Einsatz hingegen besteht die Sorge, dass der Handlungsraum eines KI-Agenten andere KI-Agenten umfasst, die beeinflusst oder technisch ausgenutzt werden könnten. Hierarchische Architekturen, in denen Agenten höherer Ebenen Agenten niedrigerer Ebenen überwachen und einschränken, bieten eine mögliche strukturelle Lösung. Allerdings stellt sich auf jeder Ebene erneut die Frage, wer den Wächter überwacht, was mit erheblichen Rechenkosten verbunden ist. Als Teilantworten wurden Laufzeitüberwachungstools analog zu Antivirensoftware für KI-Agenten-Ökosysteme, intelligente Firewalls, die den Datenverkehr der KI-Agenten regeln, sowie föderierte Frameworks, die die Aufsicht auf mehrere Parteien verteilen, vorgeschlagen. Keiner dieser Mechanismen ist bisher so ausgereift, dass er für einen sicheren Einsatz in der Praxis geeignet wäre, und die zugrunde liegende Schwierigkeit besteht darin, dass KI-Agenten die Vernetzung der Systeme übernehmen, in denen sie agieren: Eindämmungsstrategien müssen das Netzwerk berücksichtigen, in das ein KI-Agent eingebettet ist, und nicht nur den KI-Agenten selbst.
Aufbau von Resilienz als soziotechnische Eigenschaft
Resilienz ist mehr als die Fähigkeit, sich von einem Ausfall zu erholen. Ein resilientes agentenbasiertes KI-System muss Prävention, Vorbereitung, Erkennung, Wiederherstellung und Anpassung integrieren, wobei jede dieser Komponenten in einem Umfeld, in dem Ausfälle möglicherweise noch nicht aufgetreten sind, eine größere Herausforderung darstellt. Bestehende Schadensklassifikationen berücksichtigen oft nicht die Art von Schäden, die agentenbasierte KI-Systeme verursachen können, und das Lernen aus jedem neuen Ausfall birgt eigene Risiken. Ein KI-Agent, der sein Verhalten nach einem Fehler anpasst, kann dabei neue Schwachstellen schaffen oder sein Verhalten auf unbeabsichtigte oder unerwünschte Weise verändern.
Resilienz kann keine rein technische Eigenschaft sein. Die beteiligten Menschen sind nicht nur Endnutzer. Entwickler, Betreiber, Regulierungsbehörden und andere, die von den Handlungen eines KI-Agenten betroffen sind, spielen alle eine Rolle bei der Erkennung von Ausfällen, der Entscheidung darüber, was als sicher gilt, und der Gestaltung dessen, was der KI-Agent im Laufe der Zeit lernt. Menschen im Namen der Effizienz aus dem Resilienz-Kreislauf auszuschließen, birgt das Risiko, dass agentische KI-Systeme entstehen, die von ihrem ursprünglichen Zweck abweichen. Gleichzeitig birgt eine naive Einbeziehung von Menschen die Gefahr, dass die zuvor beschriebenen Probleme der „Einwilligungsmüdigkeit“ erneut auftreten.
Schließlich werden die Ressourcenanforderungen für Resilienz in Diskussionen über Sicherheit und Datenschutz oft übersehen. Die rechnerischen und ökologischen Kosten für den Betrieb, die Überwachung und die Prüfung agentischer KI-Systeme sind beträchtlich, und Fragen zur Hardware-Koordination, zum Energieverbrauch und zur Nachhaltigkeit vollständig agentengesteuerter Infrastrukturen überschneiden sich mit Sicherheit und Datenschutz auf eine Weise, die noch nicht ausreichend theoretisch erörtert wurde. Ein resilientes agentisches KI-Ökosystem muss langfristig aufrechterhalten werden können – nicht nur gegenüber Angreifern, sondern auch gegenüber den materiellen Einschränkungen der Umgebung, in der es operiert.
6 Schlussfolgerung
Dieser Artikel hat die drängendsten Herausforderungen in Bezug auf Sicherheit und Datenschutz dargelegt, die sich ergeben, wenn KI sich von passiver Unterstützung hin zu proaktivem, autonomem Handeln entwickelt. Die Herausforderungen sind in vier Themenbereiche gegliedert: Rechenschaftspflicht, Governance und Haftung; Einwilligung, Daten und kontextuelle Integrität; menschliche Aufsicht, Personalisierung und Verwundbarkeit; sowie Transparenz, Resilienz und Fehlerbehebung. Ein gemeinsames Muster zieht sich durch alle diese Themen. Die grundlegenden Konzepte der Sicherheits- und Datenschutzforschung – Einwilligung, kontextuelle Integrität, Rückverfolgbarkeit, Zertifizierung, Anfälligkeit – wurden für begrenzte, deterministische und zuordenbare Systeme entwickelt. Agenten-basierte KI verstößt gegen diese grundlegenden Annahmen und erfordert daher eher eine Neukonzeption als eine Verfeinerung. Ob der bestehende Begriffsapparat der Sicherheits- und Datenschutzforschung für das Zeitalter der agentischen KI ausreicht oder ob neben den bestehenden auch neue Risikokategorien benannt und theoretisch erfasst werden müssen, bleibt eine offene Frage, mit der sich die Forschungsgemeinschaft befassen muss.
Zur leichteren Lesbarkeit wurden das Kapitel zur Methodik und die Literatur und Quellverweise entfernt.
Übersetzung Boris Wanzeck, Swiss Infosec AG
Jenkins, Coté et al. in: arXiv:2607.06608
https://doi.org/10.48550/arXiv.2607.06608
https://creativecommons.org/licenses/by/4.0
Dem Text wurden Hyperlinks hinzugefügt.
KI-Governance, Security und Privacy
Unsere KI-, Governance-, Datenschutz- und Security-Spezialisten begleiten Sie bei der Erstellung der übergeordneten firmeninternen KI-Vorgaben, bei der Abwicklung von KI-Projekten, bei der Klärung von Einzelfragen und der Durchführung unabhängiger Audits. Ebenfalls unterstützen sie Organisationen in ihrer Rolle als Nutzer/Betreiber, Anbieter oder Entwickler von KI-Systemen sowohl nach Schweizer Recht als auch gemäss dem EU-AI Act.
Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch