Das Phänomen Deepfakes

05/2023

Künstliche Intelligenz als Element politischer Einflussnahme und Perspektive einer Echtheitsprüfung

1. Einleitung

Mit Künstlicher Intelligenz (KI) können Medien wie Bilder, Audios und Videos so verändert werden, dass Betrachter:innen die auf diese Weise entstandenen Deepfakes nicht ohne Weiteres als eine Manipulation erkennen können. Wie alle technischen Entwicklungen birgt auch KI-generiertes Bild-, Audio- und Videomaterial sowohl Potentiale für neue nützliche Anwendungen (z. B. für Unterhaltung, Kunst und Medizin) als auch Risiken und Gefahren, die im politischen Kontext bereits beobachtet werden können. Dass der demokratische Diskurs durch manipuliertes oder künstlich generiertes, aber echt wirkendes Bild-, Audio-, und Videomaterial beeinflusst werden kann, zeigen bereits Erfahrungen aus der Vergangenheit. Manipulierte Bilder wurden zu propagandistischen Zwecken bis hin zur Rechtfertigung für militärische Auseinandersetzungen verwendet. In Anbetracht dieser historischen Erfahrungen und der stetig wachsenden Leistungsfähigkeit KI-basierter Anwendungen sind die von Deepfakes ausgehenden Risiken für die Funktionsfähigkeit demokratischer Staaten, etwa im Kontext von Wahlen, als bedeutend einzustufen, etwa wenn der Wahlerfolg politischer Gegner:innen durch gefälschte oder manipulierte Medien gezielt beeinträchtigt wird.
Im Wissen darum, dass Menschen visuellen Darstellungen einen besonders starken Wirklichkeitsbezug beimessen, wird im Rahmen der politischen Kommunikation zunehmend mit Bildern und kurzen Videoclips gearbeitet. Insbesondere die Fähigkeit, starke Emotionen bei Rezipient:innen hervorzurufen, gibt Bildern den Vorzug vor primär textbasierten Mitteln der Massenkommunikation. Durch die Digitalisierung und die zunehmende Verbreitung qualitativ hochwertiger Aufnahme- und Wiedergabegeräte steht immer mehr Bildmaterial zur Verfügung, das innerhalb kurzer Zeit über digitale Plattformen weltweit verbreitet werden kann. Im Zuge dieser Entwicklungen können Bildinhalte kaum noch ohne technische Unterstützung auf ihre Echtheit überprüft werden. Der Umstand, dass Manipulationen von online verfügbaren Inhalten zunehmend auf dem Einsatz von Künstlicher Intelligenz (KI) basieren, legt auch den Einsatz von KI bei der Entwicklung von Gegenmaßnahmen nahe.
Vor diesem Hintergrund geht der vorliegende Beitrag zunächst der Frage nach, wie Deepfakes politische Diskurse beeinflussen können. Da sowohl die freie politische Meinungsäußerung als auch die unbeeinflusste Meinungsbildung zentral für die Ausgestaltung demokratischer Prozesse sind, bedarf das Phänomen Deepfakes einer differenzierten Betrachtung. In einem zweiten Schritt setzt sich der Beitrag mit rechtlichen Strategien für den Umgang mit Deepfakes auseinander. Im dritten Schritt wird das interdisziplinäre Konsortialprojekt FAKE-ID vorgestellt, das unter anderem KI-basierte Deepfake-Detektionstools erforscht.

2. Deepfakes – ein KI-Phänomen mit vielfältigen Einsatzmöglichkeiten

Der Begriff Deepfake wird aus den beiden Begriffen Deep Learning und Fake gebildet und beschreibt einen Teilbereich der Künstlichen Intelligenz (KI), der auf die Erstellung einer Fälschung mittels der Methode des Deep Learning abzielt. Er wird oftmals für ein Video verwendet, das mithilfe von Deep-Learning-Methoden bearbeitet wurde, um die Person im Originalvideo partiell (hinsichtlich Gesicht, Körper, Gestik, Sprache, o. ä.) durch eine andere Person auf eine Art zu ersetzen, die in der Rezeption den Eindruck einer unverfälschten und somit glaubwürdigen Darstellung erzeugt. In vielen Fällen handelt es sich bei den vermeintlichen Protagonist:innen um Personen des öffentlichen Lebens.

Der Transfer des Begriffs Deepfake aus der Techniksprache in den öffentlichen Diskurs lässt sich auf das Jahr 2017 datieren, als eine(r) der anonymen Nutzer:innen der Onlineplattform Reddit unter dem Pseudonym deepfakes Videomaterial veröffentlichte, das unter Einsatz von KI Gesichter von aus der Film- und Musikindustrie bekannten Frauen auf die Körper von Pornodarstellerinnen montierte. Das auf diese Weise erzeugte Filmmaterial wirkte – zumindest auf den ersten Blick – glaubwürdig. Bereits kurze Zeit nach diesem Ereignis konnte man beobachten, wie die Nachfrage nach (gefälschten) pornographischen Inhalten zur vermehrten Verbreitung von Deepfakes führte. Frei verfügbare Software und Bedienungsanleitungen für die Generierung von Bildern und Videos pornographischen Inhalts trugen dazu bei, dass 96 % der insgesamt 14.678 im Jahr 2019 von Ajder et al. untersuchten Deepfakes der Kategorie „non-consensual deepfake pornography“ zugeordnet werden konnten.
In den darauffolgenden Jahren haben die Formate digitaler Fälschungen und Manipulationen merklich an Variation zugenommen. Insofern erscheint es sinnvoll und notwendig, die Definition von Deepfakes auszuweiten: Deepfakes sollen demnach als generierte, potentiell glaubwürdige Medieninhalte (Bilder, Videos, Texte, Audiodaten, etc.) verstanden werden, die durch die teilweise Verfälschung von bestehenden medialen Inhalten (z. B. Videomaterial) zumeist mittels eines neuronalen Netzwerkes produziert werden.
Auch die Einsatzgebiete für KI-basierte Manipulationen von Bild, Video- und Audioinhalten erweiterten und diversifizierten sich. Insbesondere die Bereiche Kommerz, Unterhaltung und Medizin profitieren von den Möglichkeiten der gezielten Veränderung digitaler Daten durch KI. Diverse weitere Einsatzbereiche für Deepfakes werden in der Fachliteratur diskutiert, etwa die Beseitigung von Sprachbarrieren zur Verbesserung kulturübergreifender Verbreitung von Videoinhalten oder zur direkten politischen Ansprache. Andere Einsatzmöglichkeiten bieten sich in der Bildbearbeitung in der Filmindustrie, der Erstellung personalisierter Medien, der Produktion von KI-Werbemodellen unter Verwendung von Generative Adversarial Networks (GAN) oder aber der Personalisierung von Online-Kundenerlebnissen.
Neben den Einsatzgebieten haben sich auch die technischen Zugangsvoraussetzungen für die Erstellung von Deepfakes geändert: Waren im Jahr 2017 noch signifikante technische Ressourcen und Expert:innenwissen nötig, um visuell plausible Deepfakes zu erzeugen, so ist dies heute mittels vielfältiger, frei verfügbarer Software möglich. Die Nutzung dieser Programme bedarf keines qualifizierten Hintergrundwissens mehr und liefert in kurzer Zeit überzeugende Resultate. Insofern wundert es nicht, dass die Anzahl der im World Wide Web kursierenden Deepfakes rasant ansteigt.
Vor dem Hintergrund eines zunehmend einfacheren und für Laien zugänglicheren Herstellungsprozesses von KI-generiertem Bild- und Videomaterial einerseits und den stetig wachsenden Einsatzgebieten dieser Technologie andererseits bergen Deepfakes – wie alle technischen Entwicklungen – ein bemerkenswertes Potential zur Durchführung krimineller Handlungen. Die Generierung und Nutzung von Deepfakes kann strafrechtlich relevant sein, etwa im Kontext von Persönlichkeitsrechtsverletzungen wie Verleumdung und von Delikten wie Erpressung oder Betrug.

3. Deepfakes in politischen Kontexten

Im Folgenden wird gezeigt, dass Deepfakes und andere Formen von Bild- und Videofälschungen in vielfältigen Varianten auftreten können und dass die Erkennbarkeit von Manipulationen oftmals nicht objektiv messbar ist, sondern auch vom Kontext und der Sensibilität der Betrachter:innen gegenüber Manipulationsrisiken abhängt. Deepfakes, die zu Zwecken der Desinformation genutzt werden, bergen das Potential, demokratische Prozesse auf unterschiedliche Art zu beeinflussen. Wird die Integrität und Fairness demokratischer Wahlen durch den Einsatz von KI-manipulierten oder -generierten Bild- oder Videoinhalten in Frage gestellt, kann dies zu einer Legitimationskrise demokratischer Systeme führen. Für die Wähler:innen birgt die Deepfake-basierte Desinformation zu politischen Themen das Risiko, Opfer einer manipulierten Meinungsbildung oder gezielter Verunsicherung zu werden, was sich auch auf ihre Wahlteilnahme und -entscheidung auswirken kann. Für Politiker:innen, deren Auftritte in Deepfake-Videos oder -Bildern manipuliert werden, steht ihre Reputation auf dem Spiel, was ihre zukünftigen Wahlchancen beeinträchtigen kann. Insbesondere Deepfakes, die darauf abzielen per „microtargeting techniques“ bestimmte Personen in Verruf zu bringen, gelingt dieses Unterfangen unter bestimmten Voraussetzungen nachweisbar.

3.1 Einflussnahme auf politische Diskurse durch Deepfakes

Deepfakes reihen sich in das vielfältige technische Repertoire ein, mit dessen Hilfe Meinungen geäußert und Meinungsbildungsprozesse beeinflusst werden können. Im Herbst 2021 verbreiteten sich zahlreiche Variationen eines im Rahmen der Sondierungsgespräche für die Bildung einer Koalitionsregierung auf Bundesebene entstandenen Selfies der Führungspersonen von BÜNDNIS 90/DIE GRÜNEN und der FDP. Die kursierenden Deepfakes verweisen erkennbar auf das Originalbild. Aufgrund von Inhalt und Aufmachung war für Betrachter:innen unschwer erkennbar, dass diese manipulierten Bilder und Videos nicht echt waren. Der satirische Charakter der unterschiedlichen, durchaus humorvollen Interpretationen des Politiker:innenbildes erschließt sich für durchschnittlich politisch gebildete Betrachter:innen mühelos.
Andere Deepfakes, wie das durch digitale Manipulation generierte Video der Sprecherin des Repräsentantenhauses der Vereinigten Staaten Nancy Pelosi, können vom medialen Publikum nicht auf Anhieb als (Ver-)Fälschung identifiziert werden. Der verlangsamte und stockende Sprachfluss der weithin bekannten Demokratin konnte bei den Rezipient:innen den Eindruck erwecken, die Politikerin stünde unter bewusstseinsverändernden Drogen. Diese Videomanipulation verbreitete sich sehr schnell, so dass sogar die renommierte Nachrichtenagentur Reuters sich im Zugzwang sah, die Manipulation dieses Videos in ihrer Rubrik Fact Check auszuweisen.
Eine andere Form der politischen Einflussnahme mittels Manipulation unter (vermeintlicher) Zuhilfenahme von Künstlicher Intelligenz ereignete sich auf der Ebene der russisch-europäischen Beziehungen. Wenige Monate nach der Verhaftung des russischen Oppositionspolitikers Aleksej Navalʹnyj im Januar 2021 erreichten mehrere Mitglieder des Europäischen Parlaments Gesprächsanfragen des Navalʹnyj-Vertrauten Leonid Volkov. Im Nachgang zu der zustande gekommenen Videokonferenz zwischen den Parlamentsmitgliedern und Volkov kamen Zweifel auf, ob die Person, die als Volkov auftrat, tatsächlich Volkov war. Er selbst erfuhr aus der Presse, dass er am besagten Gespräch teilgenommen haben soll. „Looks like my real face – but how did they manage to put it on the Zoom call? Welcome to the deepfake era …”, kommentierte er in den Sozialen Medien den vermeintlich KI-basierten Schwindel mit seiner Identität. Kurze Zeit später bekannte sich das russlandweit bekannte Komiker-Duo Vovan and Lexus, das bereits mehrere Telefongespräche mit hochrangigen Politiker:innen – u.a. gaben sie sich als das 2019 neu gewählte ukrainische Staatsoberhaupt Volodymyr Zelensʹkyj bei einem Telefonat mit dem französischen Präsident Emmanuel Macron aus – erschlichen hatte, zu dem sogenannten Prank.
Diese beiden Ereignisse verdeutlichen, dass Politiker:innen stets damit rechnen müssen, dass ihre digitalen Bild- und Videodarstellungen manipuliert werden können. Ob es sich bei einer Darstellungsmanipulation tatsächlich um eine KI-generierte Manipulation handelt, ein technisches Mittel anderer Art angewendet oder eine reale Person als „Doppelgänger“ eingesetzt wird, erweist sich als zweitrangig.
Deepfakes können aber auch als politisch-künstlerische Intervention inszeniert werden. Im Kontext der US-Präsidentschaftswahlen im Jahr 2020 veröffentlichte die politisch-gesellschaftliche Initiative mit Antikor­ ruptionsfokus RepresentUs ein KI-generiertes Video von dem vermeintlich echten nordkoreanischen Staatschef Kim Jong-un. Im Video verweist der ‚Oberste Führer‘ der Demokratischen Volksrepublik Korea auf die fortgeschrittene Fragilität westlicher demokratischer Strukturen. Die Möglichkeiten, Deepfakes in politischen Kontexten zu platzieren und auf diese Weise zu versuchen, Einfluss auf demokratische Prozesse zu nehmen, sind also bereits heute vielfältig. Dieser Trend dürfte mit zunehmenden technischen Möglichkeiten für ausgereifte, schwer erkennbare Deepfakes weiter voranschreiten.

3.2 Deepfakes als Form politischer Desinformation

Die Abgrenzung zwischen legitimer kritischer Satire und illegitimer politischer Propaganda wird durch manipulierte oder schlichtweg erfundene Text-, Bild-, Audio- und Videodateien, die im Kontext von Fake News verwendet werden, zunehmend erschwert. Tandoc et al. analysierten 34 akademische Beiträge aus den Jahren 2003 bis 2007 und erarbeiteten daraus eine Typologie für Fake News. Sie unterscheiden dabei „news satire, news parody, fabrication, manipulation, advertising, and propaganda.“ Diese Kategorien lassen sich auf die rasant wachsende Anzahl und Vielfalt an Deepfakes übertragen. Während die KI-hergestellten Selfie-Variationen aus dem Kontext der deutschen Koalitionsgespräche in den Bereich der „news satire“ beziehungsweise „news parody“ fallen, ist das Video der vermeintlich betrunkenen Sprecherin des US-amerikanischen Repräsentantenhauses als „manipulation“ zu werten.
Weitere definitorische Arbeit für die Auseinandersetzung mit Deepfakes im politischen Kontext leisteten Claire Wardle und Hossein Derakhshan. Systematisch erarbeiteten sie die Bedeutungsgrenzen der Begriffe „mis-information“, „dis-information“ und „mal-information“. Grundsätzlich können Deepfakes in jeder dieser Kategorien auftreten. Als inkorrekte Information ohne Schädigungsabsicht können sie der Kategorie der „mis-information” zugeordnet werden. Verfolgt die Generierung von Deepfakes die Absicht, einer Person, Organisation oder einem Staat zu schaden, indem missverständliche (Teil-)Informationen auf bestimmte Weise miteinander in Verbindung gesetzt werden, können Deepfakes als „mal-information” eingestuft werden. Handelt es sich bei Deepfakes um „information that is false and deliberately created to harm a person, social group, organization or country“, dann kann eine Bild- und Videomanipulation der Kategorie „dis-information“ zugeordnet werden.

3.3 Die Rolle der Internetnutzer:innen im Kontext desinformierender Deepfakes

Deepfakes reihen sich als neues Phänomen in ein breites Spektrum an Techniken ein, die bereits vor dem Auftreten erster KI-generierter Manipulationen für politische Desinformation genutzt wurden. Die Möglichkeiten, Deepfakes für politische Desinformation zu nutzen, sind indes im Vergleich zu früheren Techniken weitaus größer, wie auch Mannheim und Kaplan betonen: “While ‘Photoshop’ has long been a verb as well as a graphics program, AI takes the deception to a whole new level.”
Die Abgrenzung zwischen „mis-information“, „dis-information“ und „mal-information“ kann im Einzelfall schwierig sein. Das Teilen digitaler Inhalte, deren Authentizität nicht tiefergehend überprüft wurde, ist im digitalen Raum eine gängige Praxis. Dies kann nicht nur urheberrechtliche Fragen aufwerfen, sondern auch dazu führen, dass Internetnutzer:innen unabsichtlich digitale Inhalte verbreiten, die mit einer Schädigungsabsicht hergestellt und im digitalen Raum platziert wurden.
Pennycook et al. haben gezeigt, dass die (angenommene) Echtheit der Informationen bei der Auswahl von Inhalten, die Internetnutzer:innen digital verbreiten, eine nachrangige Rolle spielt. Vorrang bei der Entscheidung für oder gegen das Teilen bestimmter Informationen hat die durch die Veröffentlichung dieser Inhalte antizipierte Aufmerksamkeit für die eigene Internetpräsenz durch andere Internetnutzer:innen.
Der Code of Conduct on Disinformation, den die Europäische Kommission 2018 veröffentlicht hat, spricht den Internetnutzer:innen allerdings keine nennenswerte Rolle bei der Verhinderung von Desinformation zu. Das Dokument behandelt hauptsächlich Selbstregulierungsansätze für die Veröffentlichung digitaler Inhalte, denen Privatunternehmen auf freiwilliger Basis folgen können. Ebenso optional formuliert sind die im Code enthaltenen Berichtspflichten. Eine gesetzliche Verpflichtung für Unternehmen sieht das Papier nicht vor.
Die Interpretation digitaler Inhalte durch Internetnutzer:innen hängt sowohl vom spezifischen Darstellungskontext der zu beurteilenden Bilder, Videos und sprachlichen Inhalte als auch vom Wissensstand der jeweiligen Nutzer:innen ab. Rössler et al. stellen in diesem Zusammenhang fest, dass Menschen ohne besondere Qualifikation für die Bildevaluierung Fälschungen und Manipulationen in Bildern in 50% der Fälle identifizieren können – statistisch gesehen kommt das Resultat einem zufälligen Raten gleich.
Selbst Fachpublikum lässt sich von KI-manipulierten Bildern in die Irre führen, wie das Szenario um den Beitrag des renommierten norwegischen Fotografen Jonas Bendiksen (Magnum Photos) beim Visa pour l’image: In­ ternational Festival of Photojournalism im Jahr 2021 verdeutlicht. Mittels KI fügte Bendiksen Bären in Bilder einer mazedonischen Industrielandschaft ein. Die Manipulation blieb von der Fachjury unbemerkt. Diese Beispiele zeigen, dass Manipulationen in digitalem Bild- und Videomaterial sowohl für Laien als auch Expert:innen schwierig zu erkennen sein können.

4. Strafbarkeit der Nutzung von Deepfakes im politischen Kontext und Ansätze von Transparenz

Die Frage nach der Strafbarkeit der Nutzung von Deepfakes im politischen Kontext hängt mit der Entscheidung zusammen, ob beziehungsweise unter welchen Umständen die Echtheitsprüfung politischer Aussagen in das Aufgabengebiet von Strafverfolgungsbehörden fallen soll. Deepfakes können im Kontext einer politischen Debatte (etwa als Satire) durchaus ein legitimes Ausdrucksmittel sein. Daher stellt sich die Frage, in welchen Fällen demokratische Prozesse dermaßen beeinflusst werden können, dass der Einsatz von Strafrecht als staatliches Kontrollwerkzeug gerechtfertigt wäre. Die strafrechtliche Verfolgung von Deepfakes, die der Kategorie der oppositionellen politischen Meinungsäußerung angehören, wäre problematisch, da die Strafverfolgungsbehörden in vielen Ländern an Weisungen der Regierungen gebunden sind. Grundsätzlich ist die Einflussnahme von Strafverfolgungsbehörden auf diskursive Prozesse in demokratischen Gesellschaften im Hinblick auf die Meinungsfreiheit kritisch zu bewerten. Das Strafrecht sollte hier also nur ultima ratio sein.

Vereinzelt reagieren die Gesetzgeber:innen der Welt bereits mit neuen Rechts- und Regulierungsrahmen für politisch desinformierende Deepfakes. Im Zusammenhang mit politischen Wahlen erließ Texas als erster US-amerikanischer Bundesstaat ein Gesetz, das politisch motivierte Deepfakes in einem klar definierten Zeitraum (30 Tage) vor anstehenden Wahlen verbietet. Auch Frankreich verabschiedete im Jahr 2018 mit dem „Loi relative à la lutte contre la manipulation de l’information“ ein Gesetz zur Bekämpfung der Informationsmanipulation. Irreführende Behauptungen und Unterstellungen über politische Akteur:innen und Parteien werden demnach in einem Zeitraum von drei Monaten vor Wahlen unter Strafe gestellt. Soweit Deepfakes genutzt werden, um in Wahlkampfzeiten manipulierte und unwahre Informationen zu verbreiten, können sie von diesem Gesetz erfasst sein. Einen ähnlichen Ansatz verfolgt unter anderem auch die australische Gesetzgebung mit dem ebenfalls im Jahr 2018 verabschiedeten Gesetz zur Sanktionierung politischer Desinformation, insbesondere im Kontext von Wahlen. Die österreichische Bundesregierung veröffentlichte im Frühjahr 2022 einen „Aktionsplan Deepfake“ mit diversen denkbaren Maßnahmen zur Begrenzung der Risiken, die von Deepfakes ausgehen.
Für das deutsche Recht vertritt Tobias Lantwin die Auffassung, dass Deepfakes, die aus politischen Motiven heraus verwendet werden, unter 108a StGB (Wählertäuschung) fallen könnten. KI-generiertes Bild- und Videomaterial zeichnet sich jedoch unter anderem dadurch aus, dass es authentisch und integer anmutenden Inhalt mit rein fiktiven Personen oder Ereignissen beinhalten kann. Daher werden Deepfakes, deren Inhalt sich nicht auf existierende, sondern auf frei erfundene Personen und Geschehnisse stützt, in der Regel nicht unter diesen Straftatbestand fallen. Da Politiker:innen stets auch Privatpersonen sind, besteht sowohl im deutschen als auch im französischen Recht die Möglichkeit, die Herstellung oder Verbreitung von Deepfake-Videos wegen der Verletzung von Persönlichkeitsrechten strafrechtlich zu verfolgen, soweit die einschlägigen Straftatbestände erfüllt sind.
Anders stellt sich der Umgang mit Deepfakes politischen Inhalts in nicht-demokratischen Gesellschaften dar. Autokratische Gesellschaften fokussieren ihren rechtlichen Rahmen nicht auf die Frage, ob Deepfakes gegebenenfalls wahre oder unwahre Inhalte vermitteln. Vielmehr steht hier die Konformität beziehungsweise Nonkonformität des Deepfake-Inhalts mit der politischen Linie der Regierung im Vordergrund. In diesem Zusammenhang zielt beispielsweise in China ein Gesetzentwurf auf ein Verbot von Deepfakes mit nicht regierungskonformem Inhalt ab:

Deep synthesis service providers and users shall comply with laws and regulations, respect social mores and ethics, and adhere to the correct political direction, public opinion orientation, and values trends, to promote progress and improvement in deep synthesis services.

Aufgrund des offenen Zugangs zum politischen Diskurs, der demokratische Gesellschaften prägt, sind Demokratien in besonderer Weise für (des)informationsbasierte Manipulationen anfällig. Zwar muss die Verteidigung demokratischer Grundwerte nicht unweigerlich durch das Mittel des Strafrechts geschehen. Vor dem Hintergrund der zunehmend wachsenden Bedrohungslage durch Deepfakes, kann diese Möglichkeit jedoch auch nicht ausgeschlossen werden. Das Spannungsfeld zwischen Meinungs- und Kunstfreiheit einerseits, und der Sicherung einer freien, auf transparentem Informationsfluss basierenden Meinungsbildung andererseits, wird in den kommenden Jahren vor dem Hintergrund der Ausbreitung von Deepfakes neu austariert werden müssen. Dabei sollten Instrumente, die Transparenz herstellen und Deepfakes als solche erkennbar machen, Vorrang gegenüber strafrechtlichen Sanktionen haben. Diesen Ansatz verfolgt auch die Europäische Kommission in ihrem 2021 vorgelegten Entwurf einer KI-Verordnung, der ein Transparenzgebot für Deepfakes als zentralen Regelungsansatz vorschlägt:

Nutzer eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die wirklichen Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen merklich ähneln und einer Person fälschlicherweise als echt oder wahrhaftig erscheinen würden (Deepfake), müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.

Der Entwurf schränkt die Transparenzpflicht allerdings für einige Fälle gleich wieder ein: für die Strafverfolgung und für die Nutzung von Deepfakes für legitime Zwecke, die von der Meinungs-, Kunst- oder Wissenschaftsfreiheit gedeckt sind.

Unterabsatz 1 gilt jedoch nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten gesetzlich zugelassen oder für die Ausübung der durch die Charta der Grundrechte der Europäischen Union garantierten Rechte auf freie Meinungsäußerung und auf Freiheit der Kunst und Wissenschaft erforderlich ist und geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.

Auch Strategien für die Detektion von Deepfakes, wie sie im Verbundprojekt FAKE-ID erforscht werden, knüpfen an das Transparenzpostulat an.

5. Projekt FAKE-ID: Interdisziplinäre Erforschung einer Deepfake-Detektion

Auf europäischer und internationaler Ebene werden unterschiedliche Lösungsansätze für den Umgang mit Deepfakes verfolgt. In diesem Zusammenhang zielt das interdisziplinäre Forschungsprojekt FAKE-ID auf die Erforschung KI-basierter Tools ab, die eine systematische Bewertung der Echtheit von Bild-, Audio- und Videoinhalten technisch unterstützten. Anwendungsfall im Projekt sind gesichtsbasierte Authentifizierungs- und Identifizierungsmethoden.
Formuliert werden zunächst technische Merkmale ‚echter‘, d. h. nicht manipulierter visueller Medien. Anschließend vergleicht man diese Merk­ male mit den Eigenschaften von Bild- und Videobereichen, die mittels Künstlicher Intelligenz verändert oder generiert worden sind. Aufbauend auf diesem Verfahren sieht das Detektionskonzept die Erarbeitung von Kriterien vor, anhand derer KI-manipulierte Bilder und Videodatenströme identifiziert und klassifiziert werden können. Die ermittelten Bild- und Videobereiche, die den Verdacht auf eine Manipulation oder Fälschung nahelegen, erkannte Anomalien und Verdachtsmomente werden anschließend visuell aufbereitet und auf einer Risiko- und Verdachtslandkarte (RVL) dargestellt. Die Markierung der Verdachtsfelder innerhalb von Bildern und Videos soll Anwender:innen in Strafverfolgungsbehörden und Gerichten bei der Beurteilung der Authentizität und Integrität von digitalem Bild- und Videomaterial unterstützen.

5.1 Technische und juristische Herausforderungen KI-basierter Deepfake-Detektion

Bei der Konzeption einer Deepfake-Detektion stellen sich den Projektteams zahlreiche technische Herausforderungen. Insbesondere gilt es, die Fehlerarten und dazugehörige Fehlerraten der technischen Detektionsmöglichkeiten zu erkennen beziehungsweise die Raten zu optimieren und in den Entscheidungsprozess der menschlichen Anwender:innen miteinzubeziehen. Schließlich stellen die Fehlerarten und -raten der durch die Detektoren produzierten Detektionsfehler höchst relevante Kriterien hinsichtlich der Erklärbarkeit dar, die im Kriterienkatalog AIC4 (Artificial Intelligence Cloud Service Compliance Criteria Catalogue) mit Mindestanforderungen an die sichere Verwendung von Methoden des maschinellen Lernens in Cloud-Diensten festgeschrieben sind. Gefordert wird, dass die Entscheidungen eines Dienstes – im vorliegenden Fall der Detektion von Deepfakes – für die Nutzer:innen auf eine Weise dargestellt und kommuniziert werden sollen, die diese Entscheidungen nachvollziehbar macht. Des Weiteren wird festgelegt, dass bei sensiblen Anwendungen (z. B. bei der Nutzung in kritischen Infrastrukturen) die fehlende Erklärbarkeit explizit auszuweisen ist.
Eine weitere technische Hürde bei der Erforschung eines KI-gestützten Detektors stellt der Bedarf an unterschiedlichen Datensätzen dar. Die Trainingsdatensätze, mit denen KI-Systeme ausgearbeitet werden, dürfen nicht dieselben sein, wie diejenigen, die zu Testzwecken verwendet werden. Vielmehr müssen verschiedene real auftretende Charakteristiken einbezogen werden, da ansonsten die Gefahr besteht, ein KI-System zu entwerfen, das nur innerhalb von ‚Laborbedingungen‘ arbeiten kann. Die fortwährende Notwendigkeit detektierende KI-Systeme anhand aktueller, zunehmend technisch ausgefeilter Deepfakes anzupassen, ist dafür prädestiniert, in einem ‚Katz-und-Maus-Spiel‘ ständiger Qualitätsverbesserung von (a) Deepfakes und (b) Deepfakedetektion zu münden:

One caution is that the performance of detection algorithms is often measured by benchmarking it on a common data set with known deep­ fake videos. However, studies into detection evasion show that even simple modifications in deepfake production techniques can already drastically reduce the reliability of a detector.

Aus juristischer Perspektive stellt sich die Frage nach der Rechtskonformität KI-basierter Detektionssysteme. Wenn Deepfakes zur Bedrohung demokratischer Prozesse beitragen können, dann birgt ein KI-gestütztes Werkzeug zur Deepfake-Erkennung potentiell ebenfalls ernstzunehmende Risiken in Bezug auf die Grundrechte, die Rechtsstaatlichkeit sowie die demokratischen Grundsätze der europäischen Rechtsordnungen. Schließlich unterliegt die Aufgabe der Wahrheitsfindung in erster Linie den Gerichten und nicht den Strafverfolgungsbehörden.
Dieser Problematik wurde in dem 2021 veröffentlichten KI-Verordnungsentwurf der Europäischen Kommission bereits Rechnung getragen. Laut Erwägungsgrund 38 des EU-KI-Verordnungsentwurfs fällt ein KI-System, das auf die Erkennung von Deepfakes abzielt, in die Kategorie von KI-Systemen mit hohem Risiko. Eine Studie des Wissenschaftlichen Dienstes des Europäischen Parlaments stuft die Verwendung von KI-basierten Deepfake-Detektoren durch die Strafverfolgungsbehörden ebenfalls als hochriskant ein. Diese Klassifizierung basiert darauf, dass die Funktionsweise eines solchen Systems a priori nicht ausreichend transparent, erklärbar und dokumentiert ist. Folglich ist damit zu rechnen, dass zukünftig auch die rechtlichen Verpflichtungen verschärft werden, die sich auf detektierende KI-Systeme beziehen. Dies ist auch bei den Forschungen zur Deepfake-Detektion im FAKE-ID-Projekt zu berücksichtigen.

5.2 Emanzipatorisches Potential der Deepfake-Detektion für Privatpersonen

Der Wissenschaftliche Dienst des Europäischen Parlaments kommt zu dem Schluss, dass in Zukunft nicht nur staatliche Institutionen, sondern auch Privatpersonen ein ausgeprägtes Maß an Skepsis gegenüber videogra­ phischen Informationen entwickeln sollten:

[T]he increased likelihood of deepfakes forces society to adopt a higher level of distrust towards all audiographic information. Audiographic evidence will need to be confronted with higher scepticism and have to meet higher standards. Individuals and institutions will need to develop new skills and procedures to construct a trustworthy image of reality, given that they will inevitably be confronted with deceptive information.

In diesem Sinne erforscht das FAKE-ID-Projekt – neben Detektionstools für Strafverfolgungsbehörden und Gerichte – Deepfake-Detektionstools für den Gebrauch durch Privatpersonen. Damit könnte der breiten Öffentlichkeit die Möglichkeit geboten werden, KI-generierte Bild- und Videomanipulationen ebenfalls KI-basiert zu identifizieren.

Obgleich die meisten großen sozialen Netzwerke entweder verpflichtet sind oder „sich bemühen”, Online-Inhalte, die auf ihren Plattformen verbreitet werden, hinsichtlich einer möglichen Verfälschung zu überprüfen, müssen die Grenzen einer solchen Selbstverpflichtung stets mitbedacht werden. Letztendlich verfolgen Großkonzerne allem voran kommerzielle Ziele, die einer Detektion von Deepfakes entgegenstehen können.

6. Fazit

Dieser Beitrag hat gezeigt, dass Deepfakes zunehmend ausgereift sind und daher für Betrachter:innen oft nur schwer erkennbar ist, ob Videos und Bilder echt, manipuliert, gefälscht oder sogar frei erfunden sind. Bislang stützen sich die Erkenntnisse über die Risiken, die Deepfakes für demokratische Entscheidungsprozesse darstellen können, vorwiegend auf Schilderungen von einzelnen Vorkommnissen. Jedoch kann damit gerechnet werden, dass KI-generierte Deepfakes und daher auch Manipulationen zunehmend schwer erkennbar sind. Die Herstellung von Transparenz und damit auch die Deepfake-Detektion werden infolge dieser Entwicklung zu Instrumenten der Demokratiesicherung.

Trotz der nachvollziehbaren Befürchtungen und Sorgen, insbesondere mit Blick auf demokratische Meinungsbildungsprozesse, die KI in der Gesellschaft hervorrufen, sollten aber auch demokratisierende Potentiale von KI-Anwendungen nicht übersehen werden:

Properly designed AI-based accountability tools could probably become the most effective strategy to rebalance the newly structured governance playing field, regain citizens’ ownership of democratic decision-making and ensure a community of knowledge and commitment.

Wie Eyal Benvenisti es formuliert, besteht die eigentliche Herausforderung nicht darin, KI als Phänomen unserer Zeit willkommen zu heißen oder abzulehnen. Vielmehr geht es darum, KI-basierte Anwendungen aktiv mitzugestalten. Dabei gilt es, einerseits das technische Potential von KI-gestützten Programmen zu optimieren, andererseits aus einer rechtsstaatlichen Perspektive heraus zu reflektieren, welche Auswirkungen solche KI-basierten Anwendungen auf die Grund- und Menschenrechte sowie auf demokratische Entscheidungsprozesse haben können. Das interdisziplinäre FAKE-ID-Projekt verfolgt das Ziel, zur Umsetzung dieses technisch-rechtlich-ethischen Balanceaktes beizutragen.
Grundsätzlich erscheint es möglich, durch KI verursachten Risiken mit ebenfalls KI-basierten Lösungen zu begegnen. Insbesondere in Anbetracht der enormen Geschwindigkeit, mit der riskante KI-Anwendungen entwickelt werden, erscheint es dringend notwendig, KI-basierte Schutzwerkzeuge zu konzipieren. Gleichzeitig gilt es, auch bei der Erforschung und Entwicklung grundrechts- und demokratieschützender KI-Anwendungen die den KI-Tools inhärenten Risiken und Unsicherheiten zu reflektieren und zu minimieren.

Anna Louban, Milan Tahraoui, Hartmut Aden, Jan Fährmann, Christian Krätzer und Jana Dittmann in: Künstliche Intelligenz, Demokratie und Privatheit; Nomos Verlag, Baden-Baden; 2022

https://doi.org/10.5771/9783748913344

https://creativecommons.org/licenses/by/4.0/deed.de

Zur einfacheren Lesbarkeit wurden die Quellenverweise entfernt.