Newsletter Anmeldung

Bleiben Sie mit dem Newsletter immer up to date.

Anfrage
arrow-to-top

Digitale Subjekte in der Plattformökonomie: Datenschutz als zentrale Machtfrage

05/2023

1. Überwachungskapitalismus, Datafizierung und Algorithmen

Edward Snowden legte 2013 die flächendeckende Überwachung des Internets durch staatliche Geheimdienste offen. Damit kam aber auch sukzessive ans Licht, inwieweit die Big-Tech-Unternehmen, die unser Leben durch diverse digitale Gadgets prägen, Teil dieser Überwachungsmaschinerie sind. Die ehemals großen Hoffnungen auf eine Demokratisierung der Welt durch das Internet sind lädiert und das Internet wurde als Herrschaftsinstrument demaskiert. Doch nicht nur staatliche Akteur:innen sammeln (il-)legal Daten, um politische Repression oder den Schutz ihrer zentralen Machtinteressen auszuüben – natürlich im Dienste der allgemeinen Sicherheit (Stalder 2016) –, sondern auch immer mehr privatwirtschaftliche Unternehmen. Dabei fällt auf, dass die wertvollsten Unternehmen der Welt (die sogenannten Big-Five: Microsoft, Apple, Amazon, Alphabet (Google) & Meta (Facebook)) gleichzeitig diejenigen sind, die über besonders viele und tiefgreifende Daten über einzelne Subjekte verfügen. Denn die Nutzung ihrer Hard- und/ oder Software erzeugen immense Datensammlungen.

Auf Servern und Datenbanken auf der ganzen Welt werden all unsere digitalen Spuren, Handlungen und Interaktionen registriert, getrackt, gespeichert, aggregiert und ausgewertet sowie weiterverkauft. Das Sammeln der Daten war ursprünglich zur Verbesserung des jeweilig angewandten Dienstes gedacht. Die gesammelten Daten bestehen nach Shoshana Zuboff aus zwei Teilen: eine Datenmenge, die in direktem Bezug zur digitalen Funktion steht. Diese Datenmenge stellt nach Zuboff den ‚Rohstoff‘ dar, der in den „Verhaltenswert-Reinvestitionszyklus“ fließt. Dieser Zyklus dient der „Verbesserung von Tempo, Genauigkeit und Relevanz“. Allerdings entsteht bei jeder Nutzung eine Art „Kielwelle von Kollateraldaten wie etwa Anzahl und Muster der Suchbegriffe, wie eine Suche formuliert, buchstabiert, interpunktiert ist, Verweildauer, Klickmuster, Ort usw. usf.“. Diese Daten sind nicht notwendig für die Funktion und wurden zum Zeitpunkt der Entwicklung der digitalen Dienstleistungen zu Beginn unsortiert gespeichert. Im sogenannten ‚Überwachungskapitalismus‘, wie ihn Zuboff beschreibt, ist es nun jedoch genau dieser zweite, nicht notwendige Teil der Daten, der den ‚Verhaltensüberschuss‘, also den Mehrwert, generiert.

Überwachungskapitalismus rekurriert auf die Aneignung von persönlichen Daten und menschlicher Erfahrung als Ware, woraus der Verhaltensüberschuss sowie marktfähige Produkte generiert werden. Dabei wird das erfasste Verhalten mit der Überführung in eine verwertbare Ware über mehrere Schritte tiefgreifend aufbereitet und verändert. In Anlehnung an die Informatik spricht Zuboff von einer technisch aufbereitenden ,Rendition’ der Informationen über Menschen. Erst auf diesem Weg sei der Rohstoff ,Verhalten’ weiter verwendbar. Es geht nicht mehr nur um die Gewinnung und datenanalytische Aufbereitung der Information zu einzelnen Verhaltensakten und Personenmerkmalen, sondern um die Erfassung und Verarbeitung der Gesamtheit des menschlichen Lebens, um eine „Rendition des Selbst“. Verhaltensweisen werden so – auf Basis von Persönlichkeitsprofilen – zum Produkt.

Eine Folge davon ist eine immer engmaschigere Überwachung der Menschen, um mehr Daten und damit (vermeintlich) bessere Ergebnisse zu produzieren. Die Datensuche dringt in immer privatere Bereiche vor. Die Überwachung wird tendenziell totalitär. Die Analyse des Verhaltensüberschusses ermöglicht es menschliches Verhalten, mit stetigem Datenvolumen exakter, vorherzusagen. Dabei liefern bereits Metadaten ein sehr umfassendes Bild. Denn sie beschreiben den Kontext einer Kommunikation. Aus diesen Daten können Rückschlüsse auf das gesamte Leben, die Beziehungen und das Beziehungsverhalten gezogen werden und etwa durch einen Assoziationsgraph visualisiert werden. „Metadaten sind bei der Überwachung der gesamten Bevölkerung wesentlich aussagekräftiger, wichtiger und nützlicher“. In Verbindung mit Text Mining generieren sie ein ‚vertieftes‘ Wissen durch die Erkennung und Verknüpfung von Mustern. Beispielsweise können so politische Einstellungen, kultureller Hintergrund und Religiosität oder die sexuelle Orientierung destilliert werden, woraus die auswertenden Organisationen eine „Echtzeit-Marktanalyse mit individueller Kundenansprache“ an die Hand bekommen. Aber nicht nur können so ‚neue‘ Märkte adressiert werden, vielmehr werden auf der Basis dieser datentechnischen Aufbereitung und Analyse von Informationen Mechanismen entwickelt, die zur Steuerung von Verhalten dienen.

Um die Praxis der Analyse des Verhaltensüberschusses zu forcieren, er­ zeugen digitale Infrastrukturen „einen hohen Druck, ja, faktischen Zwang zur ‚Einwilligung‘“, mittels sogenannter ‚Click Warp-Verträge‘. Damit sind Nutzungsbedingungen und Datenschutzrichtlinien von digitalen Angeboten gemeint, die ohne die ‚Zustimmung‘ der Nutzer:innen nicht funktionieren. Zuboff bezeichnet dies als „privates Enteignungsrecht und spricht von einer einseitigen Beschlagnahme von Rechten ohne Einwilligung“. Daraus erwachse der Überwachungskapitalismus.

Digitale Identitäten stehen somit im Zentrum von wirtschaftlichen und politischen Interessen. Die Subjektivität der Einzelnen wird quantifiziert und ist somit Ausgangspunkt der riesigen Datenerhebungsmechanismen, die durch die beispielslose Durchdringung der Digitalisierung hervorgebracht wurde. Sie erfolgt im öffentlichen und halböffentlichen Raum (z.B. in Verkehrsmitteln sowie bei zunehmend eingeführten „Smart City“-Technologien, bei Behörden oder Pflegeeinrichtungen), in der Konsumsphäre (online und offline durch das Tracking innerhalb von Verkaufsräumen, wie Mensch sich dort bewegt, Angebote begutachtet usw.) wie auch bei der Erwerbsarbeit bzw. im Betrieb (bspw. durch Office 365, das Intranet oder wearables). Die enormen Datensammlungen, die durch die Beobachtungstechnologien entstehen, wurden nicht nur aus Sicherheitsgründen eingesetzt, vielmehr werden sie intensiv als Datenquellen genutzt. Diese Vorgänge fasst der Begriff ‚datafication‘.

Datafizierung beschreibt die Fähigkeit und den Prozess der Erfassung und Quantifizierung nahezu jeder Form und Aktivität in beinahe jedem Alltagsbereich als ‚totale‘ Vermessung von Individuum und Gesellschaft. Diese Durchdringung forciert die Auflösung der Grenzen zwischen privaten, öffentlichen und ökonomischen Raum. Datafizierung als Paradigma steht somit ideologisch zwischen Sozialität, Wissenschaft und Wirtschaft. Die analoge Welt wird in abzählbare Größen „übersetzt“, aufgelöst in Einser und Nullen, damit sich der Computer darin „zurechtfindet“. Während nun Plattformen verschiedenster Couleur mittels algorithmischer Infrastrukturen die Datafizierung vorantreiben, inszenieren sich dieselben Organisationen als ‚neutrale‘ Vermittlungsinstanzen und propagieren, dass ihre Datensammlungen eine Form der ‚höheren‘ Intelligenz, die Wissen, Wahrheit und Objektivität herstellen würden. Die Asymmetrie zwischen den Nutzenden und den datensammelnden Organisationen sowie das Ausmaß, der Umfang und Zweck dieser Bemühungen werden durch Zahlen und statistische Daten verdeckt, die ihren Anweisungen und Aussagen den Anstrich von Genauigkeit und Unbestechlichkeit verleihen.

Algorithmen sind die Grundlage jeglicher Suche und Information, Kommunikation und Interaktion im Internet. Algorithmen sind aber ‚nur‘ Handlungsvorschriften zur Lösung eines Problems. Diese Problemlösung wird in modulare Einheiten Schritt für Schritt gegliedert. Ein Algorithmus führt somit vorgefertigte Schritte mit vorhandenen oder zugeführten Daten aus, um das gewünschte Ergebnis zu produzieren. Aus kulturphilosophischer Sicht sind Algorithmen nicht durch technische Komponenten oder dem strikten Vorgehen definiert. Vielmehr ist hier der „Entdeckungs- und Verwendungszusammenhang in kulturellen, also bedeutungskonstituierenden Kontexten“ von Interesse. Sie fungieren als Referenzsystem für soziale Organisationen und bringen durch ihre Erzeugung und Betreibung eine Eigenlogik hervor, die soziale Tatsachen generiert. Die in Algorithmen eingeschriebenen Regeln, Normen und Handlungsanleitungen wirken auf die Aktivitäten ihrer Nutzer:innen wie soziale Institutionen und strukturieren ihr Handeln so stetig mit. Algorithmen sind hochpolitisch, da sie distinkte, selektive und zunehmend personalisierte soziale Wirklichkeiten auf der Grundlage von sozialen Kriterien schaffen und verhaltensprägend wirken.

Algorithmen erfassen somit nahezu jede Form von (digitaler) Aktivität und quantifizieren diese, wodurch das einzelne Subjekt als Datenwolke einen digitalen Schatten zugeschrieben bekommt. Dieser Prozess ersetzt das ‚Wie und Warum‘ des Einzelnen durch das ‚Was als Das‘. Das Individuum tritt sodann nur noch als Datenwolke in Erscheinung. Jedoch ist das algorithmisch generierte Abbild des digitalen Subjekts in seiner Komplexität reduziert, da nur, was ihm durch die Datenspuren seiner elektronischen Aktivitäten, Verbindungen, Transaktionen und Bewegungen, seinem „digitalen Schatten“, zugeschrieben wird, erfasst werden kann. Algorithmen kategorisieren Personen. Ihr Verhalten wird dadurch antizipiert und (Vor-)Entscheidungen getroffen. Sie schaffen und prägen dadurch eine eigene Wirklichkeit und generieren soziale Bedeutung. Darüber hinaus ergeben sich durch die Rekombination von Daten Muster, die während der Datenerfassung so nicht absehbar waren. Die inhärente Möglichkeit zur Verhaltensmanipulation tangiert die Selbstbestimmung, wodurch die informationelle Selbstbestimmung gefährdet wird. Dies ebnet den Weg hin zu einer algorithmischen Gesellschaft („algorithmic society“), in der die Lebensführung von Individuen sowie ihren sozialen Beziehungen stark durch algorithmische Systeme vermittelt sind. Die algorithmische Gesellschaft ist ein kybernetisches Modell der Steuerung und Herrschaft mittels Datafizierung. Beachtung findet dort nur, was sich digitalisieren und messen, klassifizieren und einordnen, zahlenmäßig bewerten und skalieren lässt.

2. Digitale Subjekte, Privatsphäre und Datenschutz

Endnutzer:innen agieren auf der Ebene der Benutzerschnittstellen, also auf einer Oberfläche technischer Artefakte und besitzen in den meisten Fällen kaum die Möglichkeit Einblicke in oder Verständnis für das was dahinter passiert zu erhalten. Die vermeintlich neutralen Plattformunternehmen nutzen dies um die Monopolisierung von Interpretationen zu forcieren. Denn algorithmische Entscheidungssysteme kategorisieren Personen, um ihre Wünsche und Verhaltensweisen zu antizipieren. Sie treffen so für sie (Vor-)Entscheidungen und bieten Erleichterung bei der individuellen Lebensführung, indem sie Menschen die Entscheidung darüber abnehmen, was für sie am besten sei. Die daraus resultierenden Anreiz- und Empfehlungssysteme zur Optimierung eines Entscheidungsprozess werden durch Algorithmen induziert, die wiederum durch personalisierte Wahlen auf ein Individuum zugeschnitten werden. Diese Form von ‚Dataveillance‘ setzt auf Big Data (Mining) als den ‚heiligen Gral‘ zur Generierung von Verhaltenswissen. Denn nicht die Daten alleine, sondern vielmehr die Extraktion von Mustern aus den gesammelten Datenvorräten kreieren den eigentlichen Wert von Big Data.

Die destillierten Muster dienen sodann dazu durch Nudging und Nudges ein Anreizsystem als Wahlarchitektur (mittels Lob oder Tadel) für die Nutzenden zu gestalten. Nudges nutzen psychologische Mechanismen, um die Entscheidungsfindung zu steuern und treten dabei nur auf einer unterschwelligen Ebene ins Bewusstsein. Sie sollten transparent sein, jedoch sind ihre Absichten tendenziell opak. Daher können diese auch Verhaltens- und Bewusstseinsveränderung evozieren, die so subtil sind, dass die Grenze zur Manipulation fließend ist. Sogenannte Hypernudges basieren auf live data streams, die mit der persönlichen Datengeschichte der Nutzer:in gekoppelt sind sowie den Abgleich mit Empfehlungen und Entscheidungen, die Menschen wie Du getroffen haben, wodurch ein Vergleich mit einer ganzen Population möglich wird. Hypernudges sind versteckt und perfekt in die digitale Umgebung eingebaut. Sie beruhen auf Scoring als einem selbstlernenden System, das auf personenbezogenen Daten zurückgreift, die Erfahrungswerte aus der Vergangenheit und Gegenwart bündelt und daraus zukünftiges Verhalten statistisch prognostiziert. Scoring schafft Verhaltensanreize, indem vergangenes Verhalten – nach unternehmenseigenen Vorstellungen –, beispielsweise durch spieltheoretische Elemente, belohnt oder bestraft wird. Darüber hinaus verdecken sie die ökonomischen Anreize der dahinterstehenden Unternehmen.

In einer algorithmischen Gesellschaft wird vordergründig nicht gegen Widerstände gearbeitet, sondern bei den Motiven und Wünschen von Personen angesetzt, um sie mittels geeigneter Stimuli anzuleiten. Verhalten wird so nicht mittels einschränkender Vorschriften reguliert. Vielmehr wird die Entscheidungslast von einer Instanz abgenommen, die sodann vorteilhafte oder nachteilige Folgen für eine Person evoziert. Opak bleibt in diesem Prozess, mit welchem Wissen und mit welcher Autorität eine Instanz bestimmt, was für Nutzer:innen am besten ist. Insofern ist es von zentraler Bedeutung, welche soziale Beziehung und welche Abhängigkeiten daran gebunden sind, wenn ein Akteur für Individuen Entscheidungen strukturiert oder deren Entscheidungen trifft.

Eine algorithmische Wirklichkeit sui generis würde die informationelle Selbstbestimmung empfindlich tangieren, da die Möglichkeit zur Verhaltensmanipulation die Selbstbestimmung großflächig darin angelegt ist. Etwa, weil sich die Nutzenden überhaupt keinen „Überblick über die eigene Datenspur“ mehr verschaffen können. Privatsphäre im Sinne von Privatheit ist ein mehrdeutiges Konzept, rekurriert zuvörderst auf die Kontrolle über den Zugriff auf die eigenen Informationen einer Person. Es geht also um die Kontrolle, welche Informationen aus den Datensammlungen gewonnen werden können und welche Folgen für die/den Einzelne:n daraus entstehen. Datenschutz bezieht sich jedoch nur auf die Verarbeitung personenbe­ zogener Daten.

Die Auflösung der Privatsphäre im Sinne der informationellen Selbstbestimmung ist im virtuellen Raum aber vor allem durch die Aggregation nicht-personenbezogener Daten bedingt, da durch Korrelation von enormen Mengen an Daten personenbezogene Daten abgeleitet werden können. Die algorithmisch generierten Auswertungen erzeugen weitere Muster, die wiederum in weiteren algorithmischen Entscheidungsprozessen als Fremdzuschreibung auf das Selbst treffen und die Möglichkeit zur Verhaltensmanipulation beinhalten. Diese Art von „Daten-Behaviorismus“ leistet einer algorithmischen Governance weiter Vorschub und das daraus resultierende digitale Panoptikum ist unsichtbar, schmerzfrei und tritt diskursiv mit Schlagworten wie Transparenz, Vernetzung und Sharing auf. Denn das Wissen über vergangene, gegenwärtige und zukünftige Präferenzen, Einstellungen und Verhalten, ohne auf psychologische Motivationen zurückgreifen zu müssen, allein auf Basis der Daten, führt bei den betroffenen Subjekten zu einer Internalisierung des Machtverhältnisses sowie zu einer Selbstkontrolle und proaktiven Änderung des Verhalten, wodurch die Grenze zwischen Privatem und Ökonomischem (noch weiter) verwischt wird.

Die Verschmelzung sozialer Lebenswelten mit digitalen Technologien findet in der digitalen Selbstvermessung einen weiteren Anknüpfungspunkt für die Datafizierung. Die digitale Selbstvermessung erfasst menschliches Leben in Echtzeit, indem Daten digital gesammelt, vorrätig gehalten werden und ein Deutungsangebot bereitgestellt wird. Die sogenannte quantified self community mit ihrem Slogan: ‚self-knowledge through numbers’ verspricht den Nutzenden durch die Quantifizierung ihres Lebens Werkzeuge zur Verbesserung und zur Kontrolle des Selbst an die Hand zu geben. Die Wirklichkeit wird so von Zahlenreihen erfasst, beschrieben und durch konkrete Entscheidungen bewertet. Beispielsweise in Bezug auf Gesundheit durch Fitness Gadgets wie Smartwatches oder sozialer Netzwerke wie strava, zuhause durch Smart Home Anwendungen, Accounts bei YouTube, Apple Music, Spotify etc., oder unterwegs, die Selbstüberwachung im Straßenverkehr, zwecks einer günstigeren Versicherungspolice. So wird auf individueller Ebene dazu beigetragen, dass die Datenbasis des digitalen Schattens des eigenen Selbst immer präziser wird. Die vermeintliche Präzision, Eineindeutigkeit, Vereinfachung, Nachprüfbarkeit und Neutralität durch Zahlen lassen die Überwachung der eigenen Gesundheit, des Musikgeschmacks oder des Fahrstils rational und wünschenswert erscheinen, da diese zumeist mit Belohnungen (Vorteilen, Erleichterungen) einhergehen.

Die Empfehlungen, Ratschläge und Sanktionen – positiv wie negativ – in solchen Arrangements bilden allesamt verhaltenskontrollierende und -lenkende Maßnahmen, die das Verhalten an bestimmten Normen und Zielen ausrichten. Die Quantifizierungen bringen manifeste Formen der Zuschreibung von Wertigkeit hervor. Algorithmische Prozesse bestimmen soziale Konstrukte wie Risiko, Gesundheit, Produktivität, Glaubwürdigkeit oder Popularität. Der Umstand, dass quantifiziert wird, ist offensichtlich; opak bleibt, wie die Konstrukte operationalisiert wurden. Denn die digitale Erfassung von Daten, deren algorithmische Indikatorisierung zur Kondensierung und Extraktion von Informationen aus dem Datenpool, enthalten im Vorfeld diverse Entscheidungsschritte. Diese Vorgänge sind hochgradig selektiv und normativ. Welche Daten einbezogen werden, wie sie gewichtet und auf welche Weise sie miteinander verknüpft werden, generiert eine je spezifische Bedeutung und Komplexitätsreduktion. Selbstvermesser:innen lassen es damit de facto zu, konditioniert zu werden, wobei dies allerdings nach Kriterien stattfindet, die sie nicht bestimmt haben.

Datenschutz im Sinne des Schutzes von personenbezogenen Daten als Voraussetzung für ein autonomes Leben rückt die informationelle Selbstbestimmung in den Fokus. Die Preisgabe der Privatsphäre aufgrund der alles durchdringenden Digitalisierung wird häufig mit dem Verlust der Autonomie gleichgesetzt. Jedoch wird außer Acht gelassen, dass die über­ wachten Subjekte auch eine aktive Rolle bei der Überwachung spielen. Sie sind Teil der Konstruktion der Überwachungswirklichkeit, indem sie selbstverständlich – selbstzensiert – ‚gewünschtes‘ Verhalten antizipativ re­ produzieren. Die Datensammlungen von (Groß-)Unternehmen und Geheimdiensten zielen nun aber – wie oben beschrieben – nicht nur darauf ab, einzelne Subjekte zu disziplinieren, sondern ermöglichen es Verhalten vorherzusagen und zu steuern. Wohl auch deswegen geht heute kaum jemand ohne Smartphone aus dem Haus, verzichtet auf die verschiedenen Dienste von Alphabet (ehemals Google) oder auf soziale Medien aus dem Hause Meta (ehemals Facebook).

Vielmehr sind Alexa und Co. aus dem Alltag kaum mehr wegzudenken, und das trotz diverser Datenskandale in den letzten Jahren. Diskussionen über Datenschutz und Überwachung werden zudem häufig mit dem Satz: „Ich hab´ ja nichts zu verbergen (und von daher auch nichts zu befürchten!)“ abgetan. Diese Legitimationsstrategie wurde passiv internalisiert und impliziert, dass es im Kontext der Dataveillance um ‚die Anderen‘, nicht aber um das eigene Selbst geht. Durch die Rezeption wird das Recht auf Privatsphäre sukzessive entwertet und zurückgedrängt.

Trotz der (fatalistischen oder vermeintlichen) Resignation hinsichtlich des informationellen Kontrollverlusts sollten Konzepte wie die informationelle Selbstbestimmung, Privatheit und Privatsphäre sowie Datenschutzes als eine der zentralen Machtfragen im 21. Jahrhundert betrachtet werden. Denn Privatheit und Privatsphäre changiert zwischen Autonomie und Kontrolle und konzentriert sich nicht mehr unmittelbar auf Subjekt, sondern den relationalen sozialen Raum. Die Etablierung einer ‚digitalen Souveränität‘, die das Gegenteil der beschriebenen digitalen Vulnerabilität darstellt, soll eine Möglichkeit an die Hand geben, der mehr oder weniger ‚totalen‘ digitalen Kontrolle der Subjekte entgegenzuwirken. Digitale Souveränität rekurriert auf die Agency als Handlungs- und Gestaltungsfähigkeit der Subjekte. Dazu ist es notwendig, eine Digitalkompetenz auf der individuellen Ebene zu etablieren, etwa durch Schulungen, aber auch durch stärkere Regulierung digitaler Dienste und Verbraucherschutz durch verbesserte Transparenz. Wissen und Transparenz über die Erhebung, Verarbeitung und Nutzung von persönlichen Daten sowie über algorithmische Entscheidungssysteme und deren Funktionsweise öffentlich zugänglich zu machen, verändert auch den Blick auf die Nutzenden. Sie sind dann nicht mehr nur die vermeintlich passiven und verwundbaren Ziele der Datafizierung. Vielmehr können sie sich organisieren, Wissen aneignen und dadurch eine Handlungsfähigkeit erlangen, die sie befähigt, den Kampf um Privatsphäre und Datenschutz für sich zu entscheiden.

Proaktiver Datenaktivismus sieht in offener/ freier Software eine Möglichkeit einen sozialen Wandel der Digitalität zu initiieren, der die Befähigungsperspektive der Subjekte stark macht und sie zur Partizipation animiert. Proaktive Datenaktivist:innen agieren in unterschiedlichen Konstellationen und Organisationen, um die ungleiche Machtverteilung und Monopolisierung der Datenanalyse zu brechen. Etwa indem sie sowohl mittels ‚open data‘ und freier Software gegen die „Landnahme der Algorithmen“ vorgehen und aktiv und öffentlichkeitswirksam informationelle Selbstbestimmung einfordern. Sowohl gesetzlich, indem der Gesetzgeber die Gefahren, die aus der Datenverarbeitung für Subjekte hervorgehen, einhegt durch Fest­ schreibung von Missbräuchen der Privatsphäre, als auch durch öffentlichkeitswirksame Aktionen, Aufklärung zum Selbstschutz und politische Handlungsempfehlungen.

3. Plattformbasierte Arbeitskoordination im Fahrradkurierwesen

Der Grundgedanke von digitalen Plattformkonzepten beruht u.a. auf der großflächigen, automatisierten und vernetzten Sammlung und Nutzung von (Persönlichkeits- und Meta-)Daten als Geschäftsmodell. Die digitale Plattformökonomie kann als paradigmatisch für den oben beschriebenen Überwachungskapitalismus verstanden werden. Daher soll anhand zwei konträrer Beispiele von Plattformunternehmen, die im Fahrradkurierwesen tätig sind, das Spektrum der Dataveillance zwischen kommerzieller oder aktivistischen Datennutzung beleuchtet werden. Das erste empirische Beispiel rekurriert auf ein kommerzielles Plattformunternehmen, dass sich auf die regionale, nationale und internationale Bereitstellung einer Fahrradkurierlieferflotte für Essensauslieferung spezialisiert hat und diese über ein algorithmisches Management koordiniert. Die andere empirische Fallstudie nimmt ein Fahrradkurierkollektiv in den Blick, dass sich nach eigenen Angaben von der Anreizpolitik und Disziplinierung durch automatisierte Prozesse emanzipieren will. Die Nutzung algorithmischer Infrastrukturarchitekturen zur Arbeitskoordination stellt eine verbindende Gemeinsamkeit des kommerziellen und des gemeinschaftlich geführten Kurierunternehmens dar.

Die Ausgestaltung der Überwachung, Verdatung und Quantifizierung des Arbeitsalltages variiert in der Praxis und ist je nach Ausrichtung des Plattformunternehmens unterschiedlich. Allerdings birgt die Datafizierung im Arbeitskontext eine Brisanz, der sich auch das gemeinschaftlich geführte Kollektiv nicht komplett entziehen kann. Vor allem in Bezug auf Nudges, Gamification und des Daten-Behaviourismus insgesamt lassen sich so unterschiedliche Maßnahmen zur (Selbst-)Disziplinierung und Steuerung der Mitarbeiter:innen beobachten, die wiederum unterschiedliche Reaktionen hinsichtlich Privacy- und Datenschutzkonzepte evozieren. Im Folgenden sollen daher die Spannungen, Ambivalenzen und Herausforderungen, die durch die Datafizierung möglich geworden sind, in den verschiedenen empirischen Ausgangssituationen vergleichend diskutiert werden.

Eine bedeutende Gemeinsamkeit der beiden doch sehr unterschiedlichen Plattformunternehmen bezieht sich auf die für die Arbeitskoordination wesentliche algorithmische Infrastruktur, wodurch der Arbeitsprozess kleinteilig überwacht werden kann. Der kommerzielle Kurierdienst setzt bei der Mitarbeiter:innenführung auf eine Steuerung und Herrschaft durch ein algorithmisches Management, das mittels technikvermittelter Regelsetzung und Modularisierung die Handlungsspielräume der Arbeitskräfte massiv begrenzt. Die algorithmisch induzierte Quantifizierung der Arbeitsleistung und die lückenlose Ablaufkontrolle sowie das automatisierte Tracking sorgt für eine Reduktion der Subjektivität der Fahrer:innen des kommerziellen Lieferdienstes auf ihren Datenschatten und ermöglicht es dem algorithmischen Management eine umfassende Dataveilance zu installieren. Das so erzeugte rigide Kontrollregime erzeugt mitunter eine hohe Fluktuation im Unternehmen aber auch selbstorganisierten Widerstand seitens der Fahrer:innen. Während zu Beginn des selbstorganisierten Widerstandes Datenschutz kaum ein Thema war, formierte sich über den Zeitverlauf, animiert von Einzelkämpfer:innen – die juristisch gegen das Unternehmen vorgegangen waren –, auch Interessenvertreter:innen zu diesem Thema.

Das kollektiv geführte Plattformunternehmen wurde von ehemaligen Fahrer:innen des kommerziellen Lieferdienstes gegründet und verfolgt den Anspruch, aufgrund der Erfahrungen der algorithmischen Steuerung diese Art von Führung zu vermeiden. Ziel des Kollektivs ist es, einen sozialen Wandel durch den Einsatz von digitalen Technologien, die zur Partizipation und Mitbestimmung in allen geschäftlichen Bereichen befähigen, zu initiieren. Die algorithmische Infrastruktur für die Arbeitskoordination ist auch im Kollektiv zentral für den Auslieferungsprozess. Das Besondere dabei ist jedoch, dass die Software von CoopCycle, der ‚Kooperative der Kooperativen‘ – ein gemeinwohlorientiertes Fahrradkurier-Netzwerk – programmiert wurde und ausschließlich an demokratisch verfasste Kollektive weitergegeben wird. Das Kollektiv hat – wie alle anderen angeschlossenen Kooperativen – keine direkte Zugriffsmöglichkeit auf den Code der Software. Durch beständige Feedbackschleifen durch ein Online-Portal und Sofort-Support bei Problemen besteht jedoch die Möglichkeit die Software weiterzuentwickeln und den eigenen Bedürfnissen anzupassen.

Bei beiden Unternehmen garantieren die Algorithmen der Plattform die effiziente Gestaltung des Arbeitsablaufs. Das algorithmische Management des kommerziellen Plattformunternehmens übernimmt die gesamte Koordination und schaltet die jeweiligen Arbeitsschritte sukzessive frei. Diese Modularisierung ermöglicht eine niederschwellige Partizipation aller Beteiligten. Die damit einhergehende Standardisierung lässt sodann aber keine Abweichung von den vorgegebenen Pfaden zu. Die Fahrer:innen haben somit keine Möglichkeit in ablaufende Prozesse einzugreifen oder zu der Lösung etwaiger Probleme im Lieferablauf beizutragen (wie beispielsweise ihr qualitatives Wissen über regionale Umwelterfordernisse, da es durch das algorithmische Management nicht wahrgenommen werden kann).

Im Gegensatz zu der kooperativen Software stellt die vollautomatisierte und prozessumspannende Arbeits- und Ablaufkontrolle entlang standardisierter Kennziffern keine Kommunikations- und Feedbackschnittstellen zur Verfügung. Während die Kommunikation dort auf allen Ebenen begrenzt wird, ist im Kollektiv Kommunikation das alles übergreifende Koordinationsprinzip. Dies liegt auch in der Maxime begründet allen Mitgliedern eine selbstbestimmte Arbeit durch die Verteilung von Gestaltungsmacht zu ermöglichen. Regelsetzungen werden über Konsens (idealiter) oder Mehrheitsentscheid (realiter) hergestellt. Die alltägliche Kommunikation findet vorrangig über Onlinedienste und -plattformen (wie Slack, für die situative Abstimmung, und Zello, als Push-to-Talk-Kommunikation während des Auslieferungsprozesses) statt. Das Zusammenspiel aller verwendeten kommunikationstechnischen Tool sowie intensive kommunikative Abstimmungen in regelmäßigen face-to-face Plenarmeetings garantiert die Funktionsfähigkeit des Kollektivs. Sie gründet sich somit nicht allein auf die algorithmische Infrastruktur zur Arbeitskoordination, die zwar in ihrer Funktionsweise ähnlich der kommerziellen Variante ist, jedoch deutlich flexiblere Handlungsspielräume, aufgrund geringer Modularisierung, beinhaltet. Allerdings sind die kostenlosen Software-Lösungen mitunter Teil der Überwachungsunternehmen wie oben beschrieben, wodurch die Mitglieder des Kollektivs auch durch ihre Arbeit ihre Datenspur vertiefen und den Herrschaftsmodus und die daraus resultierende Asymmetrie zwischen Beobachter:innen und Beobachteten reproduzieren, ohne dies zu reflektieren.

Alle Aktivitäten der Fahrer:innen, ihre Verweildauer auf der Plattform bzw. in der Smartphone-Applikation, ihre Durchschnittsgeschwindigkeiten, ihre Reaktionszeiten und weitere Faktoren können durch die technische Infrastruktur der Plattform registriert, gespeichert und aggregiert werden. Während der kommerzielle Anbieter die ‚Zustimmung‘ zu einer solchen Datenpraxis quasi mittels eines Click Warp-Vertrags bei Einstellung sowie bei der – für die Arbeit notwendigen – Nutzung der Smartphone-Applikation einholt, werden diese Funktionen in dem kooperativen Unternehmen nicht verwendet. Das bedeutet, dass die Daten nur gesammelt werden, aber durch das Kollektiv nicht abgerufen werden. Dies ist zum einen der Einsicht geschuldet, dass die Quantifizierung des Arbeitsprozesses qualitative Faktoren nicht berücksichtigen kann (wie beispielsweise einen Platten am Fahrrad oder etwa kurzfristige und notwendige Pausen aufgrund der Witterungsbedingungen). Zum anderen würde die Standardisierung der Leistung der Individualität der Arbeitenden nicht gerecht und wirke durch die Vergangenheitsfixierung in den Leistungsdaten als zusätzliche Stressquelle.

Die Datafizierung der Arbeitsleistung stellt für das algorithmische Management eine Notwendigkeit der Funktionsfähigkeit dar, da es nur auf der Basis der Quantifizierung und Kategorisierung der Fahrer:innen diese auch steuern kann. Das detaillierte Echtzeit-Tracking-System nudged die Fahrer:innen anhand von Nachrichten, die in der App während der Auslieferungsprozesses lanciert werden. Anhand von Vergleichswerten aus früheren Auslieferungsfahrten werden so Verhaltensempfehlungen abgegeben, die die eigene Leistung steigern sollen. Darüber hinaus sind sowohl das Bonussystem, das ab einer bestimmten Anzahl von Auslieferungen einen Zusatzverdienst gewährt, als auch das Schichtbuchungssystem von den Leistungsdaten der Arbeitnehmenden abhängig. Die Leistungsprofile der Arbeitnehmer:innen bilden die Grundlage dafür, wer wann Zugang zum Schichtbuchungssystem bekommt. Werden die Daten vom algorithmischen Management als ‚schlecht‘ eingestuft, bedeutet dies gleichzeitig auch, dass diejenige Arbeitskraft erst später die noch verfügbaren Schichten buchen kann, wodurch unter Umständen wiederum ein finanzieller Nachteil entsteht.

Die Disziplinierung über die erhobenen Daten wird außerdem zusätzlich über die firmeninterne Veröffentlichung in Form eines monatlichen Newsletters forciert. Die grafische Aufbereitung einzelner Leistungsdaten sowie interne Bestenlisten und überregionale Rankings der Standorte sollen als Anreizsysteme die Motivation der Fahrer:innen steigern, jedoch werden dabei weder regionale Unterschiede noch divergente Bedingungen im Straßenverkehr berücksichtigt. Diese Form von Gamification wird im Kollektiv nicht durch die verwendete algorithmische Infrastruktur induziert. Jedoch vergleichen die Fahrer:innen sich und ihre Leistungen über das soziale Netzwerk Strava zum online Tracking sportlicher Aktivitäten. Auch Strava motiviert seine Nutzer:innen etwa mit Belohnungs- und Warnsystemen. Es kreiert aus einer einsamen Übung ein spannendes Spiel, in das Freund:innen wie auch unbekannte Nutzer:innen (aufgrund von Alter, Ort, Geschlecht, ähnlicher Leistungsdaten etc.) involviert werden können. Diese Spielelemente sind konzipiert, die Nutzenden zu animieren sich stetig zu vermessen und mit anderen zu konkurrieren, um laufend Daten zu generieren. Auch hier wird mit spieltheoretischen Elementen wie Bestenliste anhand der Leistungsdaten operiert und Belohnungen wie Auszeichnungen und Abzeichen vergeben, um die Nutzer:innen zu motivieren und sie dazu anzuhalten, ihre Leistungen stetig zu protokollieren und zu verbessern.

Durch das Livetracking in Kombination mit Scoring entsteht eine detaillierte individuelle ‚Leistungsübersicht‘, die jede auf der Plattform registrierte Aktivität speichert. Während dies für die Fahrer:innen des kommerziellen Unternehmens bedeutet, dass auch jeder Unfall, jeder Konflikt oder jede Verspätung als Referenz für künftige Bewertungen, Disziplinierung und Steuerung hergenommen wird, trifft dies im Fall des kooperativ geführten Unternehmens nur insofern nicht ebenso zu, da es nicht unternehmensintern aufgesetzt wurde. Die Verhaltenskonditionierung erfolgt somit im Fall des Kollektivs ‚freiwillig‘ und unternehmensextrem. Da die Algorithmen von Strava nicht wissen können, dass die Mitglieder des Kollektivs sich im Arbeitskontext selbstvermessen und die Nudges zur Verbesserung der Leistungen animieren, kann es durchaus sein, dass die Anreize daraufhin wirken, dass die Fahrer:innen schneller und gefährlicher fahren. In beiden Fällen ermöglicht es – unabhängig von der Ausgestaltung und Konsequenzen für die digitalen Subjekte – die Sammlung, Kombination und Analyse von Daten in Echtzeit. So wird eine personalisierte Auswahl an Optionen geboten, die bereits auf Verhaltensvorhersagen basieren und so eine hohe Wahrscheinlichkeit erzielen das gewünschte Verhalten zu evozieren. Die vermeintliche Objektivität der Daten verschleiert die zugrundeliegenden Absichten (der dahinterstehenden Unternehmen). Zusätzlich bleibt unklar, wie die jeweiligen Kennziffern genau zustande kommen und welche Aussagekraft ihnen zukommt. Es zeigt sich also auch im Kollektiv, das sich von den Arbeitsbedingungen der Plattformökonomie durch die Ausgründung emanzipieren wollte, dass der Überwachungskapitalismus durch die Hintertür weiterhin zumindest indirekt relevant ist.

Während sich die Essenskurier:innen weder einen Überblick über ihre eigene Datenspur verschaffen können, noch in irgendeiner Form Kontrolle darüber ausüben können, welche Informationen erhoben und dann aus der Datensammlung mittels Muster und Cluster gewonnen werden, ist Transparenz für die Mitglieder des Kollektivs bei allen anfallenden Daten ein wichtiges Kriterium der täglichen Arbeit. Das bedeutet, dass alle Firmendaten für alle Mitglieder jederzeit offen zugänglich sind. Da es keine (formale) Hierarchie gibt und jede:r alle Aufgaben übernehmen kann, erfolgen darüber hinaus regelmäßig stattfindende Überblicksrunden aus den jeweiligen Arbeitsbereichen. Diese Transparenz sorgt dafür, dass die Mitglieder selbstbestimmt entscheiden und partizipieren können und stellt das Gegenteil der digitalen Vulnerabilität der Fahrer:innen des kommerziellen Unternehmens dar. Im Vergleich zu den kommerziellen Fahrer:innen, deren informationelle Selbstbestimmung innerhalb des Arbeitsverhältnisses massiv eingeschränkt ist, da sie bisher keinerlei Einsichtnahme, auch nicht über kollektive Interessenvertretungsstrukturen, in die Datensammlungen des algorithmischen Managements, durchsetzen konnten, zeigen sich bei den Mitgliedern der Kooperative erste Anklänge einer digitalen Souveränität. Allerdings nur in Bezug auf die verwendete algorithmische Infrastruktur zur Arbeitskoordination. Die verschiedenen kostenlosen Apps sowie die Nutzung von Strava konterkarieren jedoch die im Arbeitskoordinationskontext entstandene digitale Souveränität bzw. stehen dem diametral entgegen. Dadurch sind die Mitglieder des Kollektivs der gleichen digitalen Vulnerabilität ausgesetzt wie die Fahrer:innen des kommerziellen Lieferdienstes, jedoch ohne dies im Kollektiv kommunikativ adressieren zu können, da die Nutzung dieser Dienste aus einer finanziellen Notwendigkeit heraus als ‚alternativlos‘ wahrgenommen werden. An diesem Punkt zeigt sich, dass gezielte Aufklärung und Förderung von digitalem Wissen über die Datenpraxis der großen Digitalkonzerne dezidiert forciert werden muss, damit die Subjekte die informationelle Selbstbestimmung in den verschiedenen Arbeits- und Lebensräumen aktiv praktizieren (können).

4. Abschließende Betrachtung

Algorithmische Plattforminfrastrukturen vergrößern die Handlungs- und Erfahrungsspielräume und vereinfachen die Koordination und Abstimmung. Sie strukturieren und prägen individuelle, kollektive und organisationale Beziehungsmuster sowie Arbeits- und Austauschzusammenhänge und können soziale Kontrolle ausüben. Persönliche Daten und die zugrundeliegende menschliche Erfahrung werden kommodifiziert, wenn jede Internetsuche, jeder Klick und jedes Like getrackt, gespeichert und aggregiert wird. Die Quantifizierung der Subjektivität reduziert das digitale Subjekt auf seinen Datenschatten, da technisch nur wahrgenommen werden kann, was messbar ist. Die umfassende Datafizierung generiert individuelle Persönlichkeitsprofile, kategorisiert Personen und ihr Verhalten, antizipiert deren Entscheidungen und bietet somit die Möglichkeit zur Verhaltensmanipulation. Der daraus resultierende Überwachungskapitalismus fordert die informationelle Selbstbestimmung als Preis für ‚kostenlose‘ Internetdienste. Die ungleiche Machtverteilung und die Monopolisierungstendenzen der Datenanalysen verweisen auf die Wichtigkeit der Zentralstellung von Datenschutz im 21. Jahrhundert und der Etablierung einer digitalen Souveränität. Denn das Wissen um die digitale Vulnerabilität evoziert sodann eine doppelte Verhaltensänderung: zum einen erfolgt diese proaktiv, indem die Machtverhältnisse internalisiert werden, wodurch es vermehrt zu selbstinszenierten (vermeintlich) gewünschtem Verhalten kommt. Zum anderen wird das individuelle Verhalten reaktiv durch Nudging und Hypernudges herausgefordert. Diese können unter Umständen sogar über eine Verhaltensänderung hinausreichen und eine Bewusstseinsveränderung wie auch eine Realitätsverschiebung zeitigen. Die Förderung und der Ausbau einer digitalen Kompetenz einhergehend mit einer stärkeren Regulierung von Internetunternehmen im Sinne des Verbraucherschutzes sowie eine verbesserte Transparenz könnte die Grenzverschiebung von privat-öffentlich und ökonomisch zumindest partiell rückgängig machen.

Am Beispiel des kommerziellen Auslieferungsunternehmens wurde verdeutlicht, dass die vollautomatisierte und modularisierte Arbeitskoordination die Autonomie der einzelnen Fahrer:innen deutlich einschränkt. Die Beschäftigten werden zu informationstechnisch ausgeleuchteten Ausführungsvariablen, die durch umfassende Leistungskontrollen gesteuert und diszipliniert werden. Die algorithmische Governance mündet in einem Datenbehaviorismus, der vordergründig mit Anreizen und Belohnungen operiert, jedoch auch sanktioniert und bestraft. Die Arbeitnehmer:innen haben dabei keine Möglichkeit ihre Datenspur einzusehen oder zu verändern. Sie können sich noch nicht einmal sicher sein, dass ihre Daten nicht – bestenfalls in anonymisierter Form – weiterverwendet und verkauft werden.

Aber die Fahrer:innen sind nicht nur passive Rezipient:innen algorithmischer Kontrollstrategien, sondern entwickelten vielfach auch eigen- und widerständige Reaktionen. Während zu Beginn des selbstorganisierten Widerstandes Datenschutz kaum ein Thema war, forderten die Arbeitnehmer:innen zuerst vereinzelt (vor allem auf dem juristischen Weg) und sukzessive auch kollektiv ihre informationelle Selbstbestimmung zurück. Der erfolgreiche internationale selbstorganisierte Widerstand hat diverse Verbesserungen der Arbeitsbedingungen mit sich gebracht. Mitunter folgte aus der Selbstorganisationsbewegung auch die Gründung eigener Initiativen und Kollektive, wie das Beispiel des gemeinschaftlich geführten Kollektivs exemplarisch zeigt. Während das Kollektiv als gemeinschaftlich geführtes Unternehmen Hierarchien und algorithmische Disziplinierung ablehnen und Kommunikation als umfassendes Koordinationsprinzip installierten, zeigt sich jedoch auch hier, dass die überwachungskapitalistischen Unternehmen fest in den gesamten Arbeitsprozess integriert sind. Nicht nur die Koordination über die kostenlosen Apps zur Erleichterung der Kommunikation, sondern vor allem auch die freiwillige Selbstvermessung durch Strava beinhaltet die Möglichkeit der unbewussten Steuerung und Konditionierung.

Zusammenfassend kann gesagt werden, dass die Etablierung einer umfassenden digitalen Souveränität der einzelnen digitalen Subjekte weiterhin mit diversen individuellen und kollektiven Lernprozessen verbunden ist. Es ist noch ein langer Weg die digitale Vulnerabilität nicht nur sichtbar zu machen. und sie sodann sukzessive zu überwinden.

Jasmin Schreyer in: Künstliche Intelligenz, Demokratie und Privatheit; Nomos Verlag, Baden-Baden; 2022

https://doi.org/10.5771/9783748913344

https://creativecommons.org/licenses/by/4.0/deed.de

Zur einfacheren Lesbarkeit wurden die Quellenverweise entfernt.


Das Phänomen Deepfakes

05/2023

Künstliche Intelligenz als Element politischer Einflussnahme und Perspektive einer Echtheitsprüfung

1. Einleitung

Mit Künstlicher Intelligenz (KI) können Medien wie Bilder, Audios und Videos so verändert werden, dass Betrachter:innen die auf diese Weise entstandenen Deepfakes nicht ohne Weiteres als eine Manipulation erkennen können. Wie alle technischen Entwicklungen birgt auch KI-generiertes Bild-, Audio- und Videomaterial sowohl Potentiale für neue nützliche Anwendungen (z. B. für Unterhaltung, Kunst und Medizin) als auch Risiken und Gefahren, die im politischen Kontext bereits beobachtet werden können. Dass der demokratische Diskurs durch manipuliertes oder künstlich generiertes, aber echt wirkendes Bild-, Audio-, und Videomaterial beeinflusst werden kann, zeigen bereits Erfahrungen aus der Vergangenheit. Manipulierte Bilder wurden zu propagandistischen Zwecken bis hin zur Rechtfertigung für militärische Auseinandersetzungen verwendet. In Anbetracht dieser historischen Erfahrungen und der stetig wachsenden Leistungsfähigkeit KI-basierter Anwendungen sind die von Deepfakes ausgehenden Risiken für die Funktionsfähigkeit demokratischer Staaten, etwa im Kontext von Wahlen, als bedeutend einzustufen, etwa wenn der Wahlerfolg politischer Gegner:innen durch gefälschte oder manipulierte Medien gezielt beeinträchtigt wird.
Im Wissen darum, dass Menschen visuellen Darstellungen einen besonders starken Wirklichkeitsbezug beimessen, wird im Rahmen der politischen Kommunikation zunehmend mit Bildern und kurzen Videoclips gearbeitet. Insbesondere die Fähigkeit, starke Emotionen bei Rezipient:innen hervorzurufen, gibt Bildern den Vorzug vor primär textbasierten Mitteln der Massenkommunikation. Durch die Digitalisierung und die zunehmende Verbreitung qualitativ hochwertiger Aufnahme- und Wiedergabegeräte steht immer mehr Bildmaterial zur Verfügung, das innerhalb kurzer Zeit über digitale Plattformen weltweit verbreitet werden kann. Im Zuge dieser Entwicklungen können Bildinhalte kaum noch ohne technische Unterstützung auf ihre Echtheit überprüft werden. Der Umstand, dass Manipulationen von online verfügbaren Inhalten zunehmend auf dem Einsatz von Künstlicher Intelligenz (KI) basieren, legt auch den Einsatz von KI bei der Entwicklung von Gegenmaßnahmen nahe.
Vor diesem Hintergrund geht der vorliegende Beitrag zunächst der Frage nach, wie Deepfakes politische Diskurse beeinflussen können. Da sowohl die freie politische Meinungsäußerung als auch die unbeeinflusste Meinungsbildung zentral für die Ausgestaltung demokratischer Prozesse sind, bedarf das Phänomen Deepfakes einer differenzierten Betrachtung. In einem zweiten Schritt setzt sich der Beitrag mit rechtlichen Strategien für den Umgang mit Deepfakes auseinander. Im dritten Schritt wird das interdisziplinäre Konsortialprojekt FAKE-ID vorgestellt, das unter anderem KI-basierte Deepfake-Detektionstools erforscht.

2. Deepfakes – ein KI-Phänomen mit vielfältigen Einsatzmöglichkeiten

Der Begriff Deepfake wird aus den beiden Begriffen Deep Learning und Fake gebildet und beschreibt einen Teilbereich der Künstlichen Intelligenz (KI), der auf die Erstellung einer Fälschung mittels der Methode des Deep Learning abzielt. Er wird oftmals für ein Video verwendet, das mithilfe von Deep-Learning-Methoden bearbeitet wurde, um die Person im Originalvideo partiell (hinsichtlich Gesicht, Körper, Gestik, Sprache, o. ä.) durch eine andere Person auf eine Art zu ersetzen, die in der Rezeption den Eindruck einer unverfälschten und somit glaubwürdigen Darstellung erzeugt. In vielen Fällen handelt es sich bei den vermeintlichen Protagonist:innen um Personen des öffentlichen Lebens.

Der Transfer des Begriffs Deepfake aus der Techniksprache in den öffentlichen Diskurs lässt sich auf das Jahr 2017 datieren, als eine(r) der anonymen Nutzer:innen der Onlineplattform Reddit unter dem Pseudonym deepfakes Videomaterial veröffentlichte, das unter Einsatz von KI Gesichter von aus der Film- und Musikindustrie bekannten Frauen auf die Körper von Pornodarstellerinnen montierte. Das auf diese Weise erzeugte Filmmaterial wirkte – zumindest auf den ersten Blick – glaubwürdig. Bereits kurze Zeit nach diesem Ereignis konnte man beobachten, wie die Nachfrage nach (gefälschten) pornographischen Inhalten zur vermehrten Verbreitung von Deepfakes führte. Frei verfügbare Software und Bedienungsanleitungen für die Generierung von Bildern und Videos pornographischen Inhalts trugen dazu bei, dass 96 % der insgesamt 14.678 im Jahr 2019 von Ajder et al. untersuchten Deepfakes der Kategorie „non-consensual deepfake pornography“ zugeordnet werden konnten.
In den darauffolgenden Jahren haben die Formate digitaler Fälschungen und Manipulationen merklich an Variation zugenommen. Insofern erscheint es sinnvoll und notwendig, die Definition von Deepfakes auszuweiten: Deepfakes sollen demnach als generierte, potentiell glaubwürdige Medieninhalte (Bilder, Videos, Texte, Audiodaten, etc.) verstanden werden, die durch die teilweise Verfälschung von bestehenden medialen Inhalten (z. B. Videomaterial) zumeist mittels eines neuronalen Netzwerkes produziert werden.
Auch die Einsatzgebiete für KI-basierte Manipulationen von Bild, Video- und Audioinhalten erweiterten und diversifizierten sich. Insbesondere die Bereiche Kommerz, Unterhaltung und Medizin profitieren von den Möglichkeiten der gezielten Veränderung digitaler Daten durch KI. Diverse weitere Einsatzbereiche für Deepfakes werden in der Fachliteratur diskutiert, etwa die Beseitigung von Sprachbarrieren zur Verbesserung kulturübergreifender Verbreitung von Videoinhalten oder zur direkten politischen Ansprache. Andere Einsatzmöglichkeiten bieten sich in der Bildbearbeitung in der Filmindustrie, der Erstellung personalisierter Medien, der Produktion von KI-Werbemodellen unter Verwendung von Generative Adversarial Networks (GAN) oder aber der Personalisierung von Online-Kundenerlebnissen.
Neben den Einsatzgebieten haben sich auch die technischen Zugangsvoraussetzungen für die Erstellung von Deepfakes geändert: Waren im Jahr 2017 noch signifikante technische Ressourcen und Expert:innenwissen nötig, um visuell plausible Deepfakes zu erzeugen, so ist dies heute mittels vielfältiger, frei verfügbarer Software möglich. Die Nutzung dieser Programme bedarf keines qualifizierten Hintergrundwissens mehr und liefert in kurzer Zeit überzeugende Resultate. Insofern wundert es nicht, dass die Anzahl der im World Wide Web kursierenden Deepfakes rasant ansteigt.
Vor dem Hintergrund eines zunehmend einfacheren und für Laien zugänglicheren Herstellungsprozesses von KI-generiertem Bild- und Videomaterial einerseits und den stetig wachsenden Einsatzgebieten dieser Technologie andererseits bergen Deepfakes – wie alle technischen Entwicklungen – ein bemerkenswertes Potential zur Durchführung krimineller Handlungen. Die Generierung und Nutzung von Deepfakes kann strafrechtlich relevant sein, etwa im Kontext von Persönlichkeitsrechtsverletzungen wie Verleumdung und von Delikten wie Erpressung oder Betrug.

3. Deepfakes in politischen Kontexten

Im Folgenden wird gezeigt, dass Deepfakes und andere Formen von Bild- und Videofälschungen in vielfältigen Varianten auftreten können und dass die Erkennbarkeit von Manipulationen oftmals nicht objektiv messbar ist, sondern auch vom Kontext und der Sensibilität der Betrachter:innen gegenüber Manipulationsrisiken abhängt. Deepfakes, die zu Zwecken der Desinformation genutzt werden, bergen das Potential, demokratische Prozesse auf unterschiedliche Art zu beeinflussen. Wird die Integrität und Fairness demokratischer Wahlen durch den Einsatz von KI-manipulierten oder -generierten Bild- oder Videoinhalten in Frage gestellt, kann dies zu einer Legitimationskrise demokratischer Systeme führen. Für die Wähler:innen birgt die Deepfake-basierte Desinformation zu politischen Themen das Risiko, Opfer einer manipulierten Meinungsbildung oder gezielter Verunsicherung zu werden, was sich auch auf ihre Wahlteilnahme und -entscheidung auswirken kann. Für Politiker:innen, deren Auftritte in Deepfake-Videos oder -Bildern manipuliert werden, steht ihre Reputation auf dem Spiel, was ihre zukünftigen Wahlchancen beeinträchtigen kann. Insbesondere Deepfakes, die darauf abzielen per „microtargeting techniques“ bestimmte Personen in Verruf zu bringen, gelingt dieses Unterfangen unter bestimmten Voraussetzungen nachweisbar.

3.1 Einflussnahme auf politische Diskurse durch Deepfakes

Deepfakes reihen sich in das vielfältige technische Repertoire ein, mit dessen Hilfe Meinungen geäußert und Meinungsbildungsprozesse beeinflusst werden können. Im Herbst 2021 verbreiteten sich zahlreiche Variationen eines im Rahmen der Sondierungsgespräche für die Bildung einer Koalitionsregierung auf Bundesebene entstandenen Selfies der Führungspersonen von BÜNDNIS 90/DIE GRÜNEN und der FDP. Die kursierenden Deepfakes verweisen erkennbar auf das Originalbild. Aufgrund von Inhalt und Aufmachung war für Betrachter:innen unschwer erkennbar, dass diese manipulierten Bilder und Videos nicht echt waren. Der satirische Charakter der unterschiedlichen, durchaus humorvollen Interpretationen des Politiker:innenbildes erschließt sich für durchschnittlich politisch gebildete Betrachter:innen mühelos.
Andere Deepfakes, wie das durch digitale Manipulation generierte Video der Sprecherin des Repräsentantenhauses der Vereinigten Staaten Nancy Pelosi, können vom medialen Publikum nicht auf Anhieb als (Ver-)Fälschung identifiziert werden. Der verlangsamte und stockende Sprachfluss der weithin bekannten Demokratin konnte bei den Rezipient:innen den Eindruck erwecken, die Politikerin stünde unter bewusstseinsverändernden Drogen. Diese Videomanipulation verbreitete sich sehr schnell, so dass sogar die renommierte Nachrichtenagentur Reuters sich im Zugzwang sah, die Manipulation dieses Videos in ihrer Rubrik Fact Check auszuweisen.
Eine andere Form der politischen Einflussnahme mittels Manipulation unter (vermeintlicher) Zuhilfenahme von Künstlicher Intelligenz ereignete sich auf der Ebene der russisch-europäischen Beziehungen. Wenige Monate nach der Verhaftung des russischen Oppositionspolitikers Aleksej Navalʹnyj im Januar 2021 erreichten mehrere Mitglieder des Europäischen Parlaments Gesprächsanfragen des Navalʹnyj-Vertrauten Leonid Volkov. Im Nachgang zu der zustande gekommenen Videokonferenz zwischen den Parlamentsmitgliedern und Volkov kamen Zweifel auf, ob die Person, die als Volkov auftrat, tatsächlich Volkov war. Er selbst erfuhr aus der Presse, dass er am besagten Gespräch teilgenommen haben soll. „Looks like my real face – but how did they manage to put it on the Zoom call? Welcome to the deepfake era …”, kommentierte er in den Sozialen Medien den vermeintlich KI-basierten Schwindel mit seiner Identität. Kurze Zeit später bekannte sich das russlandweit bekannte Komiker-Duo Vovan and Lexus, das bereits mehrere Telefongespräche mit hochrangigen Politiker:innen – u.a. gaben sie sich als das 2019 neu gewählte ukrainische Staatsoberhaupt Volodymyr Zelensʹkyj bei einem Telefonat mit dem französischen Präsident Emmanuel Macron aus – erschlichen hatte, zu dem sogenannten Prank.
Diese beiden Ereignisse verdeutlichen, dass Politiker:innen stets damit rechnen müssen, dass ihre digitalen Bild- und Videodarstellungen manipuliert werden können. Ob es sich bei einer Darstellungsmanipulation tatsächlich um eine KI-generierte Manipulation handelt, ein technisches Mittel anderer Art angewendet oder eine reale Person als „Doppelgänger“ eingesetzt wird, erweist sich als zweitrangig.
Deepfakes können aber auch als politisch-künstlerische Intervention inszeniert werden. Im Kontext der US-Präsidentschaftswahlen im Jahr 2020 veröffentlichte die politisch-gesellschaftliche Initiative mit Antikor­ ruptionsfokus RepresentUs ein KI-generiertes Video von dem vermeintlich echten nordkoreanischen Staatschef Kim Jong-un. Im Video verweist der ‚Oberste Führer‘ der Demokratischen Volksrepublik Korea auf die fortgeschrittene Fragilität westlicher demokratischer Strukturen. Die Möglichkeiten, Deepfakes in politischen Kontexten zu platzieren und auf diese Weise zu versuchen, Einfluss auf demokratische Prozesse zu nehmen, sind also bereits heute vielfältig. Dieser Trend dürfte mit zunehmenden technischen Möglichkeiten für ausgereifte, schwer erkennbare Deepfakes weiter voranschreiten.

3.2 Deepfakes als Form politischer Desinformation

Die Abgrenzung zwischen legitimer kritischer Satire und illegitimer politischer Propaganda wird durch manipulierte oder schlichtweg erfundene Text-, Bild-, Audio- und Videodateien, die im Kontext von Fake News verwendet werden, zunehmend erschwert. Tandoc et al. analysierten 34 akademische Beiträge aus den Jahren 2003 bis 2007 und erarbeiteten daraus eine Typologie für Fake News. Sie unterscheiden dabei „news satire, news parody, fabrication, manipulation, advertising, and propaganda.“ Diese Kategorien lassen sich auf die rasant wachsende Anzahl und Vielfalt an Deepfakes übertragen. Während die KI-hergestellten Selfie-Variationen aus dem Kontext der deutschen Koalitionsgespräche in den Bereich der „news satire“ beziehungsweise „news parody“ fallen, ist das Video der vermeintlich betrunkenen Sprecherin des US-amerikanischen Repräsentantenhauses als „manipulation“ zu werten.
Weitere definitorische Arbeit für die Auseinandersetzung mit Deepfakes im politischen Kontext leisteten Claire Wardle und Hossein Derakhshan. Systematisch erarbeiteten sie die Bedeutungsgrenzen der Begriffe „mis-information“, „dis-information“ und „mal-information“. Grundsätzlich können Deepfakes in jeder dieser Kategorien auftreten. Als inkorrekte Information ohne Schädigungsabsicht können sie der Kategorie der „mis-information” zugeordnet werden. Verfolgt die Generierung von Deepfakes die Absicht, einer Person, Organisation oder einem Staat zu schaden, indem missverständliche (Teil-)Informationen auf bestimmte Weise miteinander in Verbindung gesetzt werden, können Deepfakes als „mal-information” eingestuft werden. Handelt es sich bei Deepfakes um „information that is false and deliberately created to harm a person, social group, organization or country“, dann kann eine Bild- und Videomanipulation der Kategorie „dis-information“ zugeordnet werden.

3.3 Die Rolle der Internetnutzer:innen im Kontext desinformierender Deepfakes

Deepfakes reihen sich als neues Phänomen in ein breites Spektrum an Techniken ein, die bereits vor dem Auftreten erster KI-generierter Manipulationen für politische Desinformation genutzt wurden. Die Möglichkeiten, Deepfakes für politische Desinformation zu nutzen, sind indes im Vergleich zu früheren Techniken weitaus größer, wie auch Mannheim und Kaplan betonen: “While ‘Photoshop’ has long been a verb as well as a graphics program, AI takes the deception to a whole new level.”
Die Abgrenzung zwischen „mis-information“, „dis-information“ und „mal-information“ kann im Einzelfall schwierig sein. Das Teilen digitaler Inhalte, deren Authentizität nicht tiefergehend überprüft wurde, ist im digitalen Raum eine gängige Praxis. Dies kann nicht nur urheberrechtliche Fragen aufwerfen, sondern auch dazu führen, dass Internetnutzer:innen unabsichtlich digitale Inhalte verbreiten, die mit einer Schädigungsabsicht hergestellt und im digitalen Raum platziert wurden.
Pennycook et al. haben gezeigt, dass die (angenommene) Echtheit der Informationen bei der Auswahl von Inhalten, die Internetnutzer:innen digital verbreiten, eine nachrangige Rolle spielt. Vorrang bei der Entscheidung für oder gegen das Teilen bestimmter Informationen hat die durch die Veröffentlichung dieser Inhalte antizipierte Aufmerksamkeit für die eigene Internetpräsenz durch andere Internetnutzer:innen.
Der Code of Conduct on Disinformation, den die Europäische Kommission 2018 veröffentlicht hat, spricht den Internetnutzer:innen allerdings keine nennenswerte Rolle bei der Verhinderung von Desinformation zu. Das Dokument behandelt hauptsächlich Selbstregulierungsansätze für die Veröffentlichung digitaler Inhalte, denen Privatunternehmen auf freiwilliger Basis folgen können. Ebenso optional formuliert sind die im Code enthaltenen Berichtspflichten. Eine gesetzliche Verpflichtung für Unternehmen sieht das Papier nicht vor.
Die Interpretation digitaler Inhalte durch Internetnutzer:innen hängt sowohl vom spezifischen Darstellungskontext der zu beurteilenden Bilder, Videos und sprachlichen Inhalte als auch vom Wissensstand der jeweiligen Nutzer:innen ab. Rössler et al. stellen in diesem Zusammenhang fest, dass Menschen ohne besondere Qualifikation für die Bildevaluierung Fälschungen und Manipulationen in Bildern in 50% der Fälle identifizieren können – statistisch gesehen kommt das Resultat einem zufälligen Raten gleich.
Selbst Fachpublikum lässt sich von KI-manipulierten Bildern in die Irre führen, wie das Szenario um den Beitrag des renommierten norwegischen Fotografen Jonas Bendiksen (Magnum Photos) beim Visa pour l’image: In­ ternational Festival of Photojournalism im Jahr 2021 verdeutlicht. Mittels KI fügte Bendiksen Bären in Bilder einer mazedonischen Industrielandschaft ein. Die Manipulation blieb von der Fachjury unbemerkt. Diese Beispiele zeigen, dass Manipulationen in digitalem Bild- und Videomaterial sowohl für Laien als auch Expert:innen schwierig zu erkennen sein können.

4. Strafbarkeit der Nutzung von Deepfakes im politischen Kontext und Ansätze von Transparenz

Die Frage nach der Strafbarkeit der Nutzung von Deepfakes im politischen Kontext hängt mit der Entscheidung zusammen, ob beziehungsweise unter welchen Umständen die Echtheitsprüfung politischer Aussagen in das Aufgabengebiet von Strafverfolgungsbehörden fallen soll. Deepfakes können im Kontext einer politischen Debatte (etwa als Satire) durchaus ein legitimes Ausdrucksmittel sein. Daher stellt sich die Frage, in welchen Fällen demokratische Prozesse dermaßen beeinflusst werden können, dass der Einsatz von Strafrecht als staatliches Kontrollwerkzeug gerechtfertigt wäre. Die strafrechtliche Verfolgung von Deepfakes, die der Kategorie der oppositionellen politischen Meinungsäußerung angehören, wäre problematisch, da die Strafverfolgungsbehörden in vielen Ländern an Weisungen der Regierungen gebunden sind. Grundsätzlich ist die Einflussnahme von Strafverfolgungsbehörden auf diskursive Prozesse in demokratischen Gesellschaften im Hinblick auf die Meinungsfreiheit kritisch zu bewerten. Das Strafrecht sollte hier also nur ultima ratio sein.

Vereinzelt reagieren die Gesetzgeber:innen der Welt bereits mit neuen Rechts- und Regulierungsrahmen für politisch desinformierende Deepfakes. Im Zusammenhang mit politischen Wahlen erließ Texas als erster US-amerikanischer Bundesstaat ein Gesetz, das politisch motivierte Deepfakes in einem klar definierten Zeitraum (30 Tage) vor anstehenden Wahlen verbietet. Auch Frankreich verabschiedete im Jahr 2018 mit dem „Loi relative à la lutte contre la manipulation de l’information“ ein Gesetz zur Bekämpfung der Informationsmanipulation. Irreführende Behauptungen und Unterstellungen über politische Akteur:innen und Parteien werden demnach in einem Zeitraum von drei Monaten vor Wahlen unter Strafe gestellt. Soweit Deepfakes genutzt werden, um in Wahlkampfzeiten manipulierte und unwahre Informationen zu verbreiten, können sie von diesem Gesetz erfasst sein. Einen ähnlichen Ansatz verfolgt unter anderem auch die australische Gesetzgebung mit dem ebenfalls im Jahr 2018 verabschiedeten Gesetz zur Sanktionierung politischer Desinformation, insbesondere im Kontext von Wahlen. Die österreichische Bundesregierung veröffentlichte im Frühjahr 2022 einen „Aktionsplan Deepfake“ mit diversen denkbaren Maßnahmen zur Begrenzung der Risiken, die von Deepfakes ausgehen.
Für das deutsche Recht vertritt Tobias Lantwin die Auffassung, dass Deepfakes, die aus politischen Motiven heraus verwendet werden, unter 108a StGB (Wählertäuschung) fallen könnten. KI-generiertes Bild- und Videomaterial zeichnet sich jedoch unter anderem dadurch aus, dass es authentisch und integer anmutenden Inhalt mit rein fiktiven Personen oder Ereignissen beinhalten kann. Daher werden Deepfakes, deren Inhalt sich nicht auf existierende, sondern auf frei erfundene Personen und Geschehnisse stützt, in der Regel nicht unter diesen Straftatbestand fallen. Da Politiker:innen stets auch Privatpersonen sind, besteht sowohl im deutschen als auch im französischen Recht die Möglichkeit, die Herstellung oder Verbreitung von Deepfake-Videos wegen der Verletzung von Persönlichkeitsrechten strafrechtlich zu verfolgen, soweit die einschlägigen Straftatbestände erfüllt sind.
Anders stellt sich der Umgang mit Deepfakes politischen Inhalts in nicht-demokratischen Gesellschaften dar. Autokratische Gesellschaften fokussieren ihren rechtlichen Rahmen nicht auf die Frage, ob Deepfakes gegebenenfalls wahre oder unwahre Inhalte vermitteln. Vielmehr steht hier die Konformität beziehungsweise Nonkonformität des Deepfake-Inhalts mit der politischen Linie der Regierung im Vordergrund. In diesem Zusammenhang zielt beispielsweise in China ein Gesetzentwurf auf ein Verbot von Deepfakes mit nicht regierungskonformem Inhalt ab:

Deep synthesis service providers and users shall comply with laws and regulations, respect social mores and ethics, and adhere to the correct political direction, public opinion orientation, and values trends, to promote progress and improvement in deep synthesis services.

Aufgrund des offenen Zugangs zum politischen Diskurs, der demokratische Gesellschaften prägt, sind Demokratien in besonderer Weise für (des)informationsbasierte Manipulationen anfällig. Zwar muss die Verteidigung demokratischer Grundwerte nicht unweigerlich durch das Mittel des Strafrechts geschehen. Vor dem Hintergrund der zunehmend wachsenden Bedrohungslage durch Deepfakes, kann diese Möglichkeit jedoch auch nicht ausgeschlossen werden. Das Spannungsfeld zwischen Meinungs- und Kunstfreiheit einerseits, und der Sicherung einer freien, auf transparentem Informationsfluss basierenden Meinungsbildung andererseits, wird in den kommenden Jahren vor dem Hintergrund der Ausbreitung von Deepfakes neu austariert werden müssen. Dabei sollten Instrumente, die Transparenz herstellen und Deepfakes als solche erkennbar machen, Vorrang gegenüber strafrechtlichen Sanktionen haben. Diesen Ansatz verfolgt auch die Europäische Kommission in ihrem 2021 vorgelegten Entwurf einer KI-Verordnung, der ein Transparenzgebot für Deepfakes als zentralen Regelungsansatz vorschlägt:

Nutzer eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die wirklichen Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen merklich ähneln und einer Person fälschlicherweise als echt oder wahrhaftig erscheinen würden (Deepfake), müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.

Der Entwurf schränkt die Transparenzpflicht allerdings für einige Fälle gleich wieder ein: für die Strafverfolgung und für die Nutzung von Deepfakes für legitime Zwecke, die von der Meinungs-, Kunst- oder Wissenschaftsfreiheit gedeckt sind.

Unterabsatz 1 gilt jedoch nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten gesetzlich zugelassen oder für die Ausübung der durch die Charta der Grundrechte der Europäischen Union garantierten Rechte auf freie Meinungsäußerung und auf Freiheit der Kunst und Wissenschaft erforderlich ist und geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.

Auch Strategien für die Detektion von Deepfakes, wie sie im Verbundprojekt FAKE-ID erforscht werden, knüpfen an das Transparenzpostulat an.

5. Projekt FAKE-ID: Interdisziplinäre Erforschung einer Deepfake-Detektion

Auf europäischer und internationaler Ebene werden unterschiedliche Lösungsansätze für den Umgang mit Deepfakes verfolgt. In diesem Zusammenhang zielt das interdisziplinäre Forschungsprojekt FAKE-ID auf die Erforschung KI-basierter Tools ab, die eine systematische Bewertung der Echtheit von Bild-, Audio- und Videoinhalten technisch unterstützten. Anwendungsfall im Projekt sind gesichtsbasierte Authentifizierungs- und Identifizierungsmethoden.
Formuliert werden zunächst technische Merkmale ‚echter‘, d. h. nicht manipulierter visueller Medien. Anschließend vergleicht man diese Merk­ male mit den Eigenschaften von Bild- und Videobereichen, die mittels Künstlicher Intelligenz verändert oder generiert worden sind. Aufbauend auf diesem Verfahren sieht das Detektionskonzept die Erarbeitung von Kriterien vor, anhand derer KI-manipulierte Bilder und Videodatenströme identifiziert und klassifiziert werden können. Die ermittelten Bild- und Videobereiche, die den Verdacht auf eine Manipulation oder Fälschung nahelegen, erkannte Anomalien und Verdachtsmomente werden anschließend visuell aufbereitet und auf einer Risiko- und Verdachtslandkarte (RVL) dargestellt. Die Markierung der Verdachtsfelder innerhalb von Bildern und Videos soll Anwender:innen in Strafverfolgungsbehörden und Gerichten bei der Beurteilung der Authentizität und Integrität von digitalem Bild- und Videomaterial unterstützen.

5.1 Technische und juristische Herausforderungen KI-basierter Deepfake-Detektion

Bei der Konzeption einer Deepfake-Detektion stellen sich den Projektteams zahlreiche technische Herausforderungen. Insbesondere gilt es, die Fehlerarten und dazugehörige Fehlerraten der technischen Detektionsmöglichkeiten zu erkennen beziehungsweise die Raten zu optimieren und in den Entscheidungsprozess der menschlichen Anwender:innen miteinzubeziehen. Schließlich stellen die Fehlerarten und -raten der durch die Detektoren produzierten Detektionsfehler höchst relevante Kriterien hinsichtlich der Erklärbarkeit dar, die im Kriterienkatalog AIC4 (Artificial Intelligence Cloud Service Compliance Criteria Catalogue) mit Mindestanforderungen an die sichere Verwendung von Methoden des maschinellen Lernens in Cloud-Diensten festgeschrieben sind. Gefordert wird, dass die Entscheidungen eines Dienstes – im vorliegenden Fall der Detektion von Deepfakes – für die Nutzer:innen auf eine Weise dargestellt und kommuniziert werden sollen, die diese Entscheidungen nachvollziehbar macht. Des Weiteren wird festgelegt, dass bei sensiblen Anwendungen (z. B. bei der Nutzung in kritischen Infrastrukturen) die fehlende Erklärbarkeit explizit auszuweisen ist.
Eine weitere technische Hürde bei der Erforschung eines KI-gestützten Detektors stellt der Bedarf an unterschiedlichen Datensätzen dar. Die Trainingsdatensätze, mit denen KI-Systeme ausgearbeitet werden, dürfen nicht dieselben sein, wie diejenigen, die zu Testzwecken verwendet werden. Vielmehr müssen verschiedene real auftretende Charakteristiken einbezogen werden, da ansonsten die Gefahr besteht, ein KI-System zu entwerfen, das nur innerhalb von ‚Laborbedingungen‘ arbeiten kann. Die fortwährende Notwendigkeit detektierende KI-Systeme anhand aktueller, zunehmend technisch ausgefeilter Deepfakes anzupassen, ist dafür prädestiniert, in einem ‚Katz-und-Maus-Spiel‘ ständiger Qualitätsverbesserung von (a) Deepfakes und (b) Deepfakedetektion zu münden:

One caution is that the performance of detection algorithms is often measured by benchmarking it on a common data set with known deep­ fake videos. However, studies into detection evasion show that even simple modifications in deepfake production techniques can already drastically reduce the reliability of a detector.

Aus juristischer Perspektive stellt sich die Frage nach der Rechtskonformität KI-basierter Detektionssysteme. Wenn Deepfakes zur Bedrohung demokratischer Prozesse beitragen können, dann birgt ein KI-gestütztes Werkzeug zur Deepfake-Erkennung potentiell ebenfalls ernstzunehmende Risiken in Bezug auf die Grundrechte, die Rechtsstaatlichkeit sowie die demokratischen Grundsätze der europäischen Rechtsordnungen. Schließlich unterliegt die Aufgabe der Wahrheitsfindung in erster Linie den Gerichten und nicht den Strafverfolgungsbehörden.
Dieser Problematik wurde in dem 2021 veröffentlichten KI-Verordnungsentwurf der Europäischen Kommission bereits Rechnung getragen. Laut Erwägungsgrund 38 des EU-KI-Verordnungsentwurfs fällt ein KI-System, das auf die Erkennung von Deepfakes abzielt, in die Kategorie von KI-Systemen mit hohem Risiko. Eine Studie des Wissenschaftlichen Dienstes des Europäischen Parlaments stuft die Verwendung von KI-basierten Deepfake-Detektoren durch die Strafverfolgungsbehörden ebenfalls als hochriskant ein. Diese Klassifizierung basiert darauf, dass die Funktionsweise eines solchen Systems a priori nicht ausreichend transparent, erklärbar und dokumentiert ist. Folglich ist damit zu rechnen, dass zukünftig auch die rechtlichen Verpflichtungen verschärft werden, die sich auf detektierende KI-Systeme beziehen. Dies ist auch bei den Forschungen zur Deepfake-Detektion im FAKE-ID-Projekt zu berücksichtigen.

5.2 Emanzipatorisches Potential der Deepfake-Detektion für Privatpersonen

Der Wissenschaftliche Dienst des Europäischen Parlaments kommt zu dem Schluss, dass in Zukunft nicht nur staatliche Institutionen, sondern auch Privatpersonen ein ausgeprägtes Maß an Skepsis gegenüber videogra­ phischen Informationen entwickeln sollten:

[T]he increased likelihood of deepfakes forces society to adopt a higher level of distrust towards all audiographic information. Audiographic evidence will need to be confronted with higher scepticism and have to meet higher standards. Individuals and institutions will need to develop new skills and procedures to construct a trustworthy image of reality, given that they will inevitably be confronted with deceptive information.

In diesem Sinne erforscht das FAKE-ID-Projekt – neben Detektionstools für Strafverfolgungsbehörden und Gerichte – Deepfake-Detektionstools für den Gebrauch durch Privatpersonen. Damit könnte der breiten Öffentlichkeit die Möglichkeit geboten werden, KI-generierte Bild- und Videomanipulationen ebenfalls KI-basiert zu identifizieren.

Obgleich die meisten großen sozialen Netzwerke entweder verpflichtet sind oder „sich bemühen”, Online-Inhalte, die auf ihren Plattformen verbreitet werden, hinsichtlich einer möglichen Verfälschung zu überprüfen, müssen die Grenzen einer solchen Selbstverpflichtung stets mitbedacht werden. Letztendlich verfolgen Großkonzerne allem voran kommerzielle Ziele, die einer Detektion von Deepfakes entgegenstehen können.

6. Fazit

Dieser Beitrag hat gezeigt, dass Deepfakes zunehmend ausgereift sind und daher für Betrachter:innen oft nur schwer erkennbar ist, ob Videos und Bilder echt, manipuliert, gefälscht oder sogar frei erfunden sind. Bislang stützen sich die Erkenntnisse über die Risiken, die Deepfakes für demokratische Entscheidungsprozesse darstellen können, vorwiegend auf Schilderungen von einzelnen Vorkommnissen. Jedoch kann damit gerechnet werden, dass KI-generierte Deepfakes und daher auch Manipulationen zunehmend schwer erkennbar sind. Die Herstellung von Transparenz und damit auch die Deepfake-Detektion werden infolge dieser Entwicklung zu Instrumenten der Demokratiesicherung.

Trotz der nachvollziehbaren Befürchtungen und Sorgen, insbesondere mit Blick auf demokratische Meinungsbildungsprozesse, die KI in der Gesellschaft hervorrufen, sollten aber auch demokratisierende Potentiale von KI-Anwendungen nicht übersehen werden:

Properly designed AI-based accountability tools could probably become the most effective strategy to rebalance the newly structured governance playing field, regain citizens’ ownership of democratic decision-making and ensure a community of knowledge and commitment.

Wie Eyal Benvenisti es formuliert, besteht die eigentliche Herausforderung nicht darin, KI als Phänomen unserer Zeit willkommen zu heißen oder abzulehnen. Vielmehr geht es darum, KI-basierte Anwendungen aktiv mitzugestalten. Dabei gilt es, einerseits das technische Potential von KI-gestützten Programmen zu optimieren, andererseits aus einer rechtsstaatlichen Perspektive heraus zu reflektieren, welche Auswirkungen solche KI-basierten Anwendungen auf die Grund- und Menschenrechte sowie auf demokratische Entscheidungsprozesse haben können. Das interdisziplinäre FAKE-ID-Projekt verfolgt das Ziel, zur Umsetzung dieses technisch-rechtlich-ethischen Balanceaktes beizutragen.
Grundsätzlich erscheint es möglich, durch KI verursachten Risiken mit ebenfalls KI-basierten Lösungen zu begegnen. Insbesondere in Anbetracht der enormen Geschwindigkeit, mit der riskante KI-Anwendungen entwickelt werden, erscheint es dringend notwendig, KI-basierte Schutzwerkzeuge zu konzipieren. Gleichzeitig gilt es, auch bei der Erforschung und Entwicklung grundrechts- und demokratieschützender KI-Anwendungen die den KI-Tools inhärenten Risiken und Unsicherheiten zu reflektieren und zu minimieren.

Anna Louban, Milan Tahraoui, Hartmut Aden, Jan Fährmann, Christian Krätzer und Jana Dittmann in: Künstliche Intelligenz, Demokratie und Privatheit; Nomos Verlag, Baden-Baden; 2022

https://doi.org/10.5771/9783748913344

https://creativecommons.org/licenses/by/4.0/deed.de

Zur einfacheren Lesbarkeit wurden die Quellenverweise entfernt.


© Swiss Infosec AG 2026