Suchen und finden im weltweiten Netz

07/2023

Debatten der Suchmaschinenforschung

Es gilt heute als nahezu selbstverständlich, dass Individuen über leicht zu transportierende Endgeräte auf das ›Weltwissen‹ zugreifen können. Schnittstellen wie Laptops, Tablets oder Smartphones ermöglichen einen Zugriff auf riesige Mengen digitalisierter Informationen, die auf einer Festplatte, in einem lokalen Netzwerk oder auch auf Servern am anderen Ende der Welt gespeichert sein können. Die Vielfalt der Dateien und Dokumente erscheint nahezu grenzenlos. Archivbestände sind digitalisiert, Dienstleistungen werden in den virtuellen Raum verlegt und nicht nur Unternehmen, sondern auch Privatpersonen sind dauerhaft in die Lage versetzt, die Festplatten dieser Welt mit neuen Inhalten zu füttern; mit Texten, Bildern, Musik, Videos, Programmen, Spielen, Kartenmaterial, Kunstwerken – die Liste ließe sich lange fortsetzen und weiter ausdifferenzieren, ohne die Mannigfaltigkeit der Daten auch nur im Ansatz zu erfassen.

Aber es ist längst nicht alles Wissen digitalisiert und es sind längst nicht alle Daten auffindbar. Viele Informationen werden dem Zugriff entzogen: Sie sind verschlüsselt, fristen in den rechtlichen Grauzonen des sog. ›Deep Web‹ ein Schattendasein, werden aus rechtlichen, ethischen oder ästhetischen Gründen entfernt. So gibt es Unternehmen, die sich darauf spezialisiert haben, unerwünschtes Text- und Bildmaterial von Plattformen zu entfernen. Unter höchst prekären Bedingungen sind z.B. in Manila zahlreiche Arbeiter_innen damit beschäftigt, die Seiten führender Web-Unternehmen von denunzierendem, pornografischem oder gewaltvollem Material zu reinigen.

Auch jene digitalen Dokumente, die explizit der Öffentlichkeit zugänglich sein sollen, wären ohne andauernde technische und menschliche Arbeitsleitungen nur vergessene Codierungen. Denn alle Dateien müssen mitsamt ihren spezifischen Adressen indexiert, verknüpft und – den jeweiligen Endgeräten entsprechend – grafisch dargestellt werden. Damit die Reise durch das weltweite Netz für die Nut zer_innen nicht zur frustrierenden Angelegenheit wird, erweist es sich zudem als notwendig, die Menschen über individuelle Text- und Spracheingaben Anfragen stellen zu lassen – und diese mit möglichst passenden Ergebnissen zu beantworten. Solche Anfragen werden bevorzugt an Web-Suchmaschinen delegiert, die veranlassen, dass die indizierten Datenmassen zahlreicher Webseiten gefiltert, klassifiziert und in Form eines hierarchischen Rankings, das nicht selten viele Millionen oder Milliarden Ergebnisse umfasst, dargestellt werden. Web-Suchmaschinen, so eine Definition von Theo Röhle, erscheinen dabei als »die zentralen Instanzen der technisch unterstützten Komplexitätsreduktion im Netz«. Sie seien »Dreh- und Angelpunkt der digitalen Welt«, hätten sich als »technische Standardlösung für den Umgang mit den anwachsenden Informationsmengen etabliert«, seien »unmittelbar am Umbau von Institutionen der gesellschaftlichen Wissensvermittlung beteiligt« und würden nicht zuletzt den Trend zur kommerziellen Nutzung des Webs maßgeblich vorantreiben.

Wenngleich es nach wie vor auch andere Mittel und Wege gibt, um an Wissen zu gelangen, und die damit verbundenen Praktiken des Suchens und Findens überaus vielfältig sein können, ziehen Web-Suchmaschinen derzeit nicht nur in öffentlichen, sondern auch in wissenschaftlichen Debatten die wahrscheinlich größte Aufmerksamkeit auf sich. Eine Reihe an Sammelbänden legte zu Beginn des Jahrtausends die Grundsteine einer interdisziplinären Suchmaschinenforschung, so z.B.: Die Macht der Suchmaschinen (Machill/Beiler 2007), Web Search: Multidisciplinary Perspectives (Spink/Zimmer 2008), Deep Search (Becker/Stalder 2009) oder das mehrbändige Handbuch Internet-Suchmaschinen (Lewandowski, 2008, 2012, 2013). Die dort entfalteten und die daran anknüpfenden Diskurse stehen am Ausgangspunkt meiner Beobachtungen.

Die quasi-monopolistische Web-Suchmaschine Google, die 1997 von den beiden Informatikern Sergey Brin und Larry Page online gestellt wurde, genießt eine enorme Präsenz in den gegenwärtigen Debatten. Internationale Konkurrenten sind Bing von Microsoft aus den USA, die in Russland führende Suchmaschine Yandex sowie die chinesische Suchmaschine Baidu. Kleinere Alternativen stellen z.B. die Suchmaschinen DuckDuckGo oder Ecosia dar. Erstere wirbt damit, die Daten ihrer Nutzenden nicht zu speichern und letztere investiert ihre Gewinne in die ökologische Aufforstung. Es gibt auch Suchmaschinen, die gar nicht wirtschaftlich orientiert sind, wie z.B. MetaGer, ein an der Leibniz Universität Hannover entwickeltes Projekt mit offenem Quellcode, das die Ergebnisse verschiedener anderer Suchmaschinen zusammenführt.

Google gilt jedoch, insbesondere in Europa und in den USA, als unbestrittener Marktführer. Das Geschäftsmodell von Alphabet, dem Mutterkonzern von Google, basiert dabei nicht nur auf der Online-Suche. Zahlreiche weitere, jeweils verknüpfte Anwendungen, wie das Videoportal YouTube, die Navigationssoftware Google- Maps und insbesondere Android, das führende Betriebssystem für mobile Geräte, gelten als Knotenpunkte zahlreicher Web-Aktivitäten. Der Einfluss des Unternehmens erstreckt sich auf diese Weise über das gesamte World Wide Web und äußert sich nicht zuletzt im Verb ›googeln‹, das als Synonym für die Online-Suche verwendet wird.

Es verwundert also kaum, dass auch im wissenschaftlichen Diskurs Google immer wieder paradigmatisch angeführt wird, wenn es darum geht, die Chancen und Risiken der digitalen Wissensorganisation zu diskutieren. Dies schlägt sich nicht zuletzt in den Titeln verschiedener Publikationen nieder, die von einer Google-Gesellschaft, einer Googleisierung der Informationssuche oder einem Google- Komplex sprechen. Obwohl die folgenden Darstellungen nicht das Anliegen verfolgen, diese Prominenz weiter zu fördern, erweist es sich als unmöglich, auf die gegenwärtigen Debatten zu verweisen, ohne das Unternehmen aus dem kalifornischen Silicon Valley implizit oder explizit immer wieder zu nennen.

Eine Beschäftigung mit den wissenschaftlichen Diskursen rund um die Web-Suche offenbart ferner, dass es sich nicht nur um ein interdisziplinäres und diverses Feld handelt, sondern zugleich um eines, in dem eine starke Beunruhigung zu beobachten ist. Die rasanten Entwicklungen, die beispiellosen Veränderungen sowie die komplexen technischen Prozesse erschweren die Auseinandersetzung mit der Web-Suche und führen geschlossene Theorien an ihre Grenzen. Die vorliegende Untersuchung will sich diese Beunruhigung zunutze machen und möchte ausgehend von den gegenwärtigen Diskursen, Topoi und Theorien nach den Problemen fragen, die womöglich schon lange mit den Operationen des Suchens und Findens verbunden sind und die nun im Kontext der digitalen Vernetzungen auf besondere Weise zum Vorschein kommen.

Im Folgenden werden daher einige herausragende Probleme und Konflikte der digitalen Suche exemplarisch nachvollzogen, um diese im Verlauf der Arbeit mit den historischen Analysen verknüpfen zu können. Hierbei werden nicht nur wissenschaftliche, sondern auch journalistische und aktivistische Perspektiven berücksichtigt, sofern diese einen Einblick in die gegenwärtige Lage ermöglichen. Im zweiten Abschnitt dieses Kapitels wird der Vorwurf erörtert, Suchmaschinen würden mit ihren automatisierten und personalisierten Ergebnissen zu einer Fragmentierung der Gesellschaft beitragen. Im dritten Abschnitt steht die kritische Position von Safiya Umoja Noble exemplarisch im Mittelpunkt, die davon zeugt, dass Web-Suchmaschinen unterdrückende Strukturen wie z.B. Rassismus reproduzieren. Danach werden die Aspekte der Überwachung und Kontrolle verhandelt. Im letzten Abschnitt steht schließlich das Spannungsverhältnis zwischen Transparenz und Opazität im Zentrum, das, so soll gezeigt werden, dann entsteht, wenn die Suchmaschine als Black Box bezeichnet wird.

Automatisierung und Personalisierung

David Gugerli nennt vier Leistungen, die ein System vollbringen müsse, um gegenwärtig als ›Suchmaschine‹ gelesen zu werden. Hierbei beschränkt er sich nicht auf digitale Suchmaschinen, sondern überträgt den Begriff auf alle möglichen Zusammenhänge, in denen Wissen organisiert wird. Zunächst müssten die Ziele einer Suche durch eine ›Objektivierung‹ als Gegenstände definiert werden. Daraufhin könne eine ›Adressierung‹ der Gegenstände erfolgen, also eine Zuordnung von konkreten Anschriften. Damit ein Suchverfahren durchgeführt werden kann, bedürfe es ferner einer ›Programmierung‹. Ein effizientes Suchprogramm müsse dabei einerseits festen Regeln folgen, andererseits jedoch eine gewisse Ergebnisoffenheit erlauben. Daher sei abschließend noch die Fähigkeit zur ›Simulation‹ notwendig, d.h. das Vermögen, modellhaft Gegenstände prüfen und mit der jeweiligen Suchanfrage abgleichen zu können.

Alle Suchmaschinen müssen diese vier basalen Leistungen erbringen, müssen also eine Lösung bieten für das Problem der Objektivierung, der Adressierbarkeit, der Programmierbarkeit und der Simulation.

Gugerli geht davon aus, dass Suchverfahren, die diese Anforderungen erfüllen, in der Lage sind, eine Übersicht der Norm und eine Überwachung ihrer Ausnahmen zu gewährleisten.

Auch Web-Suchmaschinen können auf diese vier Operationen reduziert werden. Ihre technische Funktionsweise erschöpft sich jedoch nicht darin. Als grundlegende Bedingung sei zunächst daran erinnert, dass es sich bei Web-Suchmaschinen um Computerprogramme handelt, die auf der Basis elektronischer Prozessoren mathematische Algorithmen ausführen, um bestimmte Dateien im Internet auffindbar zu machen.

Matteo Pasquinelli beschreibt jeden Algorithmus (1.) als ein abstraktes Diagramm, das sich aus der beständigen Wiederholung eines Prozesses ergibt, (2.) als die Zergliederung dieses Prozesses in einzelne Schritte, (3.) als die damit zu erzielende Lösung eines gegebenen Problems und (4.) als ökonomisches Verfahren, das möglichst effizient mit den verfügbaren Ressourcen umgeht. Diese weitgefasste Definition erlaubt es, Algorithmen eine Geschichte von mehreren tausend Jahren zuzuschreiben. Der gegenwärtige öffentliche und wissenschaftliche Fokus liegt jedoch zumeist auf Computer-Algorithmen, denen eine beispiellose Handlungsmacht zugeschrieben wird. Denn diese operieren automatisiert und nahezu unbemerkt im Hintergrund eines Systems. Sie bleiben den meisten Menschen in ihrer Funktionsweise verborgen, treten jedoch beständig in Erscheinung, indem sie Programme ausführen und Entscheidungen übernehmen.

Im Hinblick auf Web-Suchmaschinen erfolgt das automatisierte, algorithmische Finden von Informationen im Wesentlichen auf diese Weise: Ein spezifisches Programm, das als ›Crawler‹ bezeichnet wird, durchsucht über Verlinkungen das wachsende weltweite Netz und speichert die gefundenen Dateien samt Adressen in einem ›Local-Store‹. Ein ›Indexer‹ erstellt dann aus diesen Dateien ein ›Register‹, also eine umfangreiche Datenbank. Dieses ›Register‹ wird schließlich von einem ›Searcher‹, also einem weiteren Programm, ausgelesen und mit den Anfragen abgeglichen, die die Suchenden an das System stellen. Es wird hierbei also nie aktuell das Internet durchsucht, sondern immer nur ein zuvor angelegtes Register.

Die spezielle Leistung der Web-Suche besteht jedoch nicht nur in dieser Informationsakquise, sondern vor allem in der Art und Weise, wie die Informationen zur Verfügung gestellt werden. Die Suchenden erhalten hierbei eine (zumeist ziemlich lange) Liste mit hierarchisch geordneten Ergebnissen. Die Algorithmen, die mit Hunderten von Variablen das Ranking bestimmen, gelten zwar als Firmen- geheimnisse, jedoch lassen sich, Dirk Lewandowski folgend, sechs basale Ranking- Faktoren unterscheiden: (1.) die Übereinstimmung des Textmaterials, (2.) die Popularität der Dokumente, (3.) die Aktualität der Informationen, (4.) die Lokalität der Anfrage, (5.) die ggf. ermittelten Informationen über die Suchenden und (6.) die technischen Eigenschaften der gefundenen Websites.

Der Umstand, dass automatisierte, algorithmische Prozesse definieren, welche Informationen im Internet gefunden werden und welche nicht, ist ein zentraler Ausgangspunkt der zeitgenössischen Kritik. In dieser wird z.B. davon ausgegangen, dass die Algorithmen der Suchmaschinen »für eine Neuordnung des Wissens sorgen«, indem sie »klassifizieren, gewichten und bewerten«. Die Sorge vor einer tendenziösen Informationsselektion wird durch zwei Umstände verstärkt: Einerseits wird befürchtet, dass es unter den Suchenden kein ausreichendes Bewusstsein für die Funktionsweise der Web-Suche und deren Manipulationsgefahren gibt. Andererseits wird mit Besorgnis verfolgt, wie die Algorithmen dahingehend optimiert werden, die Relevanzkriterien flexibel auf die einzelnen Nutzer_innen zuzuschneiden. Jedem Individuum soll auf diese Weise automatisch eine personalisierte Zusammenstellung präsentiert werden. Die Konsequenzen dieser beiden Aspekte werden im Folgenden diskutiert.

Um eine Web-Suche zu starten, genügt ein einzelnes Zeichen und der Druck auf die Enter-Taste. Zwei Fingerbewegungen auf einer Tastatur bilden den minimalen Ausgangspunkt für Suchanfragen im weltweiten Netz – mit Hilfe der Sprachsteuerung kann alternativ sogar ein Laut als Anfrage dienen. Dies wird erwähnt, weil kurze Anfragen im Netz nicht etwa die Ausnahme, sondern die Regel sind. Studien bestätigen, dass Anfragen häufig aus nicht viel mehr als einem Wort bestehen – nicht selten falsch geschrieben. Dieses geringe Bemühen seitens der Suchenden erklären die Kommunikationswissenschaftler_innen Birgit Stark, Melanie Magin und Pascal Jürgens damit, dass die Web-Suche eine ›Niedrigkostensituation‹ für Suchende darstelle, die ohne viel Aufwand passende Ergebnisse liefere. Die Bedienungs- und Gestaltungselemente der Web-Suche seien übersichtlich, was die meisten Suchenden schätzen würden, da sie daran interessiert seien, »die gefühlte Komplexität im Suchprozess zu reduzieren und möglichst rasch die passenden Informationen zu finden«. Vielen sei dabei nicht bewusst, dass Werbetreibende und andere Parteien Einfluss auf das Ranking nehmen können.

Die Bandbreite einer solchen Einflussnahme wird durch personalisierte Ergebnislisten immens erweitert. Das technische Ziel einer Personalisierung besteht darin, sowohl die Auswahl als auch die Rangfolge der angezeigten Informationen an die Bedürfnisse der einzelnen Suchenden – und dabei nicht selten zugleich an die Geschäftsmodelle der jeweiligen Betreiberfirmen – anzupassen. Hierzu werden Informationen über die Suchenden – wie z.B. der Standort, die bisherigen Anfragen oder die gespeicherten Interessensprofile – automatisch ausgewertet und als Kriterien für die Ergebnislisten berücksichtigt. Da sich derartige Personalisierungen nicht an Kriterien orientieren, die als objektiv gelten und auch nicht an dem humanistischen Ideal, das verfügbare Wissen in seiner Gesamtheit abzubilden, um es jedem Menschen gleichermaßen zur Verfügung zu stellen, stehen Suchmaschinen in der Kritik, die Informations- und Meinungsvielfalt nicht zu erweitern, sondern vielmehr einzuschränken. Ferner wird befürchtet, dass der gemeinsame Wissenskanon der Gesellschaft verloren gehen könnte und die Individuen in ganz unterschiedliche Informationsblasen abdriften.

Jürgens, Stark und Magin untersuchten 2014 empirisch, welche Folgen die zunehmende Personalisierung auf die Suchergebnisse von Google hat. Ihre weitreichendste Hypothese formulierten sie wie folgt:

Wenn die Suchmaschine Nutzern unterschiedliche Ergebnisse zu denselben Suchbegriffen liefert, löst das die ehemals geteilte Wahrnehmung von Themen möglicherweise auf und könnte im Extremfall zu einer Fragmentierung des Publikums führen […].

In ihrer durchgeführten Studie konnten Jürgens, Stark und Magin diese Hypothese zwar nicht im erwarteten Maße bestätigen, doch bleibt die Sorge vor einer Fragmentierung der Gesellschaft aufgrund von Web-Suchmaschinen höchst virulent. Der amerikanische Aktivist Eli Pariser griff diese Befürchtung bereits einige Jahre zuvor mit seinem Konzept der ›Filter Bubble‹ auf. Hierbei nimmt er an, dass die Suchenden mitunter unbemerkt in individuelle Informationsblasen geraten könnten, die den gesellschaftlichen Konsens darüber verzerren, »was wichtig, wahr und wirklich ist«. Pariser geht davon aus, dass nicht nur Web-Suchmaschinen, sondern alle möglichen Anbieter im Netz verstärkt auf Algorithmen setzen, deren Ziel es sei, individuelle Interessen zu prognostizieren:

Zusammen erschaffen diese Maschinen ein ganz eigenes Informationsuniversum für jeden von uns – das, was ich die Filter Bubble nenne – und verändern so auf fundamentale Weise, wie wir an Ideen und Informationen gelangen.

Derartige Informationsblasen werden nicht zuletzt als Konkurrenz für den Journalismus und als Gefahr für die Demokratie begriffen. Denn was passiert, »wenn nicht mehr der Journalismus« die Relevanz von Nachrichten bewertet, sondern »diese Aufgabe einem Algorithmus zuteil wird«? In den letzten Jahren schlug sich diese Befürchtung in Debatten um sog. ›Fake News‹ nieder, d.h. um Falschmeldungen, die zum Teil gezielt über Online-Plattformen verbreitet werden. Große internationale Aufmerksamkeit bekamen diese im Kontext des Wahlkampfs des ehemaligen US-Präsidenten Donald Trump, dem unterstellt wurde, dass er und sein Team, insbesondere über soziale Medien, mit falschen und übertriebenen Behauptungen die Wähler_innenschaft manipuliert habe – ein Vorwurf, den Trump stets konterte, indem er die kritische Presse ihrerseits als ›Fake News‹ bezeichnete. Ausgehend von dieser zugespitzten Lage fragt Astrid Deuber-Mankowsky, ob es »unter den Bedingungen der Neoliberalisierung, Ökonomisierung und Überwachung mit den gewaltsamen Folgen sogenannter Fake News, des Rassismus, der Homophobie und Misogynie« überhaupt noch möglich ist, im Internet einen Ort für ein kritisches Denken zu etablieren.

Auch Eli Pariser stellt sich eine derartige Frage. Sie mündet bei ihm in der Forderung nach einer ›offeneren Suche‹, die mehr ›Serendipität‹, also unerwartete und unvorhersehbare Glücksfunde, befördern solle. Denn die zunehmenden Informationsblasen würden nicht zuletzt zu einem Verlust von ›Kreativität‹ und ›Offenheit‹ führen. Web-Suchmaschinen würden auf diese Weise »einen passiven Informationskonsum« befördern, »der Erkundungen und Entdeckungen im Wege steht«. Eli Pariser setzt sich daher für ein weniger ökonomisiertes Internet ein und fordert in diesem »ein humanistischeres und feineres Verständnis von Identität, die aktive Förderung öffentlicher Themen und die Kultivierung von bürgerschaftlichem Engagement«.

Zusammenfassend lässt sich festhalten, dass sowohl die Automatisierung als auch die Personalisierung als technische Voraussetzungen der digitalen Suche begriffen werden, die einem kritischen und diversen Denken sowie einer damit verbundenen heterogenen und demokratischen Gesellschaft entgegenstehen.

Unterdrückung und Rassismus

Im Jahr 2011 wollte die US-Amerikanerin Safiya Umoja Noble ihre Stieftochter und deren Cousine – beides junge Mädchen afroamerikanischer Herkunft – mit Hilfe der Web-Suche dazu animieren, über ihre eigene Identität und die Herausforderungen von politischen Ausgrenzungen in den Vereinigten Staaten von Amerika nachzudenken. Sie überlegte, was die beiden Mädchen suchen könnten, und tippte kurzerhand »black girls« in die leere Suchmaske von Google ein. Der Plan, mit Hilfe der Web-Suche über afroamerikanische Identitäten und deren Diskriminierung ins Gespräch zu kommen, ging auf – jedoch auf radikalere Weise, als Noble es erwartet hätte. Überrascht stellte sie fest, dass ihre Suche zu ungefiltertem pornografischen Bild- und Textmaterial führte, in dem junge schwarze Frauen zur Schau gestellt wurden. Aber damit nicht genug: Derartige Bilder, Texte und Links wurden Noble damals nicht nur als einige Ergebnisse unter vielen angezeigt, sondern dominierten sogar die gesamte Liste.

Diese autobiografische Erzählung inszeniert Noble als Beweggrund für ihre Untersuchungen über Web-Suchmaschinen. Ihr einschlägiges Buch erschien 2018 unter dem Titel Algorithms of Oppression: How Search Engines Reinforce Racism. Als Ergebnis ihrer Forschung widmet sie sich hier den Selektionsprozessen von Google, die, so der Vorwurf, häufig Verzerrungen (bias) mit rassistischen Tendenzen befördern würden.

Auch andere persönliche Erfahrungen, die Menschen mit der Online-Suche machten, werden von Noble untersucht und paradigmatisch angeführt. So verloren z.B. eine Reihe von Frauen, unter ihnen Lehrerinnen, medizinische Assistentinnen und Verkäuferinnen, ihre Anstellung, weil Nacktbilder von ihnen online kursierten. Um es Privatpersonen einfacher zu machen, denunzierendes Bild- oder Textmaterial aus dem Index von Suchmaschinen zu entfernen, ist seit einigen Jahren ein sog. ›Recht auf Vergessenwerden‹ im Gespräch – dieses wurde prominent von Viktor Mayer-Schönberger vorgeschlagen.

Um die informationelle Selbstbestimmung zu gewährleisten, beinhaltet die Datenschutz-Grundverordnung der Europäischen Union seit 2016 ein Recht auf Löschung von personenbezogenen Daten aus dem Index von Suchmaschinen. In den USA gibt es ein vergleichbares Gesetz allerdings nicht, was Noble scharf kritisiert. Denunziationen und Unterdrückungen seien nicht zuletzt aufgrund dieser fehlenden Rechtsgrundlage im Internet – dem für Noble »am wenigsten regulierten sozialen Experiment unserer Zeit« – eher die Regel als die Ausnahme. Gesellschaftlich ohnehin schon marginalisiertere Gruppen hätten es im vermeintlich egalitären digitalen Raum häufig besonders schwer. Noble verwendet den Begriff ›technological redlining‹, um zu beschreiben, wie soziale Gruppen und Inhalte im weltweiten Netz durch technisierte und automatisierte Prozesse markiert und ausgegrenzt werden.

In ihrer Forschung diskutiert sie, wie und mit welchen Folgen die afroamerikanische Bevölkerung in den USA im Kontext von Klassifikationssystemen diskriminiert wird. Formen der Unterdrückung seien dabei nicht nur in historischen Bibliotheken und Katalogen zu beobachten, sondern längst ins weltweite Netz übertragen worden. Hinsichtlich ihrer politischen Mobilisierung verweist Noble nicht zuletzt auf ihre eigene Herkunft und versteht sich und ihre Arbeit als Teil der wissenschaftspolitischen Bewegung »black feminist technology studies«.

Es gibt verschiedene Auseinandersetzungen mit Diskriminierungen im weltweiten Netz. Hier wird jedoch die Monografie von Noble exemplarisch im Fokus stehen. Einerseits, weil sie die Web-Suche prominent verhandelt, andererseits, weil die Verletzbarkeit von Noble sowie ihr Kampf gegen dominante Suchmaschinen für meine Analysen besonders aufschlussreich sind. Ich möchte Nobles Monografie als eine zeitgenössische Reaktion auf die gegenwärtigen Techniken des Suchens und Findens sowie deren Fähigkeit zur Diskriminierung lesen. Eine wichtige Einsicht wurde dabei bereits deutlich: Wer sucht, kann nicht nur gefunden oder manipuliert, sondern ebenso denunziert, unterdrückt und verletzt werden.

Noble kritisiert die Ergebnisse der Web-Suche nicht nur, sie dokumentiert sie auch. Zu diesem Zweck finden sich in ihrem Buch zahlreiche Abbildungen von Google-Suchergebnissen. In all diesen Fällen handelt es sich um Screenshots, d.h. um Aufnahmen von grafischen Darstellungen, die auf einem Monitor angezeigt wurden. Die Aufnahmen wurden jeweils angefertigt, nachdem eine Suchanfrage gestellt wurde, und zeigen in der Regel die führenden Treffer. Mit Hilfe dieser Abbildungen versucht Noble, den Output von Google sowie dessen vermeintlich verzerrten und tendenziösen – von Noble als rassistisch gelesenen – Charakter zu dokumentieren. Die Abbildungen sind daher wichtiger Bestandteil ihrer Argumentation. Sie dienen als Zeugnisse ihrer Suche, als Beweise der stattfindenden Diskriminierung und als Grundlage ihrer Kritik.

Bei näherer Betrachtung wird jedoch schnell deutlich, dass die Abbildungen nur einen schwachen Eindruck der Online-Suche vermitteln. In den meisten Fällen wird lediglich die erste Seite der ausgegebenen Suchergebnisse dargestellt. Die abgebildeten Screenshots wurden zudem in der Regel für den Buchdruck beschnitten und zeigen offensichtlich nur einen Ausschnitt des ursprünglichen Monitorbildes. Ferner sind die Abbildungen schwarz-weiß und nicht farbig, fixiert und nicht interaktiv und zum Teil auch noch mit Markierungen versehen, die nachträglich ein gefügt wurden. Nicht zuletzt fällt auf, dass die Abbildungen in relativ schlechter Auflösung vorliegen. Und doch sind diese Bilder wichtig, denn sie sind das Einzige, was von Nobles durchgeführten Suchen übrig ist.

In Bildunterschriften markiert Noble, was die einzelnen Abbildungen zeigen und wann sie gemacht wurden. So findet sich z.B. auf Seite 19 die wie folgt betitelte Abbildung: »Figure 1.2. First page of search results on keywords ›black girls‹, September 18, 2011«. Die Abbildung zeigt eine Internetseite mit 17 Google-Suchergebnissen. Zehn werden in einer linken Spalte angezeigt, sieben in einer etwas kleineren rechten Spalte. Letztere ist mit dem Hinweis »Ads« als Werbeblock markiert. Als zuvor eingegebener Suchbegriff steht »Black girls« in einem Eingabefeld. Dieses erscheint sowohl am oberen als auch am unteren Bildschirmrand. Noble nutzt diese Abbildung, um zu beweisen, dass ihr im Jahr 2011 pornografische und sexistische Ergebnisse angezeigt wurden, als sie via Google nach »Black girls« suchte. Die Abbildung bekräftigt Nobles Kritik insofern, als dass elf der 17 angezeigten Treffer scheinbar explizit auf pornografisches Material oder sexuelle Dienstleistungen verweisen. Mit zahlreichen weiteren bebilderten Beispielen demonstriert Noble die stereotype Wirkung der Web-Suche. Besonders anschaulich wird dies bei der Bildersuche. So gelangte Noble über ihre Anfrage nach »black girls« zu zahlreichen Fotografien von knapp bekleideten dunkelhäutigen Frauen in erotischer Pose, während ihre Suche nach »beautiful« zu Fotografien von jungen weißen Frauen führte.

Ein weiteres Suchwerkzeug, das Stereotype reproduziert, findet Noble in der automatisierten Google-Vervollständigung. Bei dieser werden Suchanfragen bereits während der Eingabe um Vorschläge ergänzt. Lewandowski und Quirmbach erklären, dass mit Hilfe von Suchvorschlägen in erster Linie die Formulierung einer Suchanfrage vereinfacht und die Trefferlisten für die Suchenden optimiert werden sollen. Bei der Google-Web-Suche beruhe die automatisierte Vervollständigung überwiegend auf der aktuellen Popularität von Wortkombinationen. Eben dadurch vergrößere sich jedoch die Wahrscheinlichkeit, dass stereotype Vorschläge generiert werden. Denn Suchvorschläge, die hauptsächlich aus den Eingaben der Suchenden abgeleitet werden, liefen Gefahr, bestehende gesellschaftliche Vorurteile zu reproduzieren. Um diesem Umstand effektiv entgegenzuwirken, so das Fazit von Lewandowski und Quirmbach, sei eine aufwendige redaktionelle Arbeit notwendig. Dass diese nicht immer stattfindet, zeigen verschiedene Abbildungen in Nobles Monografie. Eine davon wird als so prägnant wahrgenommen, dass sie es in modifizierter Form sogar auf die Titelseite der vorliegenden Ausgabe geschafft hat. Es handelt sich um die Vervollständigung des abgebrochenen Fragesatzes »why are black women so […?]«. Aus der bereits in ihrer Formulierung vorurteilsbehafteten Frage ›Warum schwarze Frauen so … sind‹, wird durch die automatische Vervollständigung implizit die Frage, ›wie schwarze Frauen denn seien‹. Und diese Frage wird von Google mit neun verschiedenen Vorschlägen beantwortet bzw. jeweils um ein fett gedrucktes Wort ergänzt, wovon bereits die ersten drei »angry«, »loud«, »mean«, also »wütend«, »laut« und »gemein«, Nobles Vorwurf bekräftigen, Google würde rassistische Stereotype reproduzieren.

In den genannten Beispielen wird deutlich, dass Google-Suchergebnisse tendenziös sein können. Nobles These, dass Web-Suchmaschinen Vorurteile und rassistische Tendenzen nicht etwa verringern, sondern im Gegenteil eher befördern, findet sich auf anschauliche Weise belegt. Nur die letzte Abbildung, die in Nobles Monografie eine Google-Suche zeigt, unterscheidet sich in dieser Hinsicht von den übrigen: Auf der letzten Seite ihrer Konklusion druckt Noble einen Screenshot ab, der eine Gegenfolie zu jenem Sucherlebnis bildet, mit dem sie ihre Forschungsarbeit begann, der also eine positive Entwicklung dokumentiert. Es handelt sich erneut um eine Suche nach den Schlüsselwörtern »black girls«, wieder mit der Suchmaschine Google und wieder wird die erste Seite der Ergebnisliste gezeigt. Doch gibt es einen markanten Unterschied: Die Abbildung »Figure C.2. My last Google search on ›black girls‹, June 23, 2016« zeigt eine Google-Suche, die fünf Jahre später durchgeführt wurde und die wesentlich moderatere Ergebnisse enthält, keines davon explizit pornografisch.

Es lassen sich auch noch weitere Unterschiede zwischen den zeitversetzten Suchergebnissen entdecken. So fällt z.B. auf, dass sich die Gesamtheit der Treffer mehr als verdoppelt hat; führte die Web-Suchmaschine im Jahr 2011 noch auf, dass sie rund 140.000.000 Ergebnisse gefunden habe, sind es in der Suche von 2016 bereits 301.000.000. Zudem fehlt die Spalte mit den Werbetreffern in der neueren Suche. Unter den zwölf angezeigten Ergebnissen findet sich dort nur noch eine einzige Website, die bereits im Screenshot von 2011 zu finden war: Die Internetpräsenz der Organisation ›Black Girls Rock‹, die sich ausgehend von einer jährlichen Preisverleihung für die Förderung von afroamerikanischen Frauen und Mädchen einsetzt.

Dramaturgisch ist es für Nobles Argumentation äußerst plausibel, am Ende ihrer Publikation wieder zu jener Suche zurückzukehren, die sie selbst als den Startpunkt ihrer Forschungstätigkeit markierte, um einen hoffnungsvollen Ausblick in die Zukunft zu wagen. Die eigentliche Pointe und die Brisanz der veränderten Suche treten zugunsten dieser Erzählung jedoch in den Hintergrund. Denn wirklich bemerkenswert ist nicht, dass sich die Suche nach »black girls« innerhalb von fünf Jahren verändert hat, bemerkenswert ist vielmehr, dass sich die Suchergebnisse von Google durch zahlreiche Faktoren ständig verändern – ja, dass fast davon auszugehen ist, dass kaum eine später durchgeführte Suche zu den exakt gleichen Ergebnissen führt.

Das Einzige, was für die Suchenden langfristig konstant bleibt, ist die Potenzialität eines für sie unkontrollierbaren Wandels. Diese Verunsicherung, die die Web-Suche beständig produziert, ist zwar einerseits zentral für Nobles Empörung, wird jedoch andererseits in ihrer eigenen Dokumentation vernachlässigt. Ihre zwei abgebildeten Suchen nach »black girls« in fünf Jahren suggerieren eine konstante und kontrollierbare Entwicklung, die es aber – und eben dies macht die Web-Suche so brisant – nicht gibt. Denn es steht fest: Zahlreiche Faktoren bestimmen das Ranking. Und diese sind für die einzelnen Suchenden weder ersichtlich noch steuerbar. Zudem sind die Algorithmen der Web-Suche auch weiterhin darauf ausgelegt, die Ergebnislisten beständig zu aktualisieren und anzupassen, wobei es zumindest für die Betreiberfirmen und in geringerem Maße auch für andere Parteien, wie z.B. für Suchmaschinenoptimierende, möglich ist, das Ranking gezielt zu beeinflussen. Daraus folgt, dass die Ergebnisse einem ständigen Wandel unterworfen bleiben und dass sich die einzelnen Suchenden, mittlerweile übrigens auf den meisten Plattformen im Internet, niemals sicher sein können, dass sie mit derselben Anfrage auch morgen noch dieselben Informationen finden. Noble schreibt in diesem Sinne völlig zurecht, dass ein Buch über Google bereits beim Drucktermin veraltet, »out of date« sei. Ihre Studie kann keine Auskunft darüber geben, wie das Ranking von Google heute oder morgen aussieht. Sie muss vielmehr als spezifische Langzeitdokumentation von Suchergebnissen gelesen werden, als eine Dokumentation von rassistischen Treffern, die einer US-Amerikanerin zwischen 2011 und 2016 angezeigt wurden.

In Anlehnung an Jennifer Eickelmann, die sich ausgehend von Judith Butler mit ›Hate Speech‹ im Internet beschäftigt hat, möchte ich die Suchergebnisse, mit denen Noble sich konfrontiert sieht, als Formen ›mediatisierter Missachtung‹ lesen, d.h. als eine »medientechnologisch bedingte Zurückweisung und Herabsetzung, die Ausschlüsse produziert und damit den Möglichkeitsraum für (Über-)Lebensfähigkeit begrenzt«. Die Performativität dieser ›mediatisierten Missachtung‹, die z.B. als ›Hate Speech‹ in sozialen Netzwerken zu beobachten ist, äußere sich laut Eickelmann »im Kontext ihrer technologischen Bedingtheiten sowie ihrer Unkontrollierbarkeit«. Eine dauerhafte Produktion von Ausschlüssen, die technisch bedingt und für die Einzelnen nicht kontrollierbar ist, verstärkt auch die diffamierende Kraft der Web-Suche.

In der eingangs erwähnten Geschichte, in der Noble mit den beiden Mädchen das Internet durchsuchen wollte, fühlte sie sich als Person durch die pornografischen und rassistischen Treffer angegriffen. Sie war schockiert, dass ihre harmlose Suche zu einer derartigen Verunglimpfung führte. Wenn angenommen wird, dass sich die Suchergebnisse immer wieder verändern, wächst die Befürchtung, dass sich eine solche Situation ständig wiederholen kann und dass es kein Entkommen vor der ›mediatisierten Missachtung‹, oder, in Nobles Worten, vor den ›Algorithmen der Unterdrückung‹ gibt. Ich glaube, dass diese situative Kraft der Suche ernst genommen werden muss und dass sie der Auslöser für Nobles Empörung und für ihre Dokumentation von Suchergebnissen ist. Noble versucht, Momente zu dokumentieren, in denen die Suche eine verletzende Kraft hatte. Es geht darum, Beweise zu sammeln. Denn wenn davon ausgegangen wird, dass sich solche Situationen im Nachhinein nicht rekonstruieren lassen, dann können sie weder vernünftig aufgeklärt noch geahndet werden.

Noble selbst verweist im Kontext eines historischen Vergleiches auf die amerikanische Library of Congress und die dort anzutreffenden rassistischen Klassifizierungen. Auf den vielleicht entscheidenden Unterschied zur Web-Suche verweist sie allerdings nicht: Um zu beweisen, dass sich rassistische Ordnungskategorien in der Library of Congress befinden, kann diese jederzeit konsultiert werden. Um zu beweisen, dass Google oder andere Web-Suchmaschinen rassistische Ergebnisse liefern, muss jedoch die Suche dokumentiert werden – und zwar sofort, gleich nach dem Eintippen der Anfrage – und das immer und immer wieder.

Überwachung und Kontrolle

David Gugerli formuliert die These, dass sich mit Suchmaschinen »Hoffnungen auf Fundamentaldemokratisierung, informationelle Emanzipation und vollständige Übersicht ebenso verbinden« ließen, »wie die Horrorvisionen eines […] Überwachungsstaats, der über ein technokratisches Wissensmonopol verfügt«. Die demokratischen Hoffnungen in die Web-Suche wurden in den letzten beiden Abschnitten bereits ausgehend von deren automatisierten Selektionen sowie den daraus resultierenden tendenziösen Verzerrungen infrage gestellt. In diesem Abschnitt wird nun in Diskurse eingeführt, in denen Suchmaschinen als Instrumente der Überwachung sowie im Hinblick auf eine ökonomisch motivierte Datensammlung und Kontrolle im Fokus der Kritik stehen.

Es kann angenommen werden, dass Suchmaschinenbetreiber über die Speicherung und Auswertung von Suchanfragen potenziell Einfluss auf die Gesellschaft nehmen können. Eine wichtige Voraussetzung dafür ist die technische Fähigkeit, gigantische Datenmengen zu sammeln und zu verknüpfen. Diskutiert wird unter dem Stichwort ›Big Data‹, wie, zu welchen Zwecken und mit welchen Konsequenzen Daten verarbeitet werden. In Bezug auf Suchmaschinen werden zumeist die ökonomischen Chancen besonders betont. Betreiberfirmen könnten über die Auswertung der gespeicherten Anfragen gezielt Werbung schalten, Angebot und Nachfrage koordinieren und »die Welt in ihren Transaktionschancen lesbar« machen. Die Wirkmächtigkeit solcher Big-Data-Analysen wurde dem amerikanischen Journalisten John Battelle schlagartig bewusst, als er 2002 auf den Google-Dienst ›Zeitgeist‹ stieß. ›Zeitgeist‹ fasste die Suchanfragen der vergangenen Jahre eindrucksvoll und werbewirksam zusammen und suggerierte Battelle auf diese Weise, »dass Google nicht einfach nur den Finger am Puls der Kultur hatte, sondern dass es direkt an das Nervensystem der Kultur angeschlossen war«. Battelle erkannte, dass Web-Suchmaschinen nicht nur ständig registrieren, wonach die Welt sucht, sondern davon ausgehend Prognosen erstellen, Trends antizipieren, Werbung platzieren und Meinungen beeinflussen können.

In seinem einschlägigen Buch prägt er daraufhin den Begriff ›Datenbank der Absichten‹, den er als die »Summe aller Suchanfragen« definiert. Er beschreibt ferner, dass die Web-Suche auf eine totale Vernetzung und Auffindbarkeit abzielt. Dies führt ihn zu der Vermutung, dass in naher Zukunft die digitale Suche ausgehend »vom computerzentrierten Web« sich »quasi metastasierend« auf sämtliche Geräte und Objekte übertragen könnte: »Stellen Sie sich das einmal vor – Ihren Hund zu googeln, Ihr Kind, Ihre Brieftasche, Ihr Handy, Ihr Auto.« Schon bald werde »alles, was einen Wert hat […] mit dem Web verbunden sein, denn in der verkabelten Welt definiert die Verbundenheit den Wert«.

Diese Zukunftsvisionen verweisen auf eine Gesellschaft, in der Maschinen dauerhaft registrieren, wonach die Menschen suchen, um dann dafür zu sorgen, dass möglichst nichts mehr im Verborgenen bleibt, dass immer alles gefunden wird. Es überrascht nicht, dass mit diesen Vorstellungen kaum noch Hoffnungen auf eine demokratische Übersicht, sondern eher Ängste und Sorgen vor einer totalen Überwachung befördert werden.

Dies schlägt sich nicht zuletzt in Debatten zum Datenschutz und zur Privatsphäre nieder. Der Umstand, dass theoretisch jede Eingabe im weltweiten Netz gespeichert, ausgewertet und zu ihrem Ursprung zurückverfolgt werden kann, veranlasst den Rechtswissenschaftler Maximilian Hotter zu der Einschätzung, dass die Gesellschaftsteilnehmer_innen gegenwärtig so viele digitale Spuren hinterließen, dass ein effektiver staatlicher Datenschutz nötig geworden sei, um eine verloren gegangene Privatsphäre künstlich wiederherzustellen. Derartigen Einschätzungen liegt die Beobachtung zugrunde, dass Web-Dienste mitunter einen sehr präzisen Einblick in die Aktivitäten ihrer Kund_innen erlangen. Über sog. ›Session-Replay Scripts‹ ist es z.B. möglich, die Interaktionen auf Internetseiten visuell aufzuzeichnen – fast so, als würde den Nutzenden beim Surfen im weltweiten Netz jemand über die Schulter schauen.

Aber nicht nur die Gefahren einer unternehmerischen, sondern auch die Gefahren einer staatlichen und geheimdienstlichen Überwachung waren in den letzten Jahren ein breit diskutiertes Thema. So führte es zu weltweitem Aufruhr, als 2013 der ehemalige NSA-Mitarbeiter Edward Snowden Daten aus staatlichen Überwachungsprojekten an die Öffentlichkeit zurückspielte. Mit solchen Phänomenen beschäftigen sich gegenwärtig die Surveillance Studies, die prominent von den Theorien Zygmunt Baumans sowie der Arbeit von David Lyon geprägt wurden. Bauman etablierte die Rede von einer ›flüchtigen‹ bzw. ›flüssigen Moderne‹, mit fluiden Strukturen und den technischen Möglichkeiten einer exterritorialen und ›post-panoptischen‹ Kontrolle. In einem Dialog beschwören Bauman und Lyon eine Form der ›Transparenz‹, »durch die nicht nur der Staatsbürger als solcher, sondern jeder Mensch in allen Bereichen des Alltagslebens pausenlos überprüft, beobachtet, getestet, bewertet, beurteilt und in Kategorien eingeordnet werden kann«.

Ein weiterer wichtiger theoretischer Bezugspunkt der Surveillance Studies ist das Werk Überwachen und Strafen (1975) von Michel Foucault – insbesondere aufgrund des dort etablierten Begriffs der ›Disziplinargesellschaft‹. In Anlehnung an den britischen Philosophen und Juristen Jeremy Bentham entfaltet Foucault die Idee einer allgemeinen Disziplinierung besonders anschaulich: Bentham entwarf 1787 das architektonische Modell einer Beobachtungsanstalt namens ›Panopticon‹. Sein Konzept war nicht nur für die Konstruktion von Gefängnissen, sondern auch von Schulen, Fabriken, Krankenhäusern oder Irrenanstalten gedacht. Die Funktionsweise der vorgesehenen Architektur war ebenso einfach wie genial: ein Turm, ein Innenhof und drum herum ein ringförmiges Gebäude, das in Zellen unterteilt ist. Die Zellen sollen lichtdurchflutet sein und ihre Insassen gut sichtbar. Der Wächterposten im Turm mit seinem Rundumblick muss hingegen im Verborgenen bleiben, sodass die Gefangenen nie wissen können, ob sie gerade tatsächlich beobachtet werden oder nicht – weswegen sie potenziell einfach immer davon ausgehen.

Michel Foucault vertritt die These, dass dieses Modell der panoptischen Überwachung dazu berufen war, »sich im Gesellschaftskörper auszubreiten«, um zu »einer verallgemeinerten Funktion« zu werden. Das Panoptikum habe die Macht der Sichtbarmachung »automatisiert und entindividualisiert«. In einer ›Disziplinargesellschaft‹ seien es fortan »die Untertanen, die gesehen werden müssen, die im Scheinwerferlicht stehen, damit der Zugriff der Macht gesichert bleibt«. Dabei kann jeder zum Wächter werden, aber eben auch jeder zum Überwachten. Nach Foucaults Darstellungen wurde Jeremy Bentham somit zu einem maßgeblichen Wegbereiter der Idee einer allgegenwärtigen Überwachung, »die imstande ist alles sichtbar zu machen, sich selber aber unsichtbar«.

In Zeiten neokapitalistischer Interessen und ›post-panoptischer‹ Überwachungstechnologien dient die Beobachtung der Bevölkerung jedoch zumeist nicht mehr der klassischen Disziplinierung. Die Ökonomin Shoshana Zuboff spricht im Hinblick auf die ›Datensammelwut‹ im weltweiten Netz von einer neuen Marktform, die sie als ›Überwachungskapitalismus‹ bezeichnet. Hierbei werde »menschliche Erfahrung als Rohstoff zur Umwandlung in Verhaltensdaten« verarbeitet. Der Großteil dieser Daten diene dazu, zukünftiges Verhalten vorherzusagen, um Profitmöglichkeiten frühzeitig zu antizipieren. Zuboff bezeichnet Google als den Pionier dieser »übermächtigen neuen Spielart des Kapitalismus«, da das Unternehmen als eines der ersten aus dem Verhaltensüberschuss seiner ahnungslosen Suchenden einen immensen Profit zu generieren wusste.

Mit seinem Begriff der ›Kontrollgesellschaft‹ etablierte Gilles Deleuze bereits zu Beginn der 1990er Jahre ein bis heute beliebtes Analysewerkzeug, um zu markieren, dass die gegenwärtigen Regime die Subjekte nicht mehr in erster Linie disziplinieren wollen. Anders als in Benthams Panoptikum, in dem es noch darum ging, die Subjekte auf ein bestimmtes Ideal hin zu erziehen, sei die gegenwärtige Kontrolle »kurzfristig und auf schnellen Umsatz gerichtet, aber auch kontinuierlich und unbegrenzt«. Die von Deleuze beschriebenen Mechanismen der ›Kontrolle‹ und der ›Modulation‹ sind in den einschlägigen Debatten weit verbreitet. So könnten, wie z.B. Theo Röhle es beschreibt, Web-Suchmaschinen in einer ständigen Feedback-Schleife Anfragen auswerten, um mittels der gewonnenen Daten Statistiken zu erstellen, Werbung zu platzieren, das Angebot zu optimieren und ihren Profit zu steigern. Auch »irreguläres Verhalten« sei also »kontrollierbar«, da es keine Gefahr mehr für das System darstelle, sondern vielmehr von diesem zur produktiven Weiterentwicklung ausgewertet werden könne. Steuerungsverfahren aus der Kybernetik kämen zum Einsatz, um Geldgebende und Werbetreibende zufriedenzustellen:

Durch den ständigen Input an Nutzerdaten kann sich das System flexibel an neue Bedingungen anpassen, Abweichungen integrieren und dabei weiterhin auf das Ziel des erhöhten Konsums hinsteuern.

Diese Idee von einer durch digitale Technologien beförderten kybernetischen ›Kontrollgesellschaft‹ wird zum Ausgangspunkt einer Kritik, die den totalen Verlust individueller Selbstbestimmung prophezeit. So befürchtet Ramón Reichert, dass das Individuum der Kontrollgesellschaft »nur noch als dechiffrierbare und transformierbare Figur seiner Brauchbarkeiten« von Interesse sei, während der Soziologe Wolfgang Streeck polemisiert, dass das Individuum »in den riesigen Datenspeichern des digitalen Kapitalismus« in seiner steuerbaren Potenzialität vornehmlich als konsumierend oder terrorisierend erscheine:

Der Terrorist soll gefunden werden, bevor er zu einem wird; über den Konsumenten will man wissen, was er konsumieren will, bevor er selber es weiß. So werden beide, jeder auf seine Art, aus dem Reiche derer, die etwas zu sagen haben, ausgebürgert.

Die Vorstellung, mit Hilfe von Big-Data-Analysen terroristische Anschläge verhindern zu können, ist hierbei nicht als Übertreibung zu verstehen. Algorithmen, die postrelationale Datenbanksysteme weltweit nach Informationen durchsuchen, um terroristische Netzwerke aufzudecken, gehören tatsächlich zum Handwerkszeug von Regierungen. Jutta Weber diskutiert und beschreibt in einem 2018 publizierten Aufsatz, wie »riesige Datenmengen nach Mustern, Beziehungen, Assoziationen und ›Anomalien‹« durchsucht, klassifiziert und gruppiert werden. Dabei sei das Objekt der Suche in der Regel kein »genau definiertes Problem, sondern eher ein sehr breit definiertes Ziel […] – etwa einen Terroristen zu finden«. Die Folgen dieser Big-Data-Kriege gegen den Terror bezeichnet Weber als hochproblematisch: »Aus Angst, mögliche potenzielle Verdächtige zu übersehen«, würden die Suchkriterien extrem ausgeweitet, was dazu führe, dass die Daten von immer mehr Individuen »in die Datenbanken der Tötungs- und Beobachtungslisten eingespeist« und dort automatisch ausgewertet würden.

Die skizzierten Sorgen, mittels digitaler Suchmaschinen und im Kontext von Big-Data-Auswertungen gezielt überwacht, kontrolliert und manipuliert zu werden, sind nicht zuletzt auch deswegen so virulent, weil die komplexen Bearbeitungs- und Selektionsprozesse der Maschinen für Außenstehende in der Regel nicht nachvollziehbar sind. Web-Suchmaschinen werden häufig als ›Black Boxes‹ angeprangert, da ihre Funktionsweisen unbekannt bleiben und sie den Nutzenden nur über ihre Inputs und Outputs zugänglich gemacht werden. Sie erscheinen wie mächtige Phantome, die alles sichtbar machen, selbst jedoch im Unsichtbaren verbleiben. So resümieren Bauman und Lyon: »Während unser Alltag für die uns beobachtenden Organisationen in allen Details transparenter wird, entziehen sich deren Aktivitäten zunehmend unserer Einsichtsmöglichkeiten.« Die Sorge vor einer Kontrolle, Überwachung und Manipulation, bei denen die Regierungen in erster Linie am Machterhalt und die Betreiberfirmen an der eigenen Gewinnmaximierung interessiert sind – und kaum noch jemand an der Informations- und Meinungsvielfalt der Bevölkerung – wird durch dieses wahrgenommene, radikale Ungleichgewicht verstärkt. Das damit verbundene paradoxe Verhältnis von Transparenz und Opazität wird im folgenden letzten Abschnitt dieses Kapitels diskutiert.

Black Box

In seiner 2010 erschienenen Monografie Der Google-Komplex verfolgt Theo Röhle das Anliegen, »Machtzuschreibungen im Bereich der Suchmaschinen zu präzisieren«. Diesem Vorhaben liegt die Beobachtung zugrunde, dass in Bezug auf Web-Suchmaschinen sowohl öffentliche als auch wissenschaftliche Debatten »eine Geschlossenheit der Machtverhältnisse suggerieren, die so nicht gegeben ist«. Dabei würden Vorstellungen evoziert, die insbesondere Google zum »Inbegriff des machtvollen Souveräns im digitalen Zeitalter« stilisieren.

Röhle bemüht sich daher in seiner Arbeit, die verschiedenen Akteur_innen hinter der Google-Suche differenziert zu betrachten und deren wechselseitigen Einflüsse zu beschreiben. Dazu unterscheidet er vier handelnde Verbünde: das Unternehmen Google, die Inhaltsanbietenden des Webs, externe Suchmaschinenoptimierende und die Suchenden. Jedoch legen seine Analysen nahe, dass die Suchenden in diesem Komplex die schwächste Verhandlungsposition einnehmen. Denn sie erscheinen als unfreiwillige Datenlieferant_innen, deren Verhalten in einer – vom Werbesystem beeinflussten – Wertschöpfungskette beobachtet, konfiguriert und ökonomisch ausgebeutet wird. Röhle beschließt seine Arbeit infolgedessen mit der Aussage, dass es an den Nutzenden läge, »den Wert ihrer Arbeit zu erkennen und die Maschinen in ihrem Sinne zu konfigurieren«.

Jedoch blickt Röhle sorgenvoll in die Zukunft: »Regulierung, Aufklärung oder die Förderung technischer Alternativen – bisher sind noch so gut wie alle Ansätze an der Bequemlichkeit der Nutzer gescheitert.« Und scheinbar auch an deren Naivität, denn Röhle unterstellt den Suchenden ein hohes Maß an Unwissenheit. Nur wenige hätten Kenntnis von den Kriterien der Rankings, geschweige denn von der stattfindenden Kontrolle. Zudem würden Web-Suchmaschinen im Vergleich zu älteren Systemen ihre »Vermittlerrolle wesentlich effektiver hinter minimalen Schnittstellen und extrem kurzen Verarbeitungszeiten« verbergen, was den »Anschein eines transparenten Informationszugangs« erzeuge.

In Bezug auf diesen letzten Punkt impliziert Röhle die Vorstellung von einer intransparenten Technologie, die jedoch einen widerstandslosen Zugriff auf die Welt suggeriert. Während die Suchmaschine Google immer mehr Entscheidungen automatisiert durchführen würde, erzeuge sie über ihre bedienungsfreundlichen Outputs eine »Transparenzillusion«. Die Verschiebung, die sich hier abzeichnet, macht Röhle 2013 in einem Aufsatz zur Frage, »Wie Google Wirklichkeit produziert«, explizit. Problematisch sei die Verschiebung Googles »vom identifizierbaren Gatekeeper zur Black Box […], deren Zuordnungen und Kategorisierungen zwar gleichermaßen diskursmächtig sind, sich aber nur noch äußerst vage erahnen lassen«. An dieser Stelle droht Röhles Versuch, dem »vage als ›böse‹ konnotierten Konglomerat« der Web-Suche zu entkommen und diesem eine differenzierte Analyse der Machtverhältnisse entgegenzusetzen, an seine Grenzen zu stoßen oder gar zu scheitern. Denn wenn die Suchmaschine zur Black Box wird, eine Illusion von Transparenz erzeugt und es kaum noch Chancen für die Suchenden gibt, »den sinnzuschreibenden Kategorisierungsversuchen der Algorithmen zu entkommen«, dann hat die Welt es mit einem mächtigen Phantom zu tun, das alles sieht und steuert, selbst jedoch im Unsichtbaren verbleibt.

Dieser machtvollen Zuschreibung kann die Suchmaschinenforschung kaum entkommen. So bemerken bereits die Soziologen Schetsche, Lehmann und Krug in einem Aufsatz zur Google-Gesellschaft aus dem Jahr 2005, dass »Computerprogramme und Netzwerktechnik […] den Nutzern in aller Regel als Blackbox« entgegentreten und der Mangel »an technischem Wissen« dazu verleite, »die Welt der Computer und Netze magisch zu verstehen«. Die damit verbundene Gefahr, in irrationale Vorstellungen und Verschwörungstheorien zu verfallen, wird von wissenschaftlichen Analysen leider nicht immer konsequent bekämpft. So trägt die einschlägige Monografie The Black Box Society des US-amerikanischen Juristen Frank Pasquale bereits mit ihrem Titel dazu bei, die Mächte hinter den digitalen Technologien zu mystifizieren. Im Untertitel verweist sie auf die »unsichtbaren Algorithmen, die Geld und Informationen kontrollieren«. Dazu gehört selbstredend auch eine ›versteckte Logik der Suche‹, der Pasquale ein ganzes Kapitel widmet. In diesem betont er, dass die Gesellschaft ihren digitalen Suchdiensten eine fast unvorstellbare Macht gegeben habe, festzulegen, was wahrgenommen wird und was nicht.

Die Suchmaschine als Black Box taucht aber auch in nüchterneren Zusammenhängen auf. So stellen Jürgens, Stark und Magin im Kontext ihrer empirischen Studie zu den Personalisierungsprozessen der Google-Web-Suche fest, dass sich diese der wissenschaftlichen Analyse weitestgehend entziehen: »Weder Input, Funktionsweise und Output […] noch die Nutzung können in einer der gesellschaftlichen Bedeutung angemessenen Gründlichkeit untersucht werden«. Für »Außenstehende aller Art« seien »Suchmaschinen als Ganzes damit schlichtweg eine Black Box«. Auch in historischen Analysen zum Suchen und Finden wird der Begriff verwendet, um auf die Opazität der Wissensorganisation und eine dadurch implizierte nebulöse Macht zu verweisen. So schreibt z.B. Nikolaus Wegmann in seiner einschlägigen Monografie Bücherlabyrinthe: Suchen und Finden im alexandrinischen Zeitalter metaphorisch davon, »die Black Box Bibliothek« aufzubrechen. Wenn der Kulturwissenschaftler Philipp von Hilgers kritisiert, der Begriff ›Black Box‹ sei zum »traurigen wissenschaftlichen Jargon« verkommen und werde zumeist dann verwendet, wenn es darum ginge, »die Intransparenzen moderner Gesellschaftsformen anklingen zu lassen«, so steckt hinter diesem Vorwurf zugleich die Aufforderung, sich dem Begriff zu stellen und seine Implikationen zu überdenken. Denn tatsächlich scheint es so, als würde der Begriff viel häufiger verwendet als reflektiert. Und eine Reflexion ist gerade im Hinblick auf die Web-Suche dringend geboten, insbesondere, um den Vorstellungen eines großen undurchschaubaren Machtkonglomerats etwas entgegenzusetzen und aufzuzeigen, wie die Suchenden »die Maschinen in ihrem Sinne […] konfigurieren« können. Daher wird im Folgenden versucht, das Spannungsverhältnis von Transparenz und Opazität, durch das die Suchmaschine als Black Box gekennzeichnet ist, in seiner Ambivalenz darzustellen.

Die Forderung nach Transparenz impliziert gegenwärtig zumeist den Wunsch, verborgene Informationen sichtbar zu machen, um Manipulationen und Korruptionen aufzudecken. Während das Wort in seiner ursprünglichen Bedeutung schlicht auf die Durchlässigkeit von Licht verweist, hat es sich als Metapher eine immense Bedeutungsfülle angeeignet. Der Begriff avancierte zu einer Art Leitbild westlicher Demokratien. Längst wird davon ausgegangen, dass die mündigen Bürger_innen »eine Offenlegung aller staatlich verfügbaren Daten« verlangen und dass eine Verweigerung dieser Informationen schädlich für die demokratische Meinungsbildung sei. Unter diesem Eindruck schreibt der Philosoph Byung-Chul Han: »Kein anderes Schlagwort beherrscht heute den öffentlichen Diskurs so sehr wie die Transparenz. Sie wird vor allem im Zusammenhang mit der Informationsfreiheit emphatisch beschworen.« Denn trotz ihrer demokratischen Implikationen ist eine Skepsis gegenüber den Transparenzverlautbarungen angebracht. Der Germanist Manfred Schneider warnt, dass sich hinter der Forderung nach Transparenz nicht zuletzt auch »Machtverlangen, theoretische Gewalt, blinde Medienideologie und unmögliche Versprechen« versammeln würden.

In seiner Monografie Transparenztraum versucht Schneider, die Phantasmen der Transparenz offenzulegen und historisch zurückzuverfolgen. Aus einer medienwissenschaftlichen Perspektive erscheinen dabei die folgenden drei Aspekte besonders zentral: das Ideal einer täuschungsfreien Kommunikation, eines mächtigen, alles durchdringenden Blicks und nicht zuletzt einer medienlosen, d.h. unvermittelten, ›Wirklichkeit‹. Schneider diskreditiert derlei Ideale der Transparenz als einen unerfüllbaren Traum, der sich zum Wahn steigern könne. Und so ist nicht nur die emphatische Forderung, sondern auch die harsche Kritik an der Transparenz ein Bestandteil der gegenwärtigen Debatte. In seinem kleinen kulturpessimistischen Essay findet Byung-Chul Han vernichtende Worte für die von ihm so bezeichnete ›Transparenzgesellschaft‹:

Die Transparenzgesellschaft ist eine Gesellschaft des Misstrauens und des Verdachts, die aufgrund des schwindenden Vertrauens auf Kontrolle setzt. […] An die Stelle der wegbrechenden moralischen Instanz tritt die Transparenz als neuer gesellschaftlicher Imperativ.

Auch ohne diese Polemik wird deutlich, dass Forderungen nach Transparenz einerseits schnell an die Grenzen der technischen Realität stoßen und andererseits zu Skepsis und Misstrauen verleiten. Dies gilt insbesondere in Bezug auf Dinge, die sich gänzlich dem Zugriff entziehen, die opak, d.h. undurchsichtig bleiben. Der Black Box haftet indessen ein Freund/Feind-Schema an, das sich bis in die Wirren des Zweiten Weltkriegs zurückverfolgen lässt. Noch bevor der Begriff als Metapher in der frühen Kybernetik aufkam, wurde er von den Alliierten verwendet, um eine in Kampfflugzeugen eingesetzte Radartechnologie zu bezeichnen, die dem Feind zwar in die Hände fallen, aber nicht entschlüsselt und damit auch nicht nachgebaut werden konnte. Die kompromissloseste Definition einer Black Box beschreibt in diesem Sinne ein technisches Gerät, das sich unmöglich öffnen lässt und das folglich nur über seine In- und Outputs zugänglich ist.

Die Black Box als Feindesmaschine wird nicht nur von Friedrich Kittler aufgegriffen, um einmal mehr den Ursprung von Medientechnologien im Kriegsgeschehen zu suchen, sondern wird auch in aktuellen Debatten immer wieder gerne verwendet, um die Vorstellungen von einer extremen Opposition zu evozieren. So funktioniert die Metapher der schwarzen Kiste bis heute als Feindbild einer aufgeklärten und partizipativen Gesellschaft. Eine solche plakativ anmutende Opposition beschert jedoch gleich zwei Probleme: Sie verleitet nicht nur dazu, die Transparenz zu verherrlichen und die opake Black Box zu verteufeln, sondern sie boykottiert zugleich die Möglichkeit, einen widerständigen Umgang mit Technologien zu finden, die sich in ihrer Funktionsweise dem Zugang entziehen.

Um diesen Problemen zu begegnen, lohnt es sich, noch einen genaueren Blick auf das Konzept der Black Box zu werfen. Bruno Latour verwendet den Begriff

›blackboxing‹ im Rahmen seiner Akteur-Netzwerk-Theorie, um zu beschreiben, wie auch wissenschaftliche Arbeiten und technische Innovationen, die jeder funktionierenden Maschine zugrunde liegen, gleich dem ›Inhalt‹ einer Black Box in Vergessenheit geraten:

Wenn eine Maschine reibungslos läuft […] braucht nur noch auf Input und Output geachtet zu werden, nicht mehr auf ihre interne Komplexität. Daher das Paradox: Je erfolgreicher Wissenschaft und Technik sind, desto undurchsichtiger und dunkler werden sie.

Diese Idee beschränkt Latour nicht auf einzelne technische Geräte, die zum Feind stilisiert werden können, sondern er weitet sie aus auf eine Welt voller menschlicher und nicht-menschlicher Akteur_innen, die alle als komplexe verschachtelte Black Boxes gelesen werden können und die alle miteinander agieren. Jegliche Artefakte, Menschen und Dinge betrachtet Latour dabei immer schon als Teile von Institutionen und Kollektiven, »schillernd in ihrem Mischstatus als Vermittler […], ohne zu wissen, ob sie einer oder viele sind, ob sie eine einzige Black Box bilden oder ein Labyrinth voller Vielheiten«.

Philipp von Hilgers bezieht sich zwar auf die Überlegungen von Latour, kritisiert jedoch, dass dieser nicht berücksichtige, dass es sich beim ›blackboxing‹ nicht nur um einen unvermeidlichen und allgegenwärtigen, sondern ebenso um einen bewussten und dabei äußerst produktiven Vorgang handeln könne. Das ›blackboxing‹ sei ebenso »angewendetes und positives Wissen«. In der Kybernetik sei der Begriff gerade deswegen als theoretisches Modell aufgegriffen worden, weil die Beschränkung, die Black Box nicht zu öffnen, »die Anwendung effizienterer Untersuchungsmethoden und neuer Einsichten« eröffnet habe. Diese sog. Black Box-Epistemologie habe nicht zuletzt einen gravierenden Einfluss auf die Informatik gehabt. Dort bezeichne die Black Box »Hard- und Softwarekomponenten, die klar definierte Schnittstellen aufweisen, sodass Programmierungen vorgenommen werden können, die an Kenntnissen nur die Funktionsweise eben jener Schnittstellen voraussetzen«.

Was bei dieser informationstechnischen Perspektive im Fokus steht, ist nicht etwa der Wunsch, die Black Box zu knacken, sondern vielmehr die Möglichkeit, sie zu funktionalisieren. So schreibt Alexander Galloway, dass die Black-Box-Epistemologie ein für die europäische Wissenschaftswelt »neuer Erkenntnisansatz« gewesen sei, »der kein Eindringen in das Objektinnere mehr verlangte, sondern vielmehr das Objekt in seiner Opakheit beließ und Urteile nur auf der Grundlage seines beobachtbaren Verhaltens fällte«. Galloway begegnet den Tendenzen, die Black Box metaphysisch aufzuladen, indem er darauf verweist, dass die Black Box »ein rein funktionales Sein ohne Wesen oder transzendentalen Kern« besitze. Eine solche Lesart scheint auch geboten, um die Web-Suchmaschine als Black Box zu verstehen. Für die Entwicklung von modernen Computern war es eine wegweisende Entscheidung, Datenbanksysteme zu entwickeln, auf die mittels einfacher Bedienschnittstellen und ohne großes technisches Wissen zugegriffen werden konnte. Das ›blackboxing‹ wurde zu einem zentralen Konzept der technischen Funktionalisierung. Es bildete gewissermaßen die Basis für die Entwicklung von persönlichen Computern, dem weltweiten Netz und den dort operierenden Such- diensten.

Diese Feststellung soll nicht bedeuten, dass im Umgang mit opaken Systemen, die in der Lage sind, massenhaft Daten zu speichern, auszuwerten und zu selektieren, keine Vorsicht geboten wäre. Es soll auch nicht suggeriert werden, dass die Forderung nach mehr Transparenz durch und durch naiv und aussichtslos sei. Und meine Argumentation möchte erst recht keine Kapitulation vor der Suchmaschine als Black Box darstellen. Ganz im Gegenteil: Ich glaube, dass ein differenzierter Blick auf das Spannungsverhältnis von Transparenz und Opazität sowie auf die Prozesse des ›blackboxings‹ notwendig sind, um einen fachkundigen, sachlichen und nicht zuletzt auch widerständigen Umgang mit digitalen Technologien zu finden. Dabei sollte es das Ziel sein, sich von den Ängsten zu befreien, die durch die Opposition von Transparenz und Opazität evoziert werden, und es sollte der Versuch unternommen werden, eine Black Box zunächst als technische Funktion zu begreifen. Denn eben diese Funktionalisierung halte ich für eine zentrale Voraussetzung, um, wie Röhle es fordert, die Suchenden im weltweiten Netz in die Lage zu versetzten, »die Maschinen in ihrem Sinne zu konfigurieren«.

Über eben diese Perspektive kann zugleich das Selbstverständnis der suchenden Bevölkerung gestärkt werden. Es handelt sich nämlich nicht per se um eine transparente Kundschaft, die von Web-Suchmaschinen andauernd ausgeleuchtet und kontrolliert wird. Es verhält sich vielmehr andersherum: Jedes suchende Individuum ist ›aus Sicht der Maschine‹ zunächst selbst eine Black Box, die nur über Input und Output kommuniziert. Die Suchenden können sich infolgedessen selbst verschlüsseln und sind potenziell in der Lage, die Modulationen in ihrem Sinne nutzbar zu machen und gegen das System zu verwenden.

Die gefühlte Hilflosigkeit gegenüber Web-Suchmaschinen, die in diesem Kapitel immer wieder thematisiert wurde, muss nicht durch deren Intransparenz verstärkt werden. Wer sucht, kann vielleicht manipuliert, verletzt, kontrolliert und gefunden werden – darf sich aber ebenso zur Wehr setzen. Es ist ein zentrales Anliegen dieser Arbeit, Praktiken aufzuzeigen, die einen gelasseneren Umgang mit den intransparenten Funktionsweisen der Web-Suche ermöglichen. Denn auf Röhles Frage, welche Möglichkeiten es gibt, »den sinnzuschreibenden Kategorisierungsversuchen der Algorithmen zu entkommen«, lassen sich tatsächlich eine Menge Antworten finden. Viele stecken bereits in den gegenwärtigen Auseinandersetzungen mit Web-Suchmaschinen, einige werde ich ausgehend von den Analysen der historischen Texte liefern und manche davon werde ich am Ende dieser Arbeit noch einmal zur Diskussion stellen. So viel sei vorweggenommen: Die hilflose Forderung nach mehr Transparenz gehört nicht dazu.

Robin Schrade in: Wer sucht, kann gefunden werden; Problemgeschichten der Wissensorganisation von der Scholastik bis zur Suchmaschinenforschung; transcript Verlag, Bielefeld, 2022

Creative Commons — Namensnennung 4.0 International — CC BY 4.0

https://doi.org/10.14361/9783839456798

Zur einfacheren Lesbarkeit wurden die Quellen- und Literaturverweise entfernt.

Kategorie: Datenschutz

Beitrag teilen:

Die Regulierung von Deepfakes auf EU-Ebene: Überblick eines Flickenteppichs und Einordnung des Digital Services Act- und KI-Regulierungsvorschlags

06/2023

1. Einführung und Problemstellung

Spätestens mit dem aufsehenerregenden Obama-Deepfake aus dem Jahr 2018 wurden die technologischen Möglichkeiten von Deepfakes einem größeren Zuschauer:innenkreis bekannt. Seither sind zwar glücklicherweise größere Deepfake-induzierte Skandale ausgeblieben. Politiker:innen und Forschende weltweit arbeiten jedoch trotzdem mit Hochdruck an Regulierungsvorschlägen zur Einhegung von Deepfakes, um die befürchteten Effekte von mit Schädigungsabsicht erstellten und verbreiteten Deepfakes zu vermeiden.

Dabei sind Manipulationen von Bild- und Tonmaterial freilich nichts Neues. Seit es menschengemachte Aufzeichnungen gibt, existieren auch Fälschungen. Frühere Manipulationsmethoden stützten sich allerdings vor allem auf Erzählungen und Geschriebenes und derartige Fälschungen von Bild- und Tonmaterial konnten auf relativ einfache Weise wirksam erkannt werden. Erstmals ist es mittels KI-Einsatz inzwischen auch möglich, qualitativ hochwertige synthetische Medieninhalte zu erstellen oder bestehende Inhalte so zu manipulieren, dass sie sich zunehmend schwieriger von realen Inhalten unterscheiden lassen. Weil die menschliche Psyche dem, was die eigenen Augen sehen, stärkeren Glauben zu schenken scheint, wird Deepfakes ein besonders großes Manipulationspotential beigemessen. Diese Herausforderung wird dadurch verstärkt, dass technologische Fortschritte zum einen die Qualität von Deepfake-Inhalten in absehbarer Zeit dahingehend steigern könnten, dass selbst Expert:innen nicht mehr in der Lage wären, eine Unterscheidung von realen Inhalten vorzunehmen. Zum anderen führen ebenjene Fortschritte dazu, dass die Herstellung von täuschend echten Deepfakes immer einfacher wird. Deshalb wird davon ausgegangen, dass künftig auch technisch nicht- oder nur wenig versierte Menschen entsprechende Inhalte erstellen können werden.

Den mit Deepfakes assoziierten Risiken wird auch deshalb größere Aufmerksamkeit beigemessen, da das Deepfakes-Phänomen in eine gefährliche Zeit fällt, die dadurch charakterisiert ist, dass die Verbreitung medialer Inhalte und insbesondere von Nachrichteninhalten nicht mehr allein in der Hand von Akteuren liegt, die vertrauenswürdig sind bzw. deren Handlungen quantitativ überschaubar sind. Durch den sogenannten digitalen Strukturwandel sind neben Massenmedien mit Onlineplattformen neue Vermittler öffentlicher Kommunikation getreten. Plattformen wie soziale Netzwerke, Suchmaschinen, Video-Sharing-Dienste oder Nachrichtenaggregatoren spielen auch für die Nutzung herkömmlicher Medien eine zentrale Rolle. Von klassischen Blogs, über soziale Online Netzwerk-Plattformen bis hin zu Instant Messaging Apps bietet sich für all jene, die an der Verbreitung synthetischer oder manipulierter Inhalte interessiert sind, eine nie da gewesene Vielzahl an Verbreitungsmöglichkeiten. Wie schon aus der Diskussion rund um Desinformation und Social Media bekannt, treibt diese Entwicklung nicht nur die Quantität der Verbreitung entsprechender Inhalte voran. Im Umkehrschluss bedeutet die zunehmende Nachrichtennutzung auf sozialen Netzwerken, insbesondere bei jüngeren Altersgruppen, dass sowohl korrekte Informationen als auch Richtigstellungen über Desinformation ihre Adressaten häufig nicht erreichen. Hinzu kommt, dass psychologische Faktoren dazu führen, dass manipulierte Inhalte, gerade dann, wenn sie besonders sensationelle Informationen zu liefern vorgeben und/oder bestehende Einstellungen affirmieren (der sog. Confirmation Bias), viel stärker wirken, als Klarstellungen es vermögen. Dadurch hinterlassen entsprechende Inhalte selbst dann noch einen signifikanten Effekt bei den Betroffenen, wenn die konsumierten Inhalte später richtiggestellt werden (der sog. Falschinformationseffekt).

Angesichts dieser Problemlage werden weltweit Wege diskutiert, wie den möglichen Risiken von Deepfakes begegnet werden sollte. Unter den Vorschlägen finden sich solche zur Technologiegestaltung, zur Entwicklung von Detektionsmethoden, zum Ausbau der gesellschaftlichen Resilienz bis hin zu verschiedenen Möglichkeiten des Verbots oder der anderweitigen Begrenzung der Verbreitung manipulierter oder synthetischer Inhalte. Mit den gegenwärtig auf EU-Ebene verhandelten Vorschlägen zu neuen Regelungen für Online-Plattformen (DSA) und KI-Regulierung (AI Act) existieren zwei Vorhaben, die Deepfakes unmittelbar betreffen.

Der vorliegende Beitrag gibt einen Überblick über die Regulierung von Deepfakes auf EU-Ebene und diskutiert, inwiefern die Kommissionsentwürfe zum DSA und KI-Verordnungsvorschlag (AI Act) die mit Deepfakes assoziierten Herausforderungen adressieren. Der Aufsatz beginnt mit einem Kapitel zur begrifflichen Einordnung des Phänomens Deepfakes innerhalb des Diskurses rund um Desinformation, Fehlinformation, schädigende Informationen und Hate Speech. Das daran anschließende Kapitel gibt einen Überblick über die mit Deepfakes assoziierten Chancen und Risiken.

Daran schließt sich die Diskussion der Regulierungsbemühungen zu Deepfakes an. Nachdem ein Überblick über Regulierungsbestrebungen in den Vereinigten Staaten und der Volksrepublik China gegeben wurde, werden die einschlägigen Vorgaben und Regulierungsbestrebungen auf EU-Ebene vorgestellt. Der Fokus hierbei liegt auf den EU-Vorhaben zum Digital Services Act und der KI-Regulierung, die sowohl im Hinblick auf Berührungspunkte mit Deepfakes als auch im Hinblick auf mögliche Probleme diskutiert werden, sodass Handlungspotentiale deutlich werden.

2. Definitionen

Im Folgenden werden zentrale Begrifflichkeiten des Deepfakes-Diskurses definiert und zueinander in Beziehung gesetzt.

Deepfakes: Bei der Definition des Begriffs Deepfakes folgt der Beitrag dem Vorschlag einer im Auftrag des Europäischen Parlaments erarbeiteten Studie. Deepfakes werden darin als „manipulierte oder synthetische Audio- oder Video-Inhalte verstanden, die authentisch erscheinen und in denen (eine) Person(en) etwas zu sagen oder zu tun scheint (scheinen), was sie nie gesagt oder getan hat (haben), und die mithilfe von KI-Techniken, einschließlich maschinellem Lernen und Deep Learning, hergestellt wurden“.

Obwohl Videomanipulationen schon viel länger existieren als das Phänomen Deepfakes, rückt mit dem Begriff die neuartige technische Produktionsdimension in den Vordergrund, die es erstmals möglich macht, Videos von derart hoher und zunehmender Qualität – immer einfacher auch seitens Laien – zu produzieren, dass sie von echten Inhalten kaum mehr unterscheidbar sind. Die Definition lässt zudem offen, ob Deepfakes auch für nicht-schädliche (z. B. künstlerische) Zwecke verwendet werden können. Cheapfakes bezeichnen Deepfakes mit geringer Qualität, wie zum Beispiel das Nancy Pelosi-Video, das lediglich eine verlangsamte Version des Originalvideos darstellte, bei dem keine sonstigen, fortschrittlichen Manipulationstechniken Anwendung fanden. Bislang knüpft die Definition von Deepfakes an die manipulierte Abbildung von Personen an. Es ist denkbar, dass künftige Deepfakes auch Objekte oder die Umwelt, beispielsweise fiktive Naturkatastrophen, abbilden, sodass eine Erweiterung der Definition auf den Einschluss nicht-personenbezogener Situationen geboten sein könnte.

Deepfakes können für beliebige Zwecke verwendet werden und stellen somit ein Querschnittsphänomen dar. In der einschlägigen Literatur werden Deepfakes – vor allem aufgrund der politischen Bedeutungszuschreibung – primär im Bereich von Desinformation und Fehlinformation verortet. Allerdings können Deepfakes ebenso zu Zwecken der schädigenden Information und Hate Speech eingesetzt werden. Daher werden diese Begriffe im Folgenden definiert.

Desinformation: Desinformation wird in Anlehnung an den Formulierungsvorschlag der hochrangigen Expertengruppe für Fake News und Desinformation der Europäischen Union (EU) definiert. Demnach beinhaltet Desinformation „nachweislich falsche oder irreführende Informationen, die mit dem Ziel des wirtschaftlichen Gewinns oder der vorsätzlichen Täuschung der Öffentlichkeit konzipiert, vorgelegt und verbreitet werden und öffentlichen Schaden anrichten können. […] Irrtümer bei der Berichterstattung, Satire und Parodien oder eindeutig gekennzeichnete parteiliche Nachrichten oder Kommentare sind keine Desinformation.“.

Fehlinformation (Misinformation): Fehlinformationen werden verstanden als Informationen, „die faktisch nicht der Wahrheit entsprechen, jedoch vom Sender, der die Information verbreitet, für wahr gehalten werden“.

Schädigende Information (Malinformation): Schädigende Informationen sind von Desinformation und Misinformation insofern zu unterscheiden, als sie der Wahrheit entsprechen, ihre Verbreitung allerdings der gezielten Schädigung bzw. Benachteiligung der Zielpersonen dient. Beispiele sind Leaks und Doxing.

Hate Speech: Unter Hate Speech werden im Folgenden Nachrichten verstanden, die sich gegen ein Individuum oder eine Gruppe richten, indem Identitätsmerkmale (Geschlecht, Ethnie, Hautfarbe, philosophische Überzeugungen oder Religion, Nationalität) des Individuums bzw. der Gruppe als negativ und unerwünscht dargestellt und die Abwertung eines Individuums bzw. einer Gruppe beabsichtigt wird. Dadurch kann Hate Speech auch zu körperlicher Gewalt führen.

3. Mit Deepfakes assoziierte Risiken und Chancen

Deepfake-Technologien sind eine typische dual use-Technologie. Sie können sowohl für gesellschaftlich erwünschte als auch für gesellschaftlich unerwünschte Zwecke eingesetzt werden. Jegliche Regulierung ist daher gefordert, bei dem Versuch der Verhinderung von schädlichen Effekten erwünschte Potentiale von Deepfakes nicht zu ersticken.

3.1 Chancen von Deepfakes

Deepfake-Technologien ermöglichen eine Reihe von erwünschten Nutzungsmöglichkeiten. Zu den bekanntesten dieser Anwendungen zählen die Verwendung von Smartphone-Kamera-Apps und die Wiederbelebung verstorbener bzw. Verjüngung gealterter Schauspieler:innen. Das Austauschen von Gesichtern (sog. Face-Swap-Videos) mittels Smartphone-Apps zu Unterhaltungszwecken ist in den vergangenen Jahren, insbesondere unter Jugendlichen, zu einer gängigen Kulturpraxis avanciert. Anwendungen wie Snapchat und Reface zählen zu den weltweit am häufigsten heruntergeladenen Apps. Entsprechend ist es möglich, dass Menschen sich selbst in kurze Schnipsel aus Hollywood-Filmen hineindeepfaken. Disney verwendete Deepfake-Technologie zunächst zur Darstellung einer Rolle, deren Besetzung verstorben war, und später auch zur Inszenierung des jungen Luke Skywalkers auf der Kino- bzw. Streaming-Leinwand.

Generell eröffnen Deepfake-Technologien zahlreiche Nutzungsmöglichkeiten für Audio-, Foto- und Videoproduzenten bzw. -bearbeiterinnen: die einfache und kostengünstige Korrektur falsch gesprochener Zeilen durch Deepfake-Audio; die vereinfachte Erstellung von 3D-Modellen in Computerspielen; der Einsatz im Kulturbereich, bspw. zur Nachstellung historischer Ereignisse inklusive der Darstellung verstorbener historischer Persönlichkeiten uvm.

Chancen von Deepfakes werden auch zur Verbesserung der Mensch-Maschine-Interaktion, für Videokonferenzen, bei medizinischen Anwendungen sowie zu Satirezwecken gesehen. Insbesondere satirische Verwendungen sind im Internet vielfach anzutreffen und können zu generellen satirisch-humoristischen Zwecken eingesetzt werden. Ein Beispiel hierfür ist etwa die Parodie der Weihnachtsansprache von Königin Elizabeth II. im Jahr 2020 (Channel 4).

3.2 Risiken von Deepfakes

Ein großer Teil der Publikationen zu Deepfakes verstehen diese als eine Risiko-Technologie, deren Wirkungen sich, sofern nicht rechtzeitig und mit angemessenen Mitteln gegengesteuert wird, erst in einigen Jahren entfalten werden. Diskursiv ist das Thema Deepfakes an der Schnittstelle zwischen den Debatten rund um Desinformation einerseits und Hate Speech andererseits zu verorten. Mit der Dimension der Desinformation werden insbesondere gesellschaftliche Effekte assoziiert, die noch nicht eingetreten sind, aber als Zukunftsszenario befürchtet werden. Dazu zählen beispielsweise die Manipulation von Wahlen, die generelle Erosion gesellschaftlichen Vertrauens oder auch ein sinkendes Vertrauen in das Justizsystem. Gleichzeitig demonstriert der Status Quo der Deepfake-Nutzung, dass der (rache-)pornographische Einsatz von Deepfakes am häufigsten anzutreffen ist. So machten pornographische Inhalte (Deepfake-Pornographie oder Deepnudes), die fast ausschließlich Frauen abbildeten, im Jahr 2019 Schätzungen zufolge über 90 % aller schädigenden Deepfakes aus. Die Mehrzahl dieser Inhalte (über 90 %) bezieht sich zwar wiederum auf die Verbreitung pornographischer Inhalte auf spezifisch zur Verbreitung dieser Pornographie-Art ausgelegten Webseiten, sodass meist ein Publikum mit einem spezifischen Interesse an dieser Art von Inhalten auf diese stößt. Allerdings zirkulieren sie in zunehmenden Maße auch über die Grenzen dieser Webseiten hinaus und werden zu Zwecken der Verleumdung, Bedrohung oder Erpressung von Frauen verwendet. Dies verdeutlicht, dass trotz des diskursiven Fokus’ auf die Dimension der Desinformation in der einschlägigen Literatur gegenwärtig vor allem die Hate-Speech-Dimension von Deepfakes die größere Rolle zu spielen scheint.

Ein beliebter Einsatz zur Typologisierung der Risiken von Deepfakes ist die Unterteilung in Schadensarten: Finanzieller Schaden, Reputationsschaden und Manipulation der Entscheidungsfindung. Risiken können aber auch nach den Betroffenen strukturiert werden. Bateman sowie Chesney und Citron schlagen eine Unterteilung in die Kategorien (a) Individuen, (b) Institutionen bzw. Organisationen und (c) gesellschaftliche Schäden vor. Die Schwierigkeit bei letzterem Ansatz ist, dass viele der möglichen Schäden kaskadierende Effekte entfalten können und über das Individuum hinaus auch zu organisationalen und gesellschaftlichen Problemen führen können. Beispielsweise betrifft die Diskreditierung von Journalist:innen mittels Deepfakes in erster Linie die betroffene(n) Person(en), doch können die Reaktionen auf das Deepfake zusätzlich auf die Medienanstalt zurückfallen, bei der die Person(en) beschäftigt ist/sind. Je nach gesellschaftlicher Ausgangssituation und sonstigen Kontextfaktoren wie der Häufigkeit und des Schweregrads des Deepfakes (wird im Deepfake beispielsweise eine systematische Nachrichtenfälschung unterstellt?) können sich schließlich kaskadierende Effekte auf gesellschaftlicher Ebene zeigen, die beispielsweise zu einer Beschädigung des Vertrauens in das Mediensystem führen. Dementsprechend folgt der Beitrag der Sortierung nach Schadensarten.

Psychologische Schäden können durch Deepfakes insbesondere bei den von einem Deepfake unmittelbar betroffenen Personen entstehen. Deepfakes können etwa zum Zwecke des Mobbings, der Verleumdung und Einschüchterung eingesetzt werden. Wie erwähnt, haben Deepfakes eine starke sexuelle und sexistische Komponente, die neben den bereits genannten Zwecken auch zu Rufschädigung und zur Unterdrückung der Freiheit der Meinungsäußerung führen kann. Des Weiteren lassen sich Deepfakes zu Erpressungszwecken einsetzen. Wenn pornographische Deepfakes für Erpressungen genutzt werden, ist von Sextortion die Rede.

Finanzielle Schäden können durch Deepfakes sowohl bei Individuen als auch bei Organisationen entstehen. So können Erpressungen neben dem oben erwähnten psychologischen Schaden auch finanziellen Schaden für Individuen und Organisationen bewirken. Darüber hinaus können Deepfakes zum Zwecke des Identitätsdiebstahls eingesetzt werden. Ziele dieser Art des Betrugs können insbesondere Organisationen bzw. Unternehmen sein, aber auch Einzelpersonen (etwa in einer neuen Form des Enkel-Tricks). Zukünftig ist auch denkbar, dass Deepfakes zum Zwecke der Marken- oder Rufschädigung eingesetzt werden, indem beispielsweise Geschäftsführende dabei abgebildet werden, wie sie falsche Aussagen über Geschäftszahlen und Konkurse treffen. Je nach Reaktionsgeschwindigkeit des Unternehmens und Tragweite des Deepfakes kann es auch zu Manipulationen des Aktienmarktes kommen.

Gesellschaftliche Schäden durch Deepfakes stehen häufig im Mittelpunkt der Debatte und sind eher als mittel- bis kurzfristige Gefahren einzustufen, deren Folgen sich aller Voraussicht nach erst dann zeigen werden, wenn Deepfakes häufiger zum Einsatz kommen oder einzelne Deepfakes eine sehr große gesamtgesellschaftliche Wirkung entfalten. Theoretisch können Deepfakes beliebige Gesellschaftsbereiche betreffen, doch in der Debatte werden insbesondere die möglichen Folgen für das Medien-, Justiz-, Wissenschafts- und Wirtschaftssystem, die nationale Sicherheit, die internationalen Beziehungen und in letzter Konsequenz für das Vertrauen in die Demokratie diskutiert.

4. Regulierung von Deepfakes

Wie bei vielen neuen Technologien, ist auch die Nutzung und Verbreitung von Deepfakes einerseits in die bestehende Rechtslage eingebettet und bringt andererseits neue regulatorische Herausforderungen und damit Regulierungsbedarfe mit sich. Eine unmittelbare Regulierung von Deepfakes ist bislang weltweit nur in wenigen Staaten anzutreffen. Neben der Europäischen Union sind Regulierungsbemühungen insbesondere in den Vereinigten Staaten und in China erkennbar. Im Folgenden werden zunächst die dortigen Entwicklungen skizziert. Daran schließt sich die Diskussion der einschlägigen Vorgaben auf EU-Ebene an. Schließlich werden der DSA- und KI-Regulierungsvorschlag der EU-Kommission vorgestellt und diskutiert.

4.1 Regulierungsbemühungen in den Vereinigten Staaten und in China

Die US-Reaktionen bestehen hauptsächlich aus Maßnahmen auf Bundesstaatsebene, die seit kurzem auch durch solche auf Bundesebene ergänzt wurden. Kalifornien und Texas verabschiedeten bereits 2019 Gesetze, die innerhalb eines Zeitraums im Vorfeld von Wahlen die Verbreitung manipulierter Inhalte über politische Kandidaten verbieten. Virginia verabschiedete 2019 ein Gesetz, das die Verbreitung manipulierter Inhalte unter Strafe stellt, sofern diese auf die Verleumdung, Einschüchterung oder Erpressung einer Person abzielen. Hierdurch soll vor allem die Verbreitung von nicht-einvernehmlicher Deepfake-Pornographie unterbunden werden. Kalifornien und New York führten ein privates Klagerecht für Opfer von Deepfake-Pornographie ein, um individuelle Klagen zu vereinfachen.

Auf US-Bundesebene beschränken sich die erlassenen Maßnahmen bislang auf die Systematisierung und Institutionalisierung der Sammlung relevanter Informationen über Deepfakes, mit dem Ziel der späteren Nutzung dieser für weitere fundierte Maßnahmen. Der IOGAN Act sieht etwa vor, dass die National Science Foundation Forschungsvorhaben zur Echtheitsanalyse von Deepfakes fördert und das National Institute of Standards and Technology in Kooperation mit dem Privatsektor an Möglichkeiten der Deepfake-Detektion arbeitet. Der U.S. National Defense Authorization Act 2021 adressiert zum zweiten Mal in Folge Deepfakes. Zum einen verpflichtet es das US Department of Homeland Security (DHS) dazu, Möglichkeiten zur Produktion, Erkennung und Bekämpfung von Deepfakes zu fördern. Zum anderen soll das DHS über einen Zeitraum von fünf Jahren einen jährlichen Bericht über den Einsatz gefälschter digitaler Inhalte und deren Gefahren für die Öffentlichkeit erarbeiten.

In China ist Anfang 2020 ein Gesetz in Kraft getreten, das zum einen alle Anbieter von Apps zur Produktion von Deepfake-Inhalten zur Kennzeichnung und zum anderen Plattformbetreiber dazu verpflichtet, nicht-gekennzeichnete Inhalte eigenständig zu erkennen, zu kennzeichnen oder zu entfernen, sofern es sich um unerwünschte Inhalte handelt. Schließlich soll die Gesetzesdurchsetzung mittels ergänzender Maßnahmen unterstützt werden. Eine Anmeldung bzw. Nutzung von Plattformen soll nur unter Angabe der Bürger-ID oder der Handynummer möglich sein, Plattformen sollen Beschwerdemöglichkeiten zur Meldung verdächtiger Inhalte einrichten, Audio- und Video-Plattformen sollen Standards erarbeiten und mittels eines Kreditsystems die Handlungen der Nutzenden bewerten. Darüber hinaus sollen staatliche Behörden regelmäßige Kontrollen über die Einhaltung der Gesetze durchführen, um die Verbreitung eines jeden Deepfake-Inhalts verfolgbar zu machen.

4.2 Einschlägige Vorgaben auf EU-Ebene

Die Regulierung von Deepfakes ist erst kürzlich in den Blick der EU-Politik gerückt und wird vor allem im Kontext der DSA- und KI-Verordnungsvorschläge diskutiert. Doch auch abseits der sich konkret auf Deepfakes beziehenden Regelungen spielt das Regulierungsgeflecht der EU zur Adressierung der von Deepfakes ausgehenden Risiken eine wichtige Rolle. Dieses besteht aus mitgliedstaatlichen und EU-Verfassungsnormen sowie harten und weichen Vorschriften – sowohl auf EU-Ebene als auch auf Ebene der Mitgliedstaaten. Beim Blick auf die EU-Regulierungen kann zwischen Maßnahmen unterschieden werden, die sich auf die in Deepfakes dargestellten Inhalte beziehen (die DS-GVO, das Urheberrecht, die Richtlinie zur Bekämpfung des sexuellen Missbrauchs und der sexuellen Ausbeutung von Kindern sowie der Kinderpornografie und die Verordnung zur Bekämpfung der Verbreitung terroristischer Online-Inhalte), und solchen, die den Prozess der Zirkulation von Deepfakes regulieren. Hierzu zählen die AVMD-Richtlinie, der KI-Regulierungsvorschlag und insbesondere der DSA und die EU-Maßnahmen gegen Desinformation.

Deepfake-spezifische Gesetze, wie sie in einigen US-Bundesstaaten erlassen wurden, existieren in der EU nicht. Jedoch entfalten die EU-Regulierungen zur Inhalteregulierung in Kombination mit den in den Mitgliedstaaten bestehenden Rechten zum Schutz vor Verleumdung, Einschüchterung usw. eine ähnliche Wirkung. Vergleichbare konzertierte Maßnahmen wie in den Vereinigten Staaten hinsichtlich der Systematisierung und Institutionalisierung der Untersuchung der Folgen von Deepfakes und von neuen Detektionstechnologien hat es in der EU noch nicht gegeben. Die weitgehenden chinesischen Überwachungsmaßnahmen zur Kontrolle von Deepfakes erscheinen vor dem Hintergrund des Wertekanons der EU bzw. mit Blick auf grundlegende Menschenrechte als nicht wünschenswert, sodass über derartige Maßnahmen nicht weiter diskutiert wird.

Die EU-Datenschutz-Grundverordnung (EU-DS-GVO), die das Datenschutzrecht EU-weit weitestgehend harmonisiert hat, berührt Deepfakes, da Stimmfragmente oder Fotos und Videos, die zur Abbildung einer Person in einem Deepfake genutzt werden, als personenbezogenes Datum einzustufen sind. Zudem ist die DS-GVO auch auf die Entwicklung von Deepfake-Software anwendbar, weil auch zur Entwicklung solcher Software auf mit personenbezogenen Daten befüllte Foto- und Videodatenbanken zurückgegriffen wird. Als Rechtsgrundlage für die Verarbeitung personenbezogener Daten zur Erstellung eines Deepfakes kommen grundsätzlich die Einwilligung und berechtigte Interessen infrage. Letztere dürfte vor allem anwendbar sein, wenn Personen des öffentlichen Lebens unter Berufung auf das Recht auf freie Meinungsäußerung z. B. auf satirische Weise abgebildet werden. Bei Abbildung gewöhnlicher Personen, also in der Mehrzahl der Fälle, dürfte eine Einwilligung notwendig sein. Betroffene haben dann das Recht, der Verarbeitung zu widersprechen und etwa die Löschung der Videos zu verlangen. Aufgrund der Datenflut im Internet dürfte es allerdings schwierig werden, die Täter:innen zu identifizieren oder, insbesondere in grenzüberschreitenden Fällen, den Rechtsweg zu beschreiten.

Das Urheberrecht in der EU basiert zwar weiterhin größtenteils auf mitgliedstaatlichem Recht, doch durch eine Reihe von Richtlinien und zwei Verordnungen ist es weitgehend harmonisiert. Da zur Produktion von Deepfakes häufig vorhandenes Foto- und Videomaterial verwendet wird, das in vielen Fällen urheberrechtlich geschützt sein dürfte (etwa Filmszenen), ist auch das Urheberrecht bei der Produktion und Verbreitung von Deepfakes zu beachten. Ähnlich wie im Bereich des Datenschutzrechts bieten sich hier zwei Wege: Zum einen müssen Deepfake-Produzent:innen vor der Verwendung geschützten Materials grundsätzlich die Erlaubnis der Urheberrechtsinhaber einholen. Zum anderen ermöglichen Ausnahmen die Verwendung für wissenschaftliche und künstlerische Zwecke, z. B. in Karikaturen oder Parodien.

Einen Hebel zur Bekämpfung von Desinformation und von Hate Speech auf Online-Videoplattformen stellt die EU-Richtlinie über audiovisuelle Mediendienste (AVMD-Richtlinie) dar, die 2018 in Reaktion auf Veränderungen der Medienlandschaft überarbeitet und verabschiedet wurde. Insbesondere mit Blick auf den Schutz von Minderjährigen, aber auch generell im Hinblick auf den Schutz von Medienkonsument:innen vor Volksverhetzung und Hate Speech, sieht die Richtlinie vor, dass Online-Video-Sharing-Plattformen Maßnahmen (z. B. Altersprüfung, PIN-Codes, Kennzeichnungen oder automatische Filterung) im Einklang mit der Achtung der geltenden Grundrechte und -freiheiten einführen sollen. Da sich die Regelungen der Richtlinie insbesondere auf pornographische und gewalttätige Inhalte beziehen, könnte sie geeignet sein, die Verbreitung von nicht-einvernehmlichen Deepfake-Pornos einzudämmen. Weil die AVMD-Richtlinie keine weiteren inhaltlichen Vorgaben macht, sondern auf die Durchsetzung des geltenden Rechts verweist, muss sich die Ergreifung von Maßnahmen in Bereichen abseits pornographischer und gewalttätiger Inhalte auf andere harmonisierte EU-Regelungen stützen. Hier kommen insbesondere die Ende 2011 in Kraft getretene Richtlinie zur Bekämpfung des sexuellen Missbrauchs und der sexuellen Ausbeutung von Kindern sowie der Kinderpornografie und die Verordnung zur Bekämpfung der Verbreitung terroristischer Online-Inhalte, die ab Juni 2022 anwendbar sein wird, infrage, um Inhalte entfernen zu lassen.

4.3 EU-Maßnahmen gegen Desinformation

Den Anfangspunkt der EU-Maßnahmen gegen Desinformation bildete der Aufruf der EU-Staatschefs im März 2015 zur Erarbeitung eines Aktionsplans. In der Folge verabschiedete das Europäische Parlament eine Entschließung zum Thema Online-Plattformen, in der die Kommission zur Vorlage eines Gesetzesvorschlags zur Bekämpfung von sog. Fake News aufgerufen wurde. Die Europäische Kommission initiierte Ende 2017 eine öffentliche Konsultation zum Thema Fake News, rief Anfang 2018 eine hochrangige Expert:innengruppe zu Fake News und Online-Desinformation ins Leben und verabschiedete im April 2018 ein europäisches Konzept zur Bekämpfung von Desinformation inkl. Deepfakes im Internet. Ein zentrales Element darin war der sog. Code of Practice on Disinformation, der einige Wegmarken zur Selbstregulierung der Plattformbetreiber definierte. Das bis dahin weitreichendste EU-Werkzeug, das zur Bekämpfung von Desinformation und Deepfakes verabschiedet wurde, folgte im Dezember 2018 in Form des Aktionsplans gegen Desinformation, der aus der Feder sowohl der Europäischen Kommission als auch des hohen Vertreters der EU für Außen- und Sicherheitspolitik gemeinsam stammt. Vor dem Hintergrund der wahrgenommenen Manipulation demokratischer Wahlen sah der Aktionsplan im Gegensatz zu den vorherigen Selbstregulierungsmaßnahmen einen stärkeren Fokus auf verbindliche Maßnahmen zur Erkennung und Bekämpfung von Desinformation vor.

Mit dem im Dezember 2020 vorgestellten Europäischen Aktionsplan für Demokratie veröffentlichte die Kommission einen umfassenden Maßnahmenkatalog, der den Fokus auf drei Schwerpunkte legte: (1) die Förderung freier und gerechter Wahlen; (2) die Stärkung der Medienvielfalt und -freiheit sowie (3) die Bekämpfung von Desinformation. Hervorzuheben ist insbesondere, dass die Kommission mit dem Aktionsplan den auf Selbstregulierung fußenden Weg, den sie mit dem Code of Practice on Disinformation eingeschlagen hatte, weiter revidierte und verstärkt auf Elemente der Ko-Regulierung zu setzen begonnen hat. In diesem Sinne wurde insbesondere die Veröffentlichung von Leitlinien zur Überarbeitung des Code of Practice unter Berücksichtigung von dessen Kompatibilität mit dem DSA angekündigt. Diese Leitlinien legte die Kommission Mitte 2021 vor. Hinsichtlich der Stärkung der Verbindlichkeit des Verhaltenskodex’ sieht die Kommission die Einrichtung eines Transparenzzentrums, einer ständigen Taskforce unter Beteiligung relevanter Stakeholder sowie die Einführung von Leistungsindikatoren zur standardisierten Messung der Ergebnisse und Auswirkungen des Verhaltenskodex’ vor. Zudem sollen sich die Dienstebetreiber dazu verpflichten, Empfehlungssysteme transparenter zu gestalten, leicht zugängliche Instrumente zur Meldung von Desinformation bereitzustellen, Revisionsmöglichkeiten zu eröffnen und schließlich Maßnahmen zur Erhöhung der Sichtbarkeit zuverlässiger Informationen einleiten, was auch die Interaktion mit Faktencheck-Teams einbezieht.

4.4 Relevante EU-Rechtsreformen: Digital-Services-Act- und KI-Regulierungsvorschlag der EU-Kommission

Die zwei weitreichendsten Maßnahmen zur Adressierung der durch Deepfakes befürchteten Probleme folgten in Form zweier Verordnungsvorschläge der Europäischen Kommission. Diese werden im Folgenden skizziert und mit Blick auf Berührungspunkte zu Deepfakes diskutiert.

4.4.1 EU-Digital-Services-Act-Regulierungsvorschlag

Der im Dezember 2020 vorgelegte Verordnungsvorschlag Digital Services Act sieht die Harmonisierung der an Intermediäre gestellten EU-weiten Haftbarkeitsregelungen und Moderationsverpflichtungen vor.

Der DSA-Vorschlag ist eine Weiterentwicklung der E-Commerce-Richtlinie, die über Jahre der zentrale Baustein in der Regulierung von Online-Inhalten auf EU-Ebene war, und adressiert einige Schwachpunkte. Das Ziel der im Jahr 2000 verabschiedeten Richtlinie war es, den freien Verkehr mit Waren und Dienstleistungen im E–Commerce mittels EU-weit harmonisierter Regeln zu gewährleisten. Allerdings stellte die Richtlinie inhaltlich einen Minimalkompromiss dar, um die wirtschaftliche Entwicklung von Diensteanbietern, im damals noch jungen Internet, nicht durch den Erlass von übermäßigen regulatorischen Anforderungen zu hemmen. Im Hinblick auf das Thema Inhalteregulierung wurde insb. von einer Verpflichtung von Diensteanbietern zur Ex-ante-Kontrolle der über ihre Kanäle fließenden Informationen abgesehen. Inhalte sollten nur dann entfernt werden, sobald die Betreiber über deren Illegalität in Kenntnis gesetzt werden. In diesem Sinne wäre die Richtlinie auf Deepfakes grundsätzlich anwendbar und würde den Diensteanbietern vorgeben, ein Deepfake nach Kenntnis über dessen Illegalität zu löschen. Allerdings wurde in der E-Commerce-Richtlinie nicht festgelegt, ab wann ein Inhalt als illegal einzustufen ist. Die entsprechende Einstufung war und ist EU-weit stark fragmentiert und basiert auf einer Mischung aus mitgliedstaatlichen und unionalen Rechten und Gesetzen. Ungeregelt blieb auch, was genau unter „in Kenntnis gesetzt werden“ zu verstehen ist, ob bspw. Nutzermeldungen bereits als ausreichend einzustufen sind oder lediglich Gerichtsbeschlüsse akzeptiert werden. Dementsprechend wurde der rechtlichen Status Quo seit Erlass der Richtlinie als Zustand weitgehender Rechtsunsicherheit gedeutet.

Zudem regelt die Richtlinie zwar, wann Dienstebetreiber von der Haftung befreit sind, aber nicht, unter welchen Bedingungen die Haftung eines Dienstebetreibers gegeben ist. Schließlich harmonisierte die Richtlinie auch nicht die Verfahrensgarantien für Widersprüche im Falle ungerechtfertigter Inhaltelöschungen, sodass Betroffene, deren Inhalte unrechtmäßig entfernt wurden, nur in einigen Mitgliedstaaten das Recht haben, dagegen vorzugehen. Obwohl die Kommission spätestens seit 2012 im Bilde über die Schwächen der Richtlinie war, folgte sie zunächst weiterhin einem selbstregulativen Ansatz. So wurde statt des Erlasses EU-weit harmonisierter Regelungen insbesondere im Rahmen der oben diskutierten EU-Maßnahmen gegen Desinformation auf die Selbstregulierung großer Online-Plattformen gesetzt, sich der Adressierung der bekannten Schwachstellen freiwillig anzunehmen.

Wenige Jahre später erließen einige Mitgliedstaaten angesichts der Untätigkeit der Kommission eigene Gesetze zur Adressierung der Rechtsunsicherheit im Bereich der Haftbarmachung von Intermediären. Das deutsche NetzDG und das französische Gesetz gegen Falschnachrichten (Loi n° 2018–1202) sind Ausdruck dieser Entwicklung. Die sich aufgrund des Erlasses nationaler Regulierungen abzeichnende Rechtsfragmentierung bewegte die Kommission schließlich dazu, Ende 2020 ihre Vorschläge zum Digital Services Act (DSA) und Digital Markets Act vorzulegen und damit die E-Commerce-Richtlinie zu ersetzen und mittels harmonisierter Regeln mehr Rechtssicherheit zu schaffen.

Der DSA-Vorschlag setzt den Regulierungsansatz der E-Commerce-Richtlinie fort und schreibt die Pflicht zur Löschung von illegalen Inhalten nur dann vor, sobald Dienstebetreiber Kenntnis darüber erlangen. Eine Harmonisierung dessen, was als illegaler Inhalt gilt, sieht auch der DSA-Vorschlag nicht vor und überlässt diesbezügliche Harmonisierungsbestrebungen bereichsspezifischen Regulierungen wie der DS-GVO und den anderen oben besprochenen Regulierungen.

Der DSA schreibt vor, dass Dienstebetreiber transparent machen müssen, welche Moderationsregeln auf ihrer Plattform gelten und welche Maßnahmen sie zu deren Durchsetzung ergreifen. Der freiwillige Einsatz von Upload-Filtern, also die automatisierte Filterung von Inhalten beim Hochladen, ist gemäß Kommissionsvorschlag explizit zur Durchsetzung der Moderationsregeln erlaubt. Die Betreibenden eines Koch-Forums beispielsweise dürfen, nachdem Nutzende über die Moderationsregeln und den Einsatz von Upload-Filtern informiert wurden, Inhalte automatisiert herausfiltern, die nicht den Moderationsregeln entsprechen. Eine Vorabkontrolle hochgeladener Inhalte im Hinblick auf deren Vereinbarkeit mit mitgliedstaatlichem und/oder EU-Recht sieht der DSA-Vorschlag hingegen nicht vor.

Darüber hinaus werden Betreiber, die ein Notice-and-Takedown-Verfahren anwenden, dazu verpflichtet, ein System zu schaffen, mit dem illegale Inhalte EU-weit harmonisiert gemeldet werden können. Dadurch soll es Betroffenen erleichtert werden, die gegen sie gerichteten offensichtlich rechtswidrigen Inhalte zu melden und entfernen zu lassen. Dadurch, dass der Vorschlag dies nicht explizit ausschließt, kann eine automatisierte Löschung und Sperrung gemeldeter Inhalte nicht ausgeschlossen werden (ebd.). Wenn ein Verdacht auf eine schwere Straftat vorliegt, die eine Bedrohung für das Leben oder die Sicherheit von Personen darstellt, sollen Betreiber diesen Verdacht zudem an die zuständigen Strafverfolgungsbehörden weitergeben müssen.

Weil im DSA-Vorschlag Plattformen ab einer bestimmten Größe als quasi-öffentlicher Diskursraum betrachtet werden, auf dem die Ausübung des Rechts auf freie Meinungsäußerung zu schützen ist, sieht der DSA-Vorschlag zudem die Einrichtung eines Verfahrens vor, mit dem Betroffene gegen eine Sperrung vorgehen können. Daneben verpflichtet das Gesetz alle Betreiber dazu, mehr Transparenz über die erfolgten Sperrungen herzustellen, indem sie eine Datenbank aufbauen, die u. a. Informationen über den Grund der Sperrung und den jeweiligen Beschwerdeführer beinhalten.

4.4.1.1 Der Digital Services Act und Deepfakes

Da sozialen Online-Netzwerken eine zentrale Rolle bei der Verbreitung von Deepfakes zukommt, betreffen die Vorgaben des DSA Deepfakes unmittelbar. So könnten die harmonisierten Notice-and-Takedown-Regeln eine wirksamere Löschung unrechtmäßiger Deepfakes ermöglichen. Zugleich wären Upload-Filter zur Rechtsdurchsetzung ausgeschlossen. Befürchtet wird jedoch, dass die implizite Erlaubnis zum Einsatz von Upload-Filtern zur Durchsetzung der Moderationsregeln eine de facto Einschränkung des Rechts auf freie Meinungsäußerung bewirken könnte, wenn sich Intermediäre selbst mit nationalem bzw. EU-Recht konforme Moderationsregeln auferlegen, um möglicherweise entstehende Mühen bei der Inhaltelöschung zu vermeiden. In ähnlicher Weise wäre auch denkbar, dass die Betreiber trotz der Transparenzvorgaben in Bezug auf gemeldete sowie gelöschte Inhalte (und trotz der Einspruchsmöglichkeiten, die für Betroffene von Sperrungen und Löschungen vorgesehen sind) ein Overblocking mittels automatisierter Sperrungen und Löschungen betreiben könnten. Die Wiederherstellung derartiger unrechtmäßig entfernter Inhalte wäre erst nach langwierigen Beschwerdezyklen möglich, die viele Betroffene wohl nicht auf sich nehmen würden, sodass eine Beeinträchtigung des Rechts auf freie Meinungsäußerung befürchtet wird.

Sofern ohnehin davon auszugehen ist, dass Dienstebetreiber Upload-Filter zur Durchsetzung ihrer Moderationsregeln einsetzen werden, könnten sie auch dazu verpflichtet werden, mittels Filter-Einsatzes die Authentizität sowohl hochgeladener Inhalte als auch der Accounts, die entsprechende Inhalte teilen, zu erkennen und Gegenmaßnahmen zu ergreifen. Etwa in Form einer Kennzeichnung nicht-authentischer Inhalte oder der Unkenntlichmachung der in nicht-authentischen Videos dargestellten Gesichter oder Stimmen.

Schließlich sei erwähnt, dass für eine angemessene Adressierung der aus Deepfakes resultierenden Herausforderungen auch Schritte notwendig wären, die über den Anwendungsbereich des DSA hinausgehen. Darunter fallen etwa mitgliedstaatliche Maßnahmen zur Unterstützung der Opfer von Deepfakes und europaweite Maßnahmen zur Aufklärung der von Deepfakes ausgehenden Gefahren.

4.4.2 EU-KI-Regulierungsvorschlag

Der KI-Regulierungsvorschlag der Kommission, der im April 2021 veröffentlicht wurde, betrifft das Thema Deepfakes ebenfalls in mehreren Hinsichten.

Grundsätzlich verfolgt der Vorschlag das Ziel, die vertrauenswürdige und sichere Anwendung Künstlicher Intelligenz unter Einhaltung der EU-Werte und -Grundrechte zu ermöglichen. Zu diesem Zweck werden harmonisierte Regeln für die Entwicklung, Verbreitung und Nutzung von KI-Systemen vorgeschlagen. Dabei verfolgt der Kommissionsvorschlag einen risikobasierten Ansatz und unterteilt KI-Systeme in vier Risikokategorien: 1. Unannehmbares Risiko; 2. Hohes Risiko; 3. Geringes Risiko und 4. Minimales Risiko. Während Systeme, die ein unannehmbares Risiko mit sich bringen, verboten werden sollen, werden für Hochrisiko-Systeme strenge Vorgaben, für Systeme mit geringem Risiko vor allem Transparenzvorgaben und für solche mit einem minimalen Risiko keine Vorgaben vorgeschlagen.

4.4.2.1 EU-KI-Regulierungsvorschlag und Deepfakes

Deepfakes werden im Vorschlag explizit erwähnt und gemäß Kommission unter der Kategorie der Systeme mit geringem Risiko gefasst. Nach Artikel 52 (3) sollen Nutzende eines KI-Systems, das zur Produktion von Deepfakes dient, offenlegen, dass die dargestellten Inhalte künstlich erzeugt oder manipuliert wurden, womit eine gesetzliche EU-weite Kennzeichnungspflicht für Deepfakes eingeführt würde. Zugleich wird im Erwägungsgrund 38 und im Annex III geregelt, dass die Nutzung von Deepfake-Detektionstechnologien durch Strafverfolgungsbehörden unter die Hochrisiko-Kategorie und die damit verbundenen strengen Vorgaben fällt.

Doch sind mit dem Kommissionsvorschlag auch einige Probleme verbunden. Diese Schwierigkeiten ergeben sich einerseits aus dem Anwendungsbereich und andererseits aus dem unzureichenden Strafbezug. Denn die Kennzeichnungspflicht aus Artikel 52 (3) betrifft lediglich die Nutzenden eines KI-Systems, nicht aber die Hersteller und Anbieter der Systeme. Schaut man sich die geläufigen FaceSwap-Apps an, mit denen einfache Deepfakes erstellt werden können, sind entsprechende Markierungen in Form der Hersteller-Logos stets softwareseitig in die produzierten Videos eingebettet. Im Falle, dass die Hersteller und Anbieter dies nicht von sich aus anbieten, müssten allerdings die Nutzenden selbst entsprechende Kennzeichnungen in die Deepfake-Inhalte per Wasserzeichen einbetten oder dies bei Veröffentlichung der Inhalte in einem Begleitkommentar kenntlich machen. Dies wäre freilich nur dann ein Problem, wenn die Anbieter und Hersteller nicht mehr selbständig entsprechende Kennzeichnungen vornehmen. Eine an die Anbieter und Hersteller gerichtete Verpflichtung zur Kennzeichnung würde hier aber Gewissheit schaffen. Zu einem echten Problem wird die unzureichende Kennzeichnungspflicht schließlich erst dann, wenn es um die Bekämpfung ungewollter Deepfake-Inhalte geht. Denn Deepfakes, die etwa mit dem Ziel der Desinformation oder Verunglimpfung verbreitet werden, sollen ja gerade nicht als Fälschung oder Manipulation erkannt werden, sodass weder die Hersteller und Anbieter noch die Nutzenden der entsprechenden KI-Systemen die Inhalte freiwillig kennzeichnen würden.

In diesen Fällen entstünde mit der fehlenden Kennzeichnungspflicht für Anbieter und Hersteller schlicht eine Gesetzeslücke. Das Herstellen und Anbieten von Deepfake-Produktionssoftware, die bewusst keine Kennzeichnung beinhaltet, sodass Täuschungen Vorschub geleistet wird, wäre nicht strafbar. Unklar ist überdies, wie die zur Rechtsdurchsetzung vorgesehenen Aufsichtsbehörden mutmaßlich nicht-gekennzeichnete Deepfakes, die durch Nutzende verbreitet wurden, erkennen können sollen. Problematisch ist auch, dass die Verbreitung von KI-basierten Deepfake-Detektionstechnologien im Vorschlag nicht geregelt wird, obwohl dadurch die Verbreitung und Entwicklung kriminell motivierter Deepfake-Technologien gebremst werden könnte. Zudem fallen einige der zur Adressierung der Herausforderungen von Deepfakes diskutierten Maßnahmen gänzlich aus dem Anwendungsbereich des Verordnungsvorschlags. Zur Entwicklung von verbesserten Detektionstechnologien wären z. B. Schritte im Rahmen des EU-Forschungsrahmenprogramms notwendig.

5. Schlussfolgerungen

Der Aufsatz hat einen Überblick zum Stand der Regulierung von Deepfakes in der EU geliefert. Mittels einer einführenden konzeptionellen Einordnung wurde zunächst gezeigt, dass Deepfakes als Querschnittsphänomen mit Diskursen zu Desinformation, Fehlinformation, zu schädigenden Informationen und Hate Speech verbunden sind. Dies zeigte sich auch bei der Diskussion der mit Deepfakes assoziierten Chancen und Risiken: Einerseits stehen vor allem die von der Technologie ausgehenden Risiken im Mittelpunkt der gesellschaftspolitischen Debatte. Andererseits wird mittels einer Typisierung der Risiken vor allem jenen eine größere Bedeutung zugeschrieben, die sich auf mögliche institutionelle und gesellschaftliche Schäden beziehen. Diese Risiken stellen mögliche Entwicklungsszenarien dar, deren Schäden sich meist noch nicht entfaltet haben. Durchaus reale Auswirkungen haben Deepfakes hingegen schon heute insbesondere im individuellen Bereich. Die überwältigende Mehrheit aller Deepfake-Inhalte bezieht sich auf Deepfake-Pornographie, die zudem fast ausschließlich Frauen betrifft.

Die Diskussion zur Regulierung von Deepfakes hat gezeigt, dass Deepfakes auch in anderen Teilen der Welt in den Blick des Gesetzgebers rücken. Während die Vereinigten Staaten eine zurückhaltende Regulierungspraxis betreiben und bundesweite Regulierungen sich vor allem auf die kontinuierliche Lagebewertung und technologische Hoheitsbestrebungen fokussieren, reihen sich die Maßnahmen der Volksrepublik in die Politik der weitgehenden Überwachung aller Internetinhalte ein.

Demgegenüber bauen die EU-Maßnahmen vorwiegend auf zwei Pfeilern. Zum einen werden mittels DSA- und KI-Regulierungsvorschlag konkret auf Deepfake-Technologien bezogene Maßnahmen diskutiert, mittels derer die Zirkulation und Wahrnehmung von Deepfakes reguliert werden soll. Der KI-Regulierungsvorschlag setzt hier vor allem auf die Schaffung von Transparenz. Der DSA-Vorschlag soll schließlich EU-weit harmonisierte Regeln festlegen. Diese berühren den gesamten Zirkulationsprozess eines Deepfakes von der Meldung bis zur Entfernung von Inhalten. Mittels DSA sollen sowohl die Rechte von Personen, die einen Inhalt melden, als auch jene der von einer Entfernung ihres Inhalts Betroffenen miteinander in Einklang gebracht werden.

Beide Regulierungsvorhaben stellen zwei zentrale Grundpfeiler der EU-Digitalpolitik dar, die das Feld der Plattformregulierung und des Einsatzes Künstlicher Intelligenz auf Jahre definieren werden. Dementsprechend wird um beide Vorschläge politisch intensiv gerungen und beide Verordnungen werden, sofern der Gesetzgebungsprozess erfolgreich abgeschlossen wird, am Ende einen großen inhaltlichen Wandel durchlaufen haben. Fraglich ist dabei, inwiefern sich die Regulierungsvorschläge der Einhegung der durch Deepfakes befürchteten Gefahren annehmen werden, und noch fraglicher ist, ob die dann eventuell erlassenen Maßnahmen ein sinnvolles Werkzeug darstellen werden. Schließlich basiert ein Großteil der Forschung zu den möglichen Folgen von Deepfakes auf Annahmen. Klar ist jedenfalls, dass neben den in diesem Aufsatz erläuterten, weitere Bemühungen erforderlich sein werden, um die befürchteten Folgen von Deepfakes einzuhegen. Dazu zählen sowohl weitere Bemühungen auf EU-Ebene und insbesondere auch mitgliedstaatliche Maßnahmen.

Insofern liefert der vorliegende Beitrag mit Blick auf die Rolle der DSA- und KI-Verordnungsvorschläge bei der Regulierung von Deepfakes einen Schnappschuss. Er macht aber zugleich auch deutlich, dass die Zeiten überholt sind, in denen digitalpolitische Themen und als Gefährdung wahrgenommene technologische Entwicklungen erst mit Verzögerung in den Blick des Gesetzgebers rückten.

Karaboga, M. (2023). Die Regulierung von Deepfakes auf EU-Ebene: Überblick eines Flickenteppichs und Einordnung des Digital Services Act- und KI-Regulierungsvorschlags. In: Jaki, S., Steiger, S. (eds) Digitale Hate Speech. J.B. Metzler, Berlin, Heidelberg.

https://doi.org/10.1007/978-3-662-65964-9_10

http://creativecommons.org/licenses/by/4.0/deed.de

Zur einfacheren Lesbarkeit wurden die Quellenverweise entfernt.

Kategorie: Awareness | Datenschutz | Informationssicherheit | Integrale Sicherheit | Künstliche Intelligenz

Beitrag teilen: