07/2025
Wie realisieren sich nun systemische Risiken, und hier vor allem Desinformationen im Kontext demokratischer Prozesse, auf digitalen Diensten? Dafür wird hier zunächst dargelegt, welche Akteur:innen an der Verbreitung von Desinformationen beteiligt sind und welche Motive diese haben. Anschließend werden prominente Verbreitungsstrategien und -mechanismen skizziert, bevor auf die Rolle von Suchmaschinen und Empfehlungssystemen sowie das Gefährdungspotenzial durch KI eingegangen wird. In einer abschließenden Reflektion werden die gegenwärtig größten Bedrohungen konsolidiert.
1.1 Hauptakteur:innen bei der Verbreitung von Desinformationen und ihre Motive
Da digitale Dienste in einem vielschichtigen Netzwerk von Institutionen und Akteur:innen verortet sind, erfolgt auch die Verbreitung von Desinformationen im Kontext dieser Wechselbeziehungen zwischen Plattformen, Politik, Medienhäusern, Organisationen der Infrastruktur und weiteren Akteur:innen. So sind vor allem sehr große Online-Plattformen (VLOPs) und -Suchmaschinen (VLOSEs) in sogenannte Plattform-Ökosystemen eingebettet, in denen beispielsweise Datenbanken und weitere Ressourcen geteilt werden: „The extent to which VLOPs and VLOSEs are interconnected by reliance on the same assets and services for their governance measures and prevention of harm could be a factor in the level of systemic risk”. Dabei liegen – entsprechend der Begriffsannäherung an Desinformationen – bei der Verbreitung von Desinformationen verschiedene Motive zugrunde, die Desinformationskampagnen leiten. Diese sind vorrangig in politische (bzw. ideologische) und kommerzielle (bzw. ökonomische) Motive zu differenzieren. Dabei zu unterscheiden sind inner- und außerstaatlich ausgerichtete Motive (auch Foreign Information Manipulation and Interference, FIMI genannt).
Bei der politisch motivierten Verbreitung von Desinformationen ist das Ziel „unsere freie und demokratische Gesellschaft durch gezielte Fehlinformation zu verunsichern und zu verhindern, dass Menschen aufgeklärte Entscheidungen in ihrem politischen oder alltäglichen Handeln treffen können”. Dabei steht die Destabilisierung von Staaten oder politischen Systemen im Vordergrund, indem eigene politische Agenden legitimiert und gleichzeitig die Agenden der Gegenseite delegitimiert werden. Dahinter steht die Annahme, dass die eigene Ideologie moralisch überlegen ist, und andere, von der eigenen Ideologie abweichende Perspektiven, durch die gezielte Manipulation von Narrativen als minderwertig dargestellt werden müssen. Politisch motivierte Verbreitung von Desinformationen wird sowohl von staatlichen als auch von politischen Akteur:innen eingesetzt, wobei sich die zugrundeliegenden Motive jeweils etwas unterscheiden. Allgemein nutzen staatliche Akteur:innen Desinformationen vorrangig, um nationale Interessen – oft im Bereich der nationalen Sicherheit oder der geopolitischen Macht – zu fördern und gleichzeitig die politische Einflussnahme anderer Staaten zu schwächen. Bei außerstaatlichen Akteur:innen erfolgt dies in Form von FIMI, einer “activity [which] is manipulative in character, conducted in an intentional and coordinated manner, by state or non-state actors, including their proxies inside and outside of their own territory”. Ein prominentes Beispiel hierfür ist die sogenannte Doppelgänger-Kampagne, mit der seit 2022 aktiv pro-russische Narrative durch gefälschte Medienseiten, manipulierte Inhalte und automatisierte Accounts verbreitet werden mit dem Ziel, westliche Regierungen zu diskreditieren, zur Polarisierung der Gesellschaft beizutragen und die Unterstützung für die Ukraine zu schwächen. Politische nationale Akteur:innen wie Parteien oder Kandidat:innen hingegen nutzen Desinformationen besonders häufig im Kontext von Wahlprozessen, um diese entsprechend ihrer eigenen Agenda durch Polarisierung und Manipulation zu beeinflussen.
Die kommerziell bzw. ökonomisch motivierte Verbreitung von Desinformationen zielt auf die Profitmaximierung durch Aufmerksamkeit in der digitalen Ökonomie. Wie bereits beschrieben, hat die digitale Transformation der politischen Öffentlichkeit zu einer deutlich intensivierten Aufmerksamkeitsökonomie geführt. Die Möglichkeit, Inhalte mit digitaler Werbung zu verknüpfen und damit Geld zu generieren – abhängig vom Aufmerksamkeitsvolumen, den diese Inhalte erzeugen – ist ein wesentlicher ökonomischer Faktor im digitalen Mediensystem. Diese Mechanismen spielen auch bei der digitalen Verbreitung von Desinformationen eine wichtige Rolle: So gibt es Hinweise, dass einige Journalist:innen Fakten absichtlich falsch darstellen, um sogenannte „Infowars” zu befeuern, was wiederum auf die Aufmerksamkeitsökonomie zielt. Dabei können auch finanzielle Motive eine Rolle spielen, indem Journalist:innen Desinformationen in ihre Berichterstattung einbauen, um Clickbait zu erzeugen oder ihre Karrierechancen zu verbessern. Durch die Verbreitung von Desinformationen sollen so das Engagement mit bestimmten Inhalten und damit auch die Werbeeinnahmen erhöht werden. Als Beispiel hierfür wird in der Literatur Facebook genannt, wo Mikrotargeting und algorithmische Verstärkung die Verbreitung von Desinformationen fördern soll. Ähnliches sieht die Forschung auch auf der Plattform Telegram, wo verschiedene Akteur:innen aus dem extremistischen und/oder verschwörungsideologischen Spektrum die von ihren Inhalten generierte Aufmerksamkeit zur Monetarisierung nutzen. Hierbei werden auch die in den Vorarbeiten dargelegten kognitiven Mechanismen menschlicher Informationswahrnehmung und -verarbeitung genutzt, um mit negativ-emotionalisierten und gruppenidentitätsbasierten Inhalten Aufmerksamkeit zu generieren.
Der Blick in die Berichte zur Europawahl 2024 von Meta und TikTok zeigt, dass zwischen inländischen und ausländischen Akteur:innen unterschieden werden muss. Bei Meta zeigt sich beispielsweise Russland als staatlicher Akteur als einer der zentralen ausländischen Akteur:innen bei der Verbreitung von Desinformationen. In Bezug auf die Doppelgänger-Kampagne identifizierte Meta die Operation bereits 2022 und ordnete sie russischen Unternehmen zu, die EU-Sanktionen unterliegen. Trotz Maßnahmen ist die Operation weiterhin aktiv. Das Risiko wird von Meta als gering eingeschätzt, obwohl die Aktivitäten weitreichend und intensiv sind. Bei den inländischen Akteur:innen spielen insbesondere Politiker:innen und politische Parteien, Aktivist:innen und Protestgruppen sowie Blogger:innen und Influencer:innen eine wichtige Rolle bei der Verbreitung von Desinformationen. In den Berichten von Meta zeigte sich zudem, dass die meisten EU-bezogenen koordinierten inauthentischen Aktivitäten vor den EU-Wahlen 2024 inländischer Natur waren.
1.2 Technische Verbreitungsmöglichkeiten von Desinformationen in Online-Suchmaschinen und auf Online-Plattformen
Die genannten Hauptakteur:innen nutzen zur Verbreitung von Desinformationen auf Online- Plattformen und Online-Suchmaschinen verschiedene Verbreitungsstrategien („dissemination strategies”), die auf einer Verbindung unterschiedlicher technischer Möglichkeiten und menschlicher Verhaltensweisen basieren. Als Haupt- Verbreitungsmöglichkeit für Desinformationen ist hier vor allem strategische Manipulation, etwa durch staatliche Akteur:innen, Botnetzwerke und Troll-Subkulturen, zu nennen. Im Folgenden werden die unterschiedlichen Verbreitungsstrategien in Online-Suchmaschinen und auf Online-Plattformen nachgezeichnet.
1.2.1 Verbreitungsstrategien in Online-Suchmaschinen
Suchmaschinen werden als Quelle aktueller Nachrichten und Informationen ein insgesamt größeres Vertrauen entgegengebracht als Social-Media-Inhalten. Deshalb kommt Suchmaschinen eine besondere Rolle als Intermediär in gesellschaftlichen Debatten zu. Die Verwendung von Suchmaschinen zur Überprüfung von Nachrichten führt mitunter zu einem verstärkten Glauben an Fehlinformationen. Dies lässt sich darauf zurückführen, dass Suchergebnisse, insbesondere bei aktuellen Nachrichten, mitunter irreführende Inhalte aus Quellen geringer Qualität priorisieren, die Fehlinformationen verstärken. Dies lässt sich darauf zurückführen, dass Suchmaschinen bei solchen Suchbegriffen, zu denen keine seriösen Informationen vorliegen, mitunter darauf angewiesen sind, Informationen aus zweifelhaften Quellen anzuzeigen.
Desinformationen in Suchmaschinen sind stark sichtbar, weil die Verbreiter:innen von Desinformationen gezielt auf Techniken der Suchmaschinenoptimierung (SEO) zurückgreifen. Sie verwenden bestimmte Phrasen und Schlüsselwörter, um Suchergebnisse zu manipulieren und so Desinformation in den Suchergebnissen höher zu platzieren. Das Problem wird dadurch verstärkt, dass sich viele Nutzende, insbesondere solche mit geringerer digitaler Kompetenz, auf simple Suchbegriffe wie Überschriften oder URLs verlassen. Diese Suchanfragen liefern häufig unzuverlässige Ergebnisse, da sie Ausdrücke enthalten, die ausschließlich von Quellen geringer Qualität verwendet werden. Wird zum Beispiel über die sozialen Medien der Verschwörungsmythos verbreitet, dass die Großväter führender deutscher Politiker eine Nazivergangenheit haben, können Suchmaschinen unseriöse Webseiten aufgreifen, welche diese Behauptung enthalten und ausführen, solange keine seriösen Quellen ihr explizit widersprechen.
Eine weitere Herausforderung ist die intransparente Sortierung der Quellenrangfolge innerhalb derselben Suchmaschine. Dies kann dazu führen, dass Nutzenden unterschiedliche Informationen angezeigt werden und die Auswirkungen irreführender Quellen, die in einigen Fällen priorisiert werden könnten, weiter verstärken. Zusammenfassend kann festgehalten werden, dass Suchmaschinen zur Verbreitung von Fehlinformationen beitragen können, obwohl sie als Werkzeuge zur Informationsbeschaffung und -überprüfung dienen sollten. Dies geschieht, indem sie Nutzende zu Quellen von geringer Qualität leiten und bestehende Vorurteile verstärken.
1.2.2 Verbreitungsstrategien auf Online-Plattformen
Desinformationen stellen insbesondere dann ein systemisches Risiko dar, wenn sie viele Nutzende erreichen. Dann nämlich kann das koordinierte und häufig als inauthentisch eingestufte Verhalten von Social-Media-Accounts zur Verbreitung von desinformierenden Inhalten durch das organisierte und nahezu zeitgleiche Posten und Liken von Inhalten der Eindruck erwecken, dass diese Inhalte besonders populär sind und eine vermeintlich breite Unterstützung erhalten.
Diese sind auch in den Berichten von Meta und TikTok zur Europawahl 2024 zu finden. Bei Meta zeigte sich beispielsweise, dass die meisten der EU-bezogenen CIBs (Coordinated Inauthentic Behaviour), die im Vorfeld der EU-Wahlen 2024 unterbrochen wurden, inländischer Natur waren. Die Bedrohungen durch ausländische Akteur:innen – darunter die russische Doppelgänger-Kampagne9 – und eine Handvoll anderer Gruppen, konzentrierten sich in erster Linie darauf, die Unterstützung für die Ukraine in den EU- Mitgliedstaaten zu untergraben, und nicht direkt auf die europäischen Parlamentswahlen. Diese Gruppen setzten oft Taktiken ein, die eine nicht authentische Verstärkung von authentischen Konten oder Seiten einheimischer Politiker:innen durch Likes, Shares und Kommentare beinhalteten. So erschienen die Konten oder Seiten populärer, als sie in Wirklichkeit waren. Es lassen sich jedoch keine eindeutigen Anzeichen dafür finden, dass diese Gruppen beim authentischen Publikum überdurchschnittlich viel Anziehungskraft erlangen.
Plattformübergreifend zeigt sich in diesen Berichten, dass vor allem das Erstellen fiktiver Nachrichtenwebsites, die Nachahmung seriöser Medien („Doppelgänger“), die künstliche Verstärkung authentischer Inhalte sowie der zunehmende Einsatz von KI-generierten Inhalten häufig genutzte Taktiken zur Verbreitung von Desinformationen sind. Dabei kann koordiniertes inauthentisches Online-Verhalten auf organisierte Gruppen zurückgeführt werden, die mittels strategischer Absprachen und der Nutzung mehrerer Social-Media-Accounts pro Gruppenmitglied Inhalte massenhaft verbreiten. Bei diesen Botnetzwerken handelt es sich um Softwaresysteme, die die Online-Aktivitäten zahlreicher gefälschter Konten steuern, um einerseits irreführende Inhalte zu verbreiten und andererseits bestimmte Inhalte zu teilen und zu bewerben. Die korrekte Bestimmung solcher Botnetzwerke ist allerdings methodisch herausfordernd, da bestehende Ansätze noch nicht ausgereift sind und teilweise Social-Media-Accounts fehlerhaft einstufen. Gerade besonders fortgeschrittene technische Verfahren wie generative KI erschweren die zweifelsfreie Detektion von Bots. Entsprechend ist die korrekte Zuschreibung der Urheberschaft eines identifizierten inauthentischen koordinierten Verhaltens ebenso schwierig wie die Einschätzung, ob es sich bei diesem beobachteten Verhalten um eine authentische Graswurzelbewegung oder einen strategischen Manipulationsversuch durch organisierte politische Gruppen handelt.
Ein weiterer Verbreitungsweg von Desinformationen, der insbesondere in Online-Subkulturen Anwendung findet, ist das sogenannte Trollen: die Verbreitung provokativer oder irreführender Inhalte zur Erzeugung von Aufmerksamkeit. So entstehen Verschwörungserzählungen häufig auf Plattformen, die für ironische und oft toxische Kommunikation bekannt sind. Diese Theorien können durch einen Prozess der „Normifizierung“ auch auf Nutzende außerhalb der ursprünglichen Subkultur übergehen, die die Inhalte dann ernsthaft weiterverbreiten und sich ideologisch damit identifizieren.
1.3 Die Rolle von Empfehlungssystemen auf Online-Plattformen und in Online-Suchmaschinen bei der Verbreitung von Desinformationen
Empfehlungssysteme sind darauf ausgelegt, das Engagement der Nutzenden zu steigern. Gleichzeitig steigt dadurch – zumindest lokal – das Potenzial, geschlossene Informationsökosysteme zu schaffen. Dieser Effekt ist besonders auf Social-Media-Plattformen deutlich. Bei diesen kann es eine kontinuierliche Auswertung von Interaktionsmustern in Kombination mit dem strategischen Handeln staatlicher Akteur:innen geben. Dies kann dazu führen, dass algorithmische Empfehlungssysteme gezielte Desinformationskampagnen begünstigen. In verschiedenen Studien konnten mehrere miteinander verbundene technische Mechanismen identifiziert werden, die zur algorithmischen Verbreitung falscher Informationen über digitale Plattformen beitragen. Untersuchungen zu YouTube haben beispielsweise nachgewiesen, dass der Algorithmus der Plattform in Bezug auf verschwörungsbezogene Inhalte systematisch jenen Nutzenden Videos empfahl, die sich zuvor mit ähnlichem Material beschäftigt hatten. Dieses Muster legt nahe, dass Empfehlungssysteme – gerade, weil es ihr beabsichtigter Zweck ist, Nutzenden für sie individuell relevante Inhalte zu zeigen – auch die Verbreitung von Fehlinformationen fördern können, indem sie die Sichtbarkeit von sachlichen Informationen oder ausgleichenden Perspektiven einschränken.
Dazu ist in der öffentlichen Debatte über die Phänomene der Filterblase und Echokammern entstanden. Die Existenz und der Stellenwert dieser sogenannten Filterblasen sind in der Forschung umstritten, wie oben dargestellt. Wissenschaftliche Erkenntnisse zeigen jedoch tiefgreifende Asymmetrien bei der Interaktion und Zustimmung zu Social-Media-Inhalten, je nach sozialer Identität oder der Parteizugehörigkeit der Nutzenden. So besteht das Risiko, dass die Verwendung historischer Interaktionsdaten und Informationen zur Soziodemografie der Nutzenden, die in die algorithmische Personalisierung einfließen, homogene Informationsumgebungen schaffen. Denn Nutzende haben in der Regel nur eingeschränkte Kontrolle über ihre Informationsverfügbarkeit, da Algorithmen Inhalte automatisch auf der Grundlage abgeleiteter Präferenzen filtern und organisieren. Diese Einschränkung kann die Fähigkeit der Nutzenden beeinträchtigen, aktiv nach unterschiedlichen Perspektiven zu suchen und bestehende Überzeugungen in Frage zu stellen. Das verstärkt möglicherweise die Effekte der homogenen Informationsverfügbarkeit.
Hinzu kommt, dass das koordinierte, inauthentische und massenhafte Posten sowie Liken durch Social-Media-Accounts durch Empfehlungsalgorithmen verstärkt wird. Denn diese priorisieren vorrangig polarisierende oder virale Inhalte, unabhängig von deren Richtigkeit. Dabei sortieren die Empfehlungsalgorithmen die riesigen Mengen an Inhalten und präsentieren sie den Nutzenden der Plattformen in einer überschaubaren und ansprechenden Form. Dies erfolgt auf Basis gesammelter Daten über die Nutzenden, wie ihre Zugehörigkeit zu einer bestimmten Bevölkerungsgruppe, ihr früheres Verhalten auf der Plattform und/oder das Verhalten ihrer Familienmitglieder oder ihres Freundeskreises.
Ein weiterer wichtiger technischer Faktor sind die sogenannten „Datenlücken” (data voids). Diese bezeichnen Leerstellen im Inhaltsangebot großer Plattformen. Datenlücken treten auf, wenn maßgebliche Quellen zu bestimmten Themen noch keine substanziellen Inhalte produziert haben. Dadurch entsteht die Möglichkeit, dass diese Lücken durch Fehlinformationen vermeintlich „geschlossen” werden. Dieses Problem wird besonders akut bei neuen oder umstrittenen Themen, bei denen glaubwürdige Quellen möglicherweise keine umfassenden Analysen veröffentlichen. Nutzende, die sich auf einfache Suchbegriffe wie Überschriften oder direkte URLs verlassen, sind stärker gefährdet, auf Datenlücken zu stoßen, da diese Suchmuster häufig mit der von weniger zuverlässigen Quellen bevorzugten Terminologie übereinstimmen.
Die Intransparenz und eingeschränkte Nutzerkontrolle algorithmischer Systeme stellen zusätzliche technische Herausforderungen dar. Denn die Empfehlungsalgorithmen großer Plattformen wie Google, YouTube und Facebook sind in ihrer Funktionsweise intransparent. Das macht es schwierig, ihre Entscheidungsprozesse und potenziellen Verzerrungen zu verstehen.
Dieser Mangel an Transparenz schränkt die Fähigkeit der Nutzenden ein, die Zuverlässigkeit empfohlener Informationen zu bewerten und algorithmische Verzerrungen zu identifizieren.
1.4 Bewertung des Gefährdungspotentials durch KI und durch diese generierten Inhalte
KI-Systeme steuern die Sichtbarkeit und Verbreitung von Informationen, Fehlinformationen und Desinformation auf Plattformen. Kein VLOP/VLOSE kommt ohne KI-unterstützte Empfehlungsalgorithmen in den Content-Governance-Systemen aus. Gleichzeitig können große Sprachmodelle (generative KI) zur Produktion von Desinformation eingesetzt werden.
Generative KI bezeichnet dabei Technologien, die mit Hilfe maschinellen Lernens neue Inhalte wie Texte, Bilder, Audio oder Videos generieren, indem sie innerhalb großer Datenmengen wiederkehrende Muster identifizieren und anschließend auf deren Grundlage eigenständig Output produzieren. Zu den am weitesten verbreiteten Anwendungen gehören chat-basierte Systeme, die es Nutzenden ermöglichen, durch gezielte Eingaben („Prompts“) auf einfache Weise Informationen zu suchen, Bilder oder Memes zu erstellen oder multimediale Inhalte wie Videos zu generieren, ohne dass technische Vorkenntnisse erforderlich sind. Diese Systeme unterstützen verschiedene Sprachen und sind zunehmend in der Lage, komplexe Aufgaben – wie mehrstufige Desinformationskampagnen – auszuführen. Wenn Plattformen nicht ausreichend dafür Sorge tragen, dass künstlich generierte Inhalte als solche erkennbar sind oder die Kommunikationsmuster und -modi von KI-Akteur:innen erkannt werden können, kann generative KI deshalb negative Effekte auf die Informationsqualität haben. Gleichzeitig können KI-Anwendungen auch als Mittel im Kampf gegen Desinformationsinhalte eingesetzt werden.
Erste repräsentative Studien zur Nutzung von chat-basierten KI-Anwendungen wie ChatGPT zeigen, dass diese Tools von Bürger:innen in Deutschland mehrheitlich noch nicht als Quelle für politische Informationen genutzt werden. Wuttig und Kessler identifizieren hierbei ein klares Altersgefälle: In den Generationen Z (etwa Geburtsjahrgänge 1997-2012) und Y (etwa 1980 bis 1997) haben 36 % bzw. 28 % schon einmal chat-basierte KI-Anwendungen wie ChatGPT als Quelle für politische Informationen genutzt – in der Generation X (etwa 1965-1980) und bei den Babyboomern (etwa 1946-1964) lediglich 15 % bzw. 12 %. Dennoch zeigen sich alle Generationen skeptisch hinsichtlich deren Informationsgehalts. Sie sind sich darüber hinaus mehrheitlich der Gefahr des missbräuchlichen Gebrauchs von KI-Technologien zur Manipulation und Fälschung von Inhalten (73 %) bewusst. Auch über eine mögliche Verstärkung von Ungleichheiten und Diskriminierung durch fehlerhafte KI- Programmierung (66 %) sind sie sich im Klaren. Auch Reiss und Kolleginnen stellen fest, dass chat-basierte KI-Anwendungen als Nachrichtenquelle in Deutschland derzeit nur eine geringe Relevanz haben. Die Mehrheit der Befragten einer repräsentativen Stichprobe von Online-Nutzenden ab 16 Jahren gab an, diese Tools entweder nie oder nur sehr selten zur Information über politische Themen zu verwenden. Allerdings zeigt sich, dass insbesondere Personen in schulischer oder betrieblicher Ausbildung signifikant häufiger auf diese Anwendungen zur politischen Informationsgewinnung zurückgreifen. Zudem nutzt diese Gruppe chat-basierte KI-Plattformen generell häufiger und primär zu Weiterbildungszwecken. Obwohl die Nutzung für politische Themen in der Gesamtbevölkerung aktuell auf einem niedrigen Niveau liegt, lässt sich vermuten, dass sich das ändern wird: Vor allem Personen, die ´durch den Einsatz chat-basierter KI im Rahmen ihrer Weiterbildung bzw. beruflichen Nutzung positive Erfahrungen gemacht haben, könnten künftig ihre Nutzung auch auf weitere Anwendungsbereiche wie die politische Informationssuche ausweiten.
Daneben können Nutzende – wissentlich oder unwissentlich – auch über journalistische Medienangebote in Kontakt mit KI-generierten Inhalten kommen. Bereits jetzt setzen diverse Medienhäuser in Deutschland und Europa entsprechende Technologien ein. Der AI Act der Europäischen Union (Verordnung über künstliche Intelligenz, 2024) sieht klare Anforderungen und Verpflichtungen für Entwickler:innen und Betreiber:innen von KI-Systemen vor, der eine Kennzeichnungspflicht für den Einsatz automatisierter Systeme vorschreibt.
In der Produktion wie in der Moderation und Kontrolle potenziell desinformierender Inhalte können KI-Anwendungen eingesetzt werden. So nutzen Online-Plattformen schon jetzt KI, um Richtlinien zur Inhaltsmoderation umzusetzen. Inhaltsmoderation umfasst dabei das Erkennen und Entfernen oder Markieren unangemessener, schädlicher oder illegaler Inhalte basierend auf vordefinierten Kriterien. Das Gutachten der Goldmedia GmbH im Auftrag der Bundesnetzagentur analysiert den aktuellen Stand der Inhaltsmoderation bei Hostingdiensten im Kontext der EU-Verordnung zur Bekämpfung terroristischer Online-Inhalte (TCO-VO). In dem Gutachten wird betont, dass automatisierte Moderationsverfahren, wie Wortfilter, Hash-Vergleiche für Bild- und Toninhalte sowie KI-basierte Sentimentanalysen, für Textinhalte vorrangig zur Unterstützung und Vorbereitung von Löschentscheidungen genutzt werden. Die teilweise manuelle Moderation bleibt unerlässlich, insbesondere um den kulturellen Kontext von Äußerungen zu verstehen. Die Studie hebt auch hervor, dass automatisierte Lösungen insbesondere bei der Textanalyse überzeugend arbeiten, während ihre Anwendung bei Video- oder Audioinhalten sowie bei Live-Streams noch begrenzt ist. In personalisierten Informationsumgebungen wie Suchmaschinen und sozialen Medien nutzen Plattformen KI-basierte Systeme, um Inhalte zu kuratieren, zu selektieren und zu organisieren. Diese Systeme sorgen dafür, dass nur Inhalte verbreitet werden, die zuvor eine Moderationsprüfung durchlaufen haben. Dabei bestimmen sie, welche Inhalte welchen Nutzenden angezeigt werden, indem sie personalisierte Empfehlungen auf Basis individueller Präferenzen generieren. Diese Präferenzen werden aus dem bisherigen Verhalten der Nutzenden abgeleitet.
Die potenziellen Auswirkungen generativer KI auf Desinformationen lassen sich in vier Kategorien einteilen: höhere Quantität, bessere Qualität, verstärkte Personalisierung und „Halluzination”, also die Generierung plausibler, aber falscher Informationen. Die Messung des Umfangs von KI-generierter und -verbreiteter Fehlinformation sowie der Auswirkungen von Desinformationskampagnen gestaltet sich jedoch schwierig. Aufgrund des fehlenden Datenzugangs ist schwierig, Daten zu identifizieren, zu sammeln und zu analysieren, die die alltäglichen Online-Erfahrungen der Menschen in personalisierten Informationsumgebungen vollständig widerspiegeln. Die vorhandenen Befunde deuten jedoch darauf hin, dass der Umfang von KI-generierter und -verbreiteter Fehlinformation in den fünf Jahren bis 2023 erheblich zugenommen hat, auch wenn unklar ist, welchen Einfluss KI-generiere Desinformation konkret auf Meinungsbildungsprozesse hat.
Deepfakes stellen einen Sonderfall der KI-generierten Desinformation dar. Dabei handelt es sich um realistisch wirkende audiovisuelle Inhalte, die mit Hilfe von KI erzeugt werden. Birrer und Just zeigen in ihrer Metaanalyse, dass etwa 40 % der Teilnehmenden in empirischen Studien Deepfakes nicht als manipuliertes Material identifizieren konnten und ihre Fähigkeiten zur korrekten Identifikation überschätzen. Eine jüngst von Bitton und Kolleg:innen in Deutschland durchgeführte Studie kam zu dem Ergebnis, dass jüngere Altersgruppen, höher gebildete und männliche Personen sowie Menschen mit digitaler Kompetenz, die häufig soziale Medien nutzen, über umfangreicheres Wissen zur Deepfake-Technologie verfügen. Alters- und geschlechtsspezifische Unterschiede hinsichtlich der Fähigkeit, Deepfakes zu erkennen, werden dabei auf einen häufigeren Kontakt mit Deepfakes und einen insgesamt erfahreneren Umgang mit digitalen Medien zurückgeführt und diskutiert.
Die insgesamt geringe Erkennungsrate von Deepfakes lässt sich durch das grundsätzliche Vertrauen der Menschen in audiovisuelle Inhalte erklären. Dieses Vertrauen lässt zunächst nicht vermuten, dass die Inhalte überzeugend manipuliert oder vollständig künstlich generiert sein könnten. Die fortschreitende Verbesserung der Deepfake- Qualität stellt in diesem Zusammenhang ein erhebliches Problem dar: Artefakte wie inauthentische Mimik, unnatürliche Sprachrhythmen oder eine geringe Bildqualität, die Deepfakes bisher (leichter) erkennbar machten, werden durch den technischen Fortschritt zunehmend beseitigt.
Insbesondere im Kontext demokratischer Prozesse wird die Wirkung politischer Deepfakes, wie beispielsweise manipulierte Reden von Politiker:innen, zunehmend als Bedrohung für die Demokratie diskutiert. Denn politische Deepfakes können genutzt werden, um Desinformation zu verbreiten und das Vertrauen in öffentliche Institutionen zu untergraben oder Wahlen zu manipulieren. Neben der audiovisuellen Qualität erhöht auch die inhaltliche Plausibilität die Glaubwürdigkeit von Deepfakes: Eine Studie zeigte, dass hyperrealistische Deepfakes mit glaubwürdigen Inhalten überzeugender wirken als inhaltlich unrealistische Manipulationen. Daneben scheint auch die Resonanz in Online-Kontexten, die Followeranzahl der Quelle, die Popularität eines Deepfakes sowie eine hohe Bildqualität die Glaubwürdigkeit und Überzeugungskraft von Deepfakes positiv zu beeinflussen. Ob Deepfakes insgesamt überzeugender sind als textliche Desinformation ist jedoch umstritten: Einzelne Studien deuten darauf hin, dass Deepfakes zu einer Diskreditierung der dargestellten Politiker:innen führen können oder im Vergleich mit anderen als lebendiger und glaubwürdiger wahrgenommen werden. Andere Untersuchungen kommen dagegen zu dem Ergebnis, dass Deepfakes keine größere Wirkung entfalten.
Obwohl die Befürchtung einer massenhaften Manipulation der Bevölkerung durch Deepfakes aktuell nicht empirisch bestätigt werden kann, bleibt abzuwarten, wie sich die Weiterentwicklung von immer realistischeren Deepfakes auf deren Überzeugungskraft auswirkt und ob die Fähigkeit der Menschen, diese zu identifizieren, in gleichem Maße zunimmt.
Neben der umstrittenen direkten Wirkung von Deepfakes auf (politische) Meinungen und Einstellungen werden sie als potenzielle Gefahr für das gesellschaftliche Klima und das allgemeine Vertrauen in Medien gesehen. Der bewusste Kontakt mit Deepfakes, etwa durch Labels zur Kennzeichnung von Desinformation, kann die Unsicherheit der Rezipierenden gegenüber Medieninformationen verstärken und das allgemeine Medienvertrauen mindern.
Hameleers und Marquart haben gezeigt, dass inkorrekte Kennzeichnungen authentischer Inhalte als Desinformation das Vertrauen in den Nutzen einer Kennzeichnung nachhaltig untergraben. Sie warnen, dass böswillige Akteur:innen unter dem Vorwand der Faktenprüfung wahre Inhalte gezielt delegitimieren könnten.
Zur leichteren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Ann-Kathrin Watolla, Patrick Zerrer, Jan Rau, Lisa Merten, Matthias C. Kettemann, Cornelius Puschmann in: Gesellschaftliche Auswirkungen systemischer Risiken – Demokratische Prozesse im Kontext von Desinformationen
https://creativecommons.org/licenses/by-nd/4.0/deed.de
Bundesnetzagentur, Bonn, 2025