06/2023

Die neuen virtuellen Kommunikationsräume sind die bislang immersivste Form der digitalen Welt. In dieser Umgebung findet eine noch stärkere Vermischung von Unterhaltung und Information statt. Daher können Desinformation sowie Manipulation realer und intensiver aufgenommen werden.

• Zudem können neue technologische Entwicklungen (zum Beispiel Deepfake-Technologien oder virtuelle Influencer) die Wirkung von Desinformation verstärken.

• Zwar haben die einzelnen Anbieter und Betreiber der virtuellen Räume die Autorität und Kontrollbefugnis, doch werden diese nur unzureichend ausgeübt. Um der Dezentralität gerecht zu werden, braucht es zusätzliche internationale Standards und Regeln, die von unabhängigen Stellen überwacht und durchgesetzt werden.

• Medien, Journalistinnen und Journalisten, Behörden und Anbieter seriöser Informationen sind bislang noch nicht oder nur unzureichend in den virtuellen Kommunikationsräumen präsent. Sie sollten die Kommunikationsräume proaktiv besetzen („Prebunking“ und strategische Kommunikation) und Informationsangebote schaffen.

Statt „flacher“, zweidimensionaler Oberflächen haben einige Anbieter, wie Meta, Rockstar Games oder Decentraland Foundation, virtuelle Kommunikationsräume geschaffen, die bis auf den Geschmacks- und Geruchssinn alle Sinne ansprechen und den Nutzerinnen und Nutzern realitätsnahe, dreidimensionale Erfahrungen bieten. Die Räume werden als „Metaversum“ bezeichnet. Partizipation, Interaktion, an die Realität angenäherte Erfahrbarkeit und Sozialität sind grundlegende Eigenschaften dieser technologischen Entwicklung. Sehr stark zielen diese Räume auf Emotionen und Wahrnehmungen ab. So ermöglichen sie unter anderem eine stärkere Vermischung von Inhalten und Unterhaltung (Gamefication und Infotainment).
Doch bergen diese immersiven Räume Herausforderungen und Risiken für die Gesellschaft: Manipulierte oder falsche Informationen und Inhalte lassen sich nicht nur schnell und nahezu unkontrolliert verbreiten, sondern wirken viel realistischer auf konsumierende Personen als im zweidimensionalen Raum. Ein frühzeitiges Gegensteuern ist besonders wichtig, um Fehler, wie sie beim Umgang mit den Sozialen Medien gemacht wurden, zu vermeiden.

1. Zu wenig regulierte Kommunikationsräume

Für ein besseres Verständnis dieser Technologie gilt es grundsätzlich zu verstehen, dass es nicht das eine Metaverse gibt. Stattdessen gibt es unzählige immersive Räume und Nutzungsmöglichkeiten. „Altspace VR“, eine von Microsoft betriebene Plattform virtueller Räume, ist ein Beispiel: In einem Raum findet ein Livekonzert statt, in einem anderen gibt es Weiterbildungsangebote und in einem dritten werden Bibelkreise angeboten. Jede Nutzerin und jeder Nutzer kann – vergleichbar mit Facebook-Gruppen, Whatsapp-Gruppen oder Chat-Räumen – eine eigene „Welt“ kreieren oder eine bestehende kopieren. Diese sind zunächst nur für die Person selbst sichtbar und werden erst durch Einladung für andere zugänglich. So besteht die Möglichkeit, versteckte beziehungsweise geheime virtuelle Räume zu schaffen, die für private, kommerzielle, kriminelle oder politische Zwecke gebraucht beziehungsweise missbraucht werden können. Bis auf vereinzelte Community-Standards üben die Anbieter ihre Autorität und Kontrollbefugnis bisher nur unzureichend aus. Meta oder Microsoft lehnen beispielsweise die alleinige Verantwortung für Sicherheitsfragen rund um die immersiven Kommunikationsräume ab und verweisen bei der Regulierung auf ihre Standards und die einschlägige Gesetzgebung der Europäischen Union (Digital Services Act und den Strengthened Code of Practice on Disinformation von 2022). Der Digital Services Act trat erst am 16. November 2022 in Kraft und wird derzeit in Kommunikationsräumen noch nicht umgesetzt. Zudem erfasst der örtliche Anwendungsbereich der Verordnung lediglich das EU-Hoheitsgebiet. Bisher gibt es weder auf EU-Ebene noch auf Ebene der Nationalstaaten spezifische Regeln und Richtlinien, die auf die Besonderheiten der dreidimensionalen virtuellen Kommunikationsräume eingehen.
Nick Clegg, Leiter der Unternehmenskommunikation von Meta, verglich solche privat erstellten, nur auf persönliche Einladung betretbaren Räume mit privaten Abendessen in der physischen Realität. Dabei gehe es, so Clegg, hauptsächlich darum, Privatsphäre und Datenschutz zu garantieren; ein Selbstversuch von Buzzfeed-Journalistinnen und -Journalisten in den USA zeigte jedoch, dass diese Räume ohne jegliche Intervention von Meta für die Verbreitung von Desinformation und Verschwörungstheorien genutzt werden können. Buzzfeed erstellte einen privaten Raum und postete in diesem strafrechtlich relevante Inhalte. Selbst nachdem sie diese bei Meta meldeten, wurden die Inhalte als unbedenklich eingestuft.
Um den Herausforderungen in den immersiven Kommunikationsräumen begegnen zu können, muss die Frage, wer die Autorität und Kontrolle ausübt beziehungsweise durchführt („Governance-Frage“), geklärt werden. Wie bei den Plattformen sozialer Medien erfordert vor allem die Dezentralität der immersiven Kommunikationsräume neben einheitlicher internationaler Standards und Regulierung auch international abgestimmte und organisierte Kontrollen, Rechtsfolgenregelungen und zugleich deren Durchsetzung.
Interpol und Europol haben die Risiken der immersiven Räume auf die Gesellschaft erfasst und eine Aufklärungskampagne initiiert. Interpol richtete eine Repräsentanz in einem Metaversum ein, in dem Trainings, Weiterbildungen und ein gezielter Austausch zwischen Strafverfolgungsbehörden weltweit stattfinden soll. Noch einen Schritt weiter ging Europol und veröffentlichte im Oktober 2022 den Bericht Policing in the metaverse: what law enforcement needs to know, der nicht nur eine Gefahrenanalyse des Metaverse, sondern unter anderem einen expliziten Aufruf zur Einrichtung von Präsenzen europäischer Polizeibehörden enthält. Es sind demnach klare Regeln und von den Herstellern unabhängige Kontrollen erforderlich. So könnte für die Überwachung, Regulierung und Gestaltung globaler digitaler Informationsräume wie dem Metaverse eine internationale Organisation eingerichtet oder auf eine bestehende Organisation wie die Internationale Fernmeldeunion derartige Kompetenzen übertragen werden.

2. Desinformation in neuen virtuellen Kommunikationsräumen wirkt realistischer und intensiver

Informationen und Erfahrungen, die Nutzerinnen und Nutzer in den virtuellen Kommunikationsräumen aufnehmen beziehungsweise machen, werden nicht nur als realistisch, sondern als besonders intensiv wahrgenommen. Seit über 20 Jahren forschen Expertinnen und Experten im Bereich der kognitiven Psychologie an und mit virtuellen Realitäten (VR). Studien zeigen, dass VR im menschlichen Gehirn Emotionen und Eindrücke auslösen kann, die sich nicht von jenen der physischen Realität unterscheiden. So können zum Beispiel im Extremfall Traumata oder Angstzustände durch VR-Erlebnisse hervorgerufen werden. Versuche mit exzessiver VR-Nutzung zeigten außerdem, dass die Konsumentinnen und Konsumenten nach stundenlangem Aufenthalt in einer virtuellen Realität Probleme hatten, zwischen Erlebnissen, Erinnerungen und Wahrnehmung in virtuellen und physischen Realitäten zu unterscheiden. In einem Experiment an der Universität Stanford konnten Kleinkindern mithilfe von VR erfolgreich falsche Erinnerungen suggeriert werden. Im Vergleich zu heutiger digitaler Desinformation in sozialen Medien wirkt Desinformation in den neuen immersiven Kommunikationsräumen intensiver und kann somit gefährlicher werden.
Um das Gefahrenpotenzial zu minimieren, sollten Nutzerinnen und Nutzer über die technologischen Aspekte und die Wirkungen beziehungsweise die Wirkmöglichkeiten immersiver Kommunikationsräume sowie deren Risikoeffekte aufgeklärt und geschult werden. Frühzeitige Medienbildung ist besonders wichtig. Es empfiehlt sich, die Medienbildung über diese Kommunikationsräume auch in diesen Räumen stattfinden zu lassen, um die speziellen technischen Eigenschaften und Wirkungen aktiv erfahrbar zu machen. Erste Schritte in diese Richtung geht derzeit die XR Foundation, die unter anderem Kurse zu Medienbildung über das Metaversum unterstützt. Diese Initiativen sollten von unabhängigen Stellen, zum Beispiel zivilgesellschaftlichen Akteuren, Medienanstalten und wissenschaftlichen Institutionen, aufgegriffen und weiterentwickelt werden. Die proaktive Besetzung der Kommunikationsräume (strategische Kommunikation) ist ein geeignetes Instrument, um gegen die Verbreitung von Desinformation vorzugehen.

3. Neue technologische Entwicklungen wirken effektsteigernd

A) Deepfakes

Kommt Deepfake-Technologie18 in immersiven Kommunikationsräumen zum Einsatz, können sich negative Effekte und Wirkungen der Technologie verstärken. Ein ohnehin schwer als solches zu erkennendes Deepfake-Video wirkt in einer immersiven Umgebung noch realistischer und intensiver als in zweidimensionalen digitalen Räumen. Darüber hinaus gibt es in der virtuellen Realität bislang keine unabhängigen Überprüfungen und Kontrollen von Authentizität und Identität. Falsche Identitäten sowie Aussagen können uneingeschränkt wirken. Besonders groß ist das schädliche Potenzial der Deepfake-Technologie bei Informationsmanipulation und sogenanntem Mikrotargeting. Politikerinnen und Politiker, Aktivistinnen und Aktivisten, aber auch Werbefiguren können in ihrer Optik, Mimik, Gestik, in ihrem Auftreten und ihren Botschaften an das Verhalten der Zielgruppe angepasst werden, um Sympathien zu erzeugen und deren Wahlverhalten beeinflussen. Die verwendete Software und Hardware für die Nutzung der immersiven Kommunikationsräume setzen auf eine noch extensivere Sammlung von persönlichen Daten (zum Beispiel Augen-, Ohren- oder Fingerscans). Hierdurch stehen mehr Daten und Informationen über die Nutzerinnen und Nutzer zur Verfügung, die das Mikrotargeting verbessern und eine noch größere Individualisierung ermöglichen. Deepfake-Technologie ist für Mimikry-Strategien das wirksamste Instrument. Bereits Anfang der 2000er-Jahre zeigten Studien, dass sich Gesichter von Politikerinnen und Politikern mithilfe von Software bis zu 40 Prozent an die ihrer Betrachterinnen und Betrachter anpassen lassen, ohne dass es diesen auffällt. Die unbewusste Anpassung (Mimikry) verleitete dazu, den Politikerinnen und Politikern aufgrund der Ähnlichkeit zu den Betrachtenden mehr Sympathie entgegenzubringen. Andere Studien mit KI-basierter VR zeigen, dass Studierende einem Professoren-Avatar, der den Nutzenden visuell angepasst war und Augenkontakt hielt, größere Aufmerksamkeit schenkten und mehr Sympathie entgegenbrachten. So ermöglicht der technologische Einsatz den jeweiligen Akteurinnen und Akteuren, sich zeitgleich und zudem individuell an jedes einzelne Mitglied der Veranstaltung anzupassen, während sie sich an ein unbegrenzt großes Publikum richten können, ohne dass das Publikum dies wahrnimmt.

B) KI-Influencer

Menschen („Trolle“) oder Computerprogramme („Bots“) sind ein effektives Mittel zur Verbreitung von Desinformation in digitalen Räumen. Die nächste Entwicklungsstufe sind in diesem Kontext sogenannte „virtuelle Influencer“ oder „virtuelle Meinungsmacher“ (virtual key opinion leaders, V-KOLs). Dabei handelt es sich um fiktive virtuelle Wesen, die mithilfe von künstlicher Intelligenz geschaffen werden und ein realistisch anmutendes, menschliches Äußeres samt dazugehöriger Lebensgeschichte haben. In vielen Ländern, wie China, den USA, Indien, Japan, Südkorea oder Brasilien, sind virtuelle Influencerinnen und Influencer in den vergangenen Jahren überaus erfolgreich und ziehen Millionen Follower an. Auch Meta hat ihnen bereits den Zugang zu und dadurch den Auftritt auf Instagram ermöglicht, was sie für Werbekunden attraktiv macht. In China gab die virtuelle Influencerin „Luo Tianyi“ als Hologramm ein Livekonzert mit dem weltbekannten Pianisten Lang Lang und in Japan bewarb „Imma“ die Eröffnung einer Ikea-Filiale. Diese Persönlichkeiten lassen sich ebenso für politische Kampagnen und die Verbreitung von manipulierten Informationen einsetzen. Sie können jedwede Botschaft verbreiten, haben keine eigene Moral, Meinung, Haltung oder Gefühle und können an jedem Tag 24 Stunden lang tätig sein. Wie Expertinnen und Experten bestätigen, interessieren sich Regierungen und Staaten für den politischen Einsatz KI-basierter, virtueller Wesen. Welche Botschaften sie verbreiten, hängt allein von den Programmiererinnen und Programmierern sowie der Lernumgebung der KI ab. 2021 kam es während einer Messe in Barcelona zu einem Eklat, als der für immersive Welten konzipierte Bot „David“ der Firma Sensorium bei einer Demonstration Corona-Verschwörungstheorien verbreitete, die die KI offensichtlich beim automatisierten Lernen im Internet aufgenommen hatte.

Effektive Maßnahmen gegen die negativen Folgen im Zusammenhang mit dieser neuen Technologie und der gezielten Verbreitung von Desinformation in immersiven Kommunikationsräumen beruhen wiederum auf technologischen Lösungsansätzen und gleichen den Maßnahmen, die im zweidimensionalen Raum gefordert werden. Einerseits kann der Einsatz bestimmter Technologien, zum Beispiel Deepfakes, verboten und unter Strafe gestellt werden. Alternativ bedarf es einer Kennzeichnungspflicht (beispielsweise digitale Wasserzeichen oder Signaturen) und klaren Regeln für den Einsatz solcher Technologien, ganz gleich ob für politische oder für kommerzielle Zwecke. Zudem braucht es Software-Lösungen zur (automatisierten) Erkennung der eingesetzten Deepfake-Technologie.

4. Fazit

Die neuen virtuellen und immersiven Kommunikationsräume stecken hinsichtlich ihrer Entwicklung noch am Anfang und bergen ein großes Potenzial an Chancen und Risiken. Unzureichende Regulierung und Aufsicht aber auch technologische Entwicklungen wie Deepfakes oder KI-Bots machen diese Räume anfällig für eine noch tiefgreifendere Informationsmanipulation und deren Wirken auf das Individuum als es bisher ohnehin schon der Fall ist. Um dieser Gefahr zu begegnen, müssen allen Schwachstellen frühzeitig Lösungsansätze gegenübergestellt werden.

Christopher Nehring; Konrad Adenauer-Stiftung, Berlin; März 2023
Analysen und Argumente, Nr. 499

https://creativecommons.org/licenses/by-sa/4.0/legalcode.de

Zur einfacheren Lesbarkeit wurden die Quellenverweise entfernt.