Wie Erklärungen aus rechtswissenschaftlicher und ethischer Sicht gestaltet sein sollten und was Psychologie und Informatik dazu beitragen können
Nutzer*innen technischer Geräte sehen sich mehr und mehr mit Systemen konfrontiert, die Ihnen auf Basis von künstlicher Intelligenz (KI) Auskünfte geben, mit ihnen Konversationen führen und – je nach Anwendung – auch Verhalten oder Entscheidungen vorschlagen. Etwa das von OpenAI zeigt hierbei erstaunliche Funktionalitäten mit einem potentiell sehr breiten Anwendungsspektrum: Es erlaubt Unterhaltungen zu Kochrezepten für spezifische Diäten, die Zusammenfassung von wichtigen in Fachartikeln enthaltenen Informationen, oder auch Verhaltensempfehlungen im Fall von beobachteten Krankheitssymptomen. Auch in Form von Sprachassistenten oder Chatbots bieten ähnliche Systeme Dienste an, die auf die spezifischen Bedürfnisse einer Person abgestimmt werden, indem Daten dieser Person erfasst, gespeichert und weiterverarbeitet werden.
Die Konversation im Sinne eines menschenähnlichen Dialogs wird hierbei als Königsweg der Interaktion auch mit technologischen Systemen gesehen. Dies führt zu spezifischen Erwartungen seitens der Nutzer*innen, birgt aber auch Gefahren in Bezug auf die Konsequenzen unüberlegter oder uninformierter Nutzung. Auch wenn die sprachliche Gewandtheit der mithilfe großer Datenmengen erstellten, konversationalen KI-Systeme auf einem menschenähnlichen Niveau liegen kann, können diese Systeme trotzdem unvollständige oder falsche Informationen liefern. Dabei ist zu beachten, dass dies auch ohne Absicht geschehen kann, bedingt durch die verwendeten Lernmethoden und -architekturen, die man als intransparente „Black Boxes” bezeichnen kann.
Etwa das ChatGPT-System basiert auf Sprachmodellen, welche öffentlich zugänglichen Texte wie Wikipedia-Artikel, Gesetzestexte, oder wissenschaftliche Artikel nutzen, um eine kompakte Repräsentation von Text zu generieren, die implizit typische Strukturen in Dokumenten abbildet. Um daraus sinnvolle Dialoge zu generieren, wurde zudem ein Training auf Basis von durch Menschen gezielt generierten Beispielen für gute Dialoge eingesetzt. An keiner Stelle im Prozess ist dabei das „Wissen”, das im resultierenden KI-Modell implizit vorhanden ist, expliziert. Die Schritte und Inferenzen basieren auf aus den Trainingsbeispielen gelernten statistischen Zusammenhängen statt expliziten logischen Regeln oder dem Bewusstsein von Fakten. So werden zum Beispiel wissenschaftliche Quellen „erfunden“, indem Autor*innennamen und Titel plausibel zusammengesetzt werden, aber nicht real existieren.
Wie lässt sich nun verhindern, dass Nutzer*innen aufgrund von falschen Annahmen oder fehlendem Wissen auf die natürlichsprachige Konversationsfähigkeit solcher Systeme mit unangemessen viel Vertrauen reagieren? Aus rechtswissenschaftlicher Sicht wurden zwar erste Regelungen formuliert, die Pflichten zur Aufklärung von Nutzer*innen beinhalten, aber im Folgenden soll unter anderem diskutiert werden, inwieweit diese als noch unvollständig bewertet werden müssen. Rechtswissenschaftliche Überlegungen zum Schutz der Nutzer*innen stellen daher sowohl den Ausgangspunkt als auch den Endpunkt der Betrachtungen in diesem Policy Paper dar. Eine besondere Rolle spielt dabei der Begriff der informationellen Selbstbestimmung und die Frage, inwiefern und wodurch sichergestellt werden sollte, dass eine Einwilligung zur Nutzung der Technologie tatsächlich informiert erfolgt. Dabei soll es an dieser Stelle nicht vertieft um die Notwendigkeit gehen, dass über die Erhebung und Speicherung von Daten informiert wird (d.h. Transparenz im datenschutzrechtlichen Sinne, damit die betroffene Person nachvollziehen kann, ob die sie betreffende Datenverarbeitung rechtmäßig ist), sondern vorrangig darum, dass den Nutzer*innen beispielsweise erklärt wird, was mit Hilfe der Daten inferiert werden kann und wie beziehungsweise wodurch das System funktioniert.
Um den Anforderungen der Informiertheit aus rechtlicher Sicht Genüge zu tun, greifen Anbieter*innen mitunter auf Formulierungen wie „Ihre Daten werden zur Verbesserung des Systems/der Dienste verwendet“. Dies ist aber aus psychologischer Sicht nicht als Erklärung zu bezeichnen, durch die die Nutzer*innen wirklich etwas über das System lernen können. So können Nutzer*innen weder Ziel und Zweck der erhobenen Daten ermessen noch etwas darüber erfahren, wie das System funktioniert. Aus Sicht der modernen interdisziplinären Forschung kann man Erklärungen als soziale Prozesse bezeichnen, an deren Gestaltung die teilnehmenden sozialen Agenten aktiv mitwirken. In einem solchen Prozess können Interaktionsmechanismen realisiert werden, die zur Erfüllung der (nicht nur informationellen) Selbstbestimmung der Nutzer*innen beitragen. Zum Beispiel können in einer Interaktion durch Austausch und Feedback die individuellen Informations- und Erklärbedarfe der Nutzer*innen ermittelt, ihr Verständnis überprüft und Erklärstrategien angepasst werden. Hierbei bieten Systeme wie Sprachassistenten oder Chatbots ein geeignetes Medium für die Realisierung solcher sozialen Erklärprozesse und stehen somit im Fokus dieses Policy Papers.
Erklärungsbedarf – Was sollten Nutzer*innen konversationaler KI-Systeme verstehen können?
Bevor die Erfordernisse sowie mögliche Lösungen aus der Sicht relevanter Disziplinen wie Rechtswissenschaft, Ethik, Psychologie und Informatik erläutert werden, wird zusammengefasst, worin der Erklärungsbedarf besteht. Im Bereich der KI beziehen sich aktuelle Verfahren der Erklärung oft auf durch Bilder oder Tabellen beschriebene Daten, und es wird eine spezifische Funktionalität, meistens eine Klassifikation, erklärt. Allerdings sind die Funktionalitäten, die ein Sprachassistenzsystem erfüllen kann, enorm vielfältig, so dass Erklärungen sich auf unterschiedlichste Facetten beziehen können: Warum bezeichnet eine konversationale KI gewisse Sachverhalte als wahr? Warum präsentiert die konversationale KI einem spezifischen Menschen gewisse Sachverhalte, aber nicht einem anderen? Welche vom Menschen geäußerten privaten Informationen speichert die KI und wozu können diese in Folge potenziell benutzt werden?
Dabei unterscheidet sich der Erklärungsbedarf bei konversationalen KI-Systemen durchaus dahingehend, zu welchem Zweck es hauptsächlich genutzt wird. Bei reinen Informationsanfragen (“Wie wird das Wetter morgen?”) werden weniger Daten der Nutzer*innen erfasst und verarbeitet als bei Empfehlungen oder Entscheidungsvorschlägen im Rahmen sogenannter Decision Support Systems. Bei letzterem ist ein wichtiger Teil der rechtlich geforderten informationellen Selbstbestimmtheit betroffen: Zu verstehen, wie und auf Basis welcher Daten die konversationale KI Entscheidungen fällt beziehungsweise vorschlägt. An dieser Stelle müssen sowohl Rahmenbedingungen als auch Zusammenhänge im weiteren Kontext erläutert werden. Hier spielt auch eine Rolle, was KI-Verfahren aus scheinbar unverfänglichen Daten machen können, etwa indem sie zusätzliche Quellen (z.B. Social Media Accounts) und darin enthaltene Informationen nutzen.
Von KI-Systemen getroffene Entscheidungen können außerdem einen größeren Kreis an Personen jenseits der unmittelbaren Nutzer*innen betreffen, dessen Erklärungsbedarf sich unter Umständen in Bezug auf das gleiche KI-System unterscheidet. Zum Beispiel kann sich der Erklärungsbedarf von Ärzt*innen bei der Nutzung eines medizinischen Decision Support Systems wesentlich unterscheiden vom Erklärungsbedarf der Patient*innen, die mithilfe dieses Systems diagnostiziert werden. Der direkte und erweiterte soziale Kontext sollte demnach bei der Auswahl und Präsentation von Erklärungen immer mitberücksichtigt werden, zum Beispiel indem man die folgenden Fragen stellt: (1) Warum soll das System erklärbar sein? (2) Für wen soll das System erklärbar sein? (3) Auf welcher Art der Interpretation soll die Erklärung basieren? (4) Wann soll die Erklärung präsentiert werden? und (5) Auf welche Art und Weise soll die Erklärung präsentiert werden? Eine Erklärung sollte somit als soziales Aushandlungsgeschehen betrachtet werden, bei dem die Empfänger*innen immer mitbestimmen, ob die gegebene Erklärung zureichend ist. Jede Erklärung bewegt sich daher in folgendem Spannungsfeld: Welche Art von Erklärung wird gegeben, welche Art von Erklärung wiederum benötigt?
Was bedeutet informationelle Selbstbestimmung im Umgang mit konversationaler künstlicher Intelligenz?
Rechtliche und ethische Erfordernisse Ziel von Erklärungen aus verfassungsrechtlicher Sicht ist es zunächst bezogen auf die Verarbeitung personenbezogener Daten aufgeklärte Entscheidungen der betroffenen Personen zu ermöglichen, einen Missbrauch durch die und Übervorteilung der datenverarbeitenden Stellen zu verhindern und damit letztlich das Grundrecht auf informationelle Selbstbestimmung zu sichern. Das Bundesverfassungsgericht erkannte schon früh die fundamentale Bedeutung von Erklärungen für den grundrechtlichen Datenschutz. Im Volkszählungsurteil von 1983 erklärte es eine Ordnung mit dem Recht auf informationelle Selbstbestimmung für unvereinbar, „in der Bürger nicht mehr wissen können, wer was wann und bei welcher Gelegenheit über sie weiß“. In einer jüngeren Entscheidung sprach das Bundesverfassungsgericht Erklärungen auch explizit den Zweck zu, bloße Gefährdungen der Persönlichkeit zu vermeiden, die entstehen, „wenn personenbezogene Informationen in einer Art und Weise genutzt und verknüpft werden, die der Betroffene weder überschauen noch beherrschen kann“. Im Urteil zum „Großen Lauschangriff“ des Bundesverfassungsgerichts wurde die Notwendigkeit von Rückzugsräumen für den Persönlichkeitsschutz gerade „in einer Welt, in der es technisch möglich geworden ist, so gut wie jede Bewegung und Kommunikation einer Person zu verfolgen und aufzuzeichnen“ betont. Hieraus lässt sich ableiten, dass betroffene Personen wissen müssen, ob sie in ihren Rückzugsräumen auch dann „sicher“ sind, wenn sich dort digitale Technik befindet. Der Europäische Gerichtshof hat im Urteil zu Cookie-Bannern im Internet in Bezug auf Erklärungen konstatiert, dass betroffene Personen durch klare und umfassende Informationen dazu befähigt werden müssen, die Konsequenzen ihrer Einwilligung abschätzen und die Funktionsweise technischer Hilfsmittel verstehen zu können.
Fügt man diese Elemente zu einer Synthese zusammen, so liegt die verfassungsrechtlich geforderte Leistung von Erklärungen darin, dass sie ein selbstbestimmtes Handeln ermöglichen sollen – auch jenseits von Fragen der Verarbeitung personenbezogener Daten. Selbstbestimmung setzt dabei stets die Möglichkeit voraus, Informationen über die Umwelt oder die Parameter einer Interaktion zu erhalten. Dies muss insbesondere für Interaktionen mit KI-Systemen gelten. Beeinträchtigungen der Persönlichkeitsentwicklung müssen soweit möglich verhindert werden.
Mit dem Ziel eine informierte Entscheidung der betroffenen Personen zu fördern, setzt der in Art. 5 Abs. 1 lit. a Alt. 3 DSGVO normierte Transparenzgrundsatz zudem voraus, dass personenbezogene Daten „in einer für die betroffene Person nachvollziehbaren Weise“ verarbeitet werden. Dies beschränkt sich nicht auf ein Auskunftsrecht der betroffenen Personen, sondern erstreckt sich auf alle Informationen und Informationsmaßnahmen, die erforderlich sind, damit die betroffene Person überprüfen kann, ob die sie betreffende Datenverarbeitung rechtmäßig ist und sie ihre Rechte wahrnehmen kann.
Informationen/Erklärungen sind gem. Art. 12 Abs. 1 DSGVO „in präziser, transparenter, verständlicher und leicht zugänglicher Form in einer klaren und einfachen Sprache zu übermitteln”. Dieser Grundsatz betrifft insbesondere die Informationen über die Identität des Verantwortlichen und die Zwecke der Verarbeitung sowie sonstige Informationen, die eine faire und transparente Verarbeitung im Hinblick auf die betroffenen Personen gewährleisten, sowie deren Recht, eine Bestätigung und Auskunft darüber zu erhalten, welche sie betreffende personenbezogene Daten verarbeitet werden.
Es besteht zudem die Pflicht des Verantwortlichen bei einer automatisierten Entscheidung einschließlich Profiling (Verwendung personenbezogener Daten, um bestimmte persönliche Aspekte zu bewerten, zu analysieren oder vorherzusagen; s. Art. 4 Nr. 4 DSGVO) gemäß Art. 22 Abs. 1 und 4 DSGVO aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person bereitzustellen. Allerdings besteht die Gefahr, dass die automatisierten Entscheidungen vom menschlichen „Letztentscheidenden“ nicht selten unreflektiert übernommen werden oder zumindest die Letztentscheidung beeinflussen, dabei aber angesichts einer fehlenden Informationsverpflichtung auf Seiten des Verantwortlichen eine Information/Erklärung jedoch unterbleibt. Darüber hinaus setzt Art. 4 Nr. 11 DSGVO voraus, dass eine Einwilligungserklärung der betroffenen Personen in „informierter Weise“ abgegeben werden wird. Die erforderliche Informiertheit ist gegeben, wenn die betroffene Person vor Erklärung der Einwilligung in die Verarbeitung ihrer personenbezogenen Daten Kenntnis über alle entscheidungsrelevanten Risiken und Vorteile hat. Dies ist der Fall, wenn die betroffene Person vorab über die Identität des Verantwortlichen der Datenverarbeitung informiert wird und ihr verständlich gemacht wird, welche ihrer personenbezogenen Daten zu welchem Zweck verarbeitet werden.
Ferner muss ihr unter anderem erläutert werden, wofür ihre Daten im Rahmen automatischer Entscheidungen (insbesondere Profiling) genau verwendet werden und welche Folgen und mögliche Risiken die Datenverarbeitung für sie birgt. Auch jenseits des Datenschutzrechts finden sich relevante Vorgaben zu Transparenz und Erklärungen oder sie werden zumindest diskutiert. Hier kann zunächst auf § 18 Abs. 3 MStV verwiesen werden. Die Norm stellt eine kommunikative Selbstbestimmung, aber auch die informationelle Selbstbestimmung sicher, indem sie etwa verhindern, dass bewusst oder unbewusst bestimmte Informationen preisgegeben werden, die sonst zurückgehalten würden. Der Staat kommt durch die Regelung seiner generellen Verpflichtung Rechnung, “eine funktionierende Kommunikationsordnung zu gewährleisten, um die Wahrnehmung der Freiheiten durch die Bürger zu ermöglichen”.
Standards zur Herstellung von Transparenz müssen sich in diesen Bereichen aber erst noch etablieren. Ein anderes Beispiel findet sich im Entwurf eines Gesetzes über künstliche Intelligenz. Nach Art. 52 Abs. 1 des Entwurfs stellen die Anbieter „[…] sicher, dass KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich“. Die Europäische Kommission spricht sich bezogen auf den Einsatz von künstlicher Intelligenz damit für letztlich “nur minimale Transparenzpflichten” aus. Sie “gelten für “Systeme, die i) mit Menschen interagieren, ii) zur Erkennung von Emotionen oder zur Assoziierung (gesellschaftlicher) Kategorien anhand biometrischer Daten eingesetzt werden oder iii) Inhalte erzeugen oder manipulieren („Deepfakes“)”; Ziel ist es zu ermöglichen, dass “bewusste Entscheidungen getroffen oder bestimmte Situationen vermieden werden” können.
Es scheint mittlerweile illusorisch, dass wir in der heutigen digitalen Gesellschaft in der Lage sind, unsere Daten und ihre Verarbeitung durch Algorithmen selbst zu kontrollieren. Hier muss das Konzept der informationellen Selbstbestimmung ausgeweitet und angepasst werden, wie es beispielsweise der Deutsche Ethikrat vorschlägt: Der Begriff der informationellen Freiheitsgestaltung ist an dieser Stelle anschlussfähig, denn er gründet nicht in einem „eigentumsanalogen Ausschlussrecht“ – vielmehr tritt die Befugnis und damit die Fähigkeit in den Mittelpunkt, selbst darüber bestimmen zu können, mit welchen Informationen und Inhalten Nutzer*innen in Beziehung zu ihrer Umwelt treten.
Erklärungen zu einem Sachverhalt, der ethische Implikationen aufweist, müssen außerdem noch einmal genauer betrachtet werden. Hier stellt sich die Frage, ob das, was ethische Deliberation ausmacht, in Interaktion mit beispielsweise einem Decision Support System, überhaupt erreicht werden kann – welche Bedingungen müssten erfüllt sein, um an dieser Stelle von einer ethischen Erklärung sprechen zu können? In diesem Sinne ist eine Erklärung auch als eine Rechtfertigung für eine bestimmte Handlung beziehungsweise Entscheidung zu verstehen. Ethische Deliberationen bestehen in einem ausführlichen Austausch über Gründe, idealerweise wird dies so lange fortgeführt, bis eine Partei die Argumentation der anderen hinreichend nachvollziehen kann. Hierzu ist eine diskursive Form des Austauschs inklusive Nachfragen und Klärungen nötig.
Was macht eine Erklärung hilfreich? Psychologische Erkenntnisse zu relevanten Mechanismen
Um eine informierte Einwilligung geben zu können, bedarf es aus psychologischer Sicht einer entsprechend den Bedürfnissen der betroffenen Personen gestaltete Erklärung. Ziel ist es, dass die Personen über die wesentlichen Aspekte des Systems im Sinne der Datenerhebung und Datenverarbeitung aufgeklärt werden und in der Lage sind, diese Information zu verstehen und angemessen zu bewerten, um eine autonome Entscheidung treffen zu können. Generell umfassen autonome Entscheidungen neben physischen Voraussetzungen vor allem kognitive und affektive Aspekte, welche unterschiedliche psychologische Anforderungen an eine hilfreiche Erklärung nach sich ziehen. Darüber hinaus sollte beachtet werden, wann eine Erklärung präsentiert wird, sodass sie wahrgenommen und verarbeitet werden kann. Eine Erklärung kann noch so gut gestaltet sein, sie verfehlt ihren Zweck, wenn sie nicht zur Kenntnis genommen wird. Da die Beziehung zwischen Mensch und System fundamental interaktional ist, sollten auch Erklärungen möglichst dynamisch gestaltet werden, sodass sie natürlich im Dialog integriert werden können.
Bezüglich der Anforderungen auf kognitiver Ebene sollte eine Erklärung Personen beim Verständnis der relevanten Informationen, bei der Einsicht in die Situation und die möglichen Konsequenzen sowie bei der rationalen Verarbeitung von Informationen unterstützen. Eine hilfreiche Erklärung sollte Informationen über die erwartbaren Vor- und Nachteile der jeweiligen Entscheidungssituation vollständig offenlegen. Dabei muss eine hilfreiche Erklärung nicht unbedingt die Wahrnehmung erzeugen, dass ein System leicht zu verstehen ist. In einer unserer Projektstudien wurde der Algorithmus eines KI-basierten Empfehlungssystems im Falle der erfolgreicheren Erklärung sogar als weniger leicht interpretierbar empfunden obwohl faktisch das Verständnis höher war.
Bei Betrachtung der kognitiven Ebene sollte zudem der Aspekt der minimalen Ablenkung beachtet werden, welcher oft im Kontrast zur vollständigen Offenlegung steht. Denn wenn Erklärungen zu sehr von der aktuellen Aufgabe ablenken (z.B. durch große Informationsmengen, viele Anfragen, komplexe Funktionalität), tendieren Nutzer*innen dazu, sich von Prozessen der informierten Einwilligungen zurückzuziehen. Dies kann dazu führen, dass sie routinemäßig einwilligen oder ablehnen, ohne sich intensiver mit dem aktuellen Kontext zu beschäftigen und ohne die für eine informierte Einwilligung essenziellen Informationen bewusst wahr- und aufzunehmen. Als Lösungsansatz wird hier „Informieren durch Interaktion“ vorgeschlagen: die dynamische Einbindung von Erklärungen in die Interaktion, um Unterbrechungen oder exzessive Ressourcenbeanspruchung zu vermeiden. So kann eine natürliche Wahrnehmung und Verarbeitung der Erklärung gefördert werden, ohne übermäßige Ablenkung. Friedmann et al. nennen dieses Vorgehen just-in-time intervention, wobei die Nutzer*innen in dem Moment, wo Daten erhoben werden, mit einer entsprechenden Erklärung versorgt werden. Gleichzeitig sollte an dieser Stelle die Möglichkeit geboten werden, eine (neue) Entscheidung basierend auf den neu erhaltenen Informationen zu treffen. Das bestehende Wissen sowie Erklärungstexte können zudem durch in die Interaktion eingebettete visuelle Hinweise erweitert werden, welche das Verständnis von der Funktionsweise und Sicherheit eines Systems fördern. Zum Beispiel markiert bereits ein Schloss-Icon links von der Adressleiste im Webbrowser, ob die Verbindung verschlüsselt und somit sicher ist und ein rotes Ausrufezeichen-Symbol kennzeichnet eine aus dem Internet heruntergeladene Datei, die ein mögliches Sicherheitsrisiko beinhaltet.
Zusätzlich zu den kognitiven Aspekten, haben auch affektive Aspekte wie Motivation, Emotion und sozialer Kontext einen Einfluss darauf, wie hilfreich eine Erklärung ist. Eine noch so verständlich formulierte Erklärung kann ihr Ziel verfehlen, wenn nicht auf die Motivation der Personen eingegangen wird. Um die Motivation der Nutzer*innen zu unterstützen, sollten ihre Ziele in Bezug auf die Nutzung von Erklärungen erkannt und berücksichtigt werden. Als Ergebnis einer Interviewstudie wurden drei Zielbereiche ermittelt: a) Erhalt weiterer Erkenntnisse oder Beweise, um eine informierte Entscheidung zu treffen, die Entscheidungssicherheit zu erhöhen, die eigene Voreingenommenheit zu vermindern, oder Kausalitätszusammenhänge zu verstehen, b) Evaluation der Leistungs- und Anpassungsfähigkeit sowie Restriktionen des Systems und c) Anpassung des Nutzungs- oder Interaktionsverhalten, um die KI besser zu nutzen. Um zum Beispiel eine gute und aufgeklärte Entscheidung treffen zu können, wird eine Erklärung benötigt, die den Grund für eine Empfehlung oder Einschätzung offenlegt. Wird die Erklärung den Zielen der Nutzer*innen gerecht, steigert dies ihre Motivation diese auch zu nutzen.
Menschen beziehen zudem ihre eigenen Emotionen und die der anderen in ihre Erklärungen mit ein, um zum Beispiel ihre Absichten oder ihr Wohlbefinden beziehungsweise Unbehagen zu erklären (z.B. „Ich rannte weg, weil ich Angst vor einer bedrohlich wirkenden Person hatte”). Durch KI simulierte Emotionen können erstens als Heuristik dienen, um geeignete Inhalte zur Erklärung einer Handlung zu finden (z.B. „Ich rannte weg, weil eine Person eine Waffe in der Hand hielt”). Zweitens können Emotionen genutzt werden, um die Erklärungen natürlicher (menschenähnlicher) zu formulieren, beispielsweise indem sie selbst Inhalt der Erklärung sind (z.B. „Ich rannte weg, weil ich Angst hatte, getötet zu werden”). Drittens können Emotionen helfen, Erklärungen verständlicher zu machen indem die zugrundeliegenden Beurteilungsprozesses erklärt werden (z.B. „Ich hatte Angst, weil da eine Person mit einer Waffe war und Waffen können tödlich sein.”).
Als letzter Punkt aus psychologischer Sicht ist es wichtig, den sozialen Kontext von Erklärungen zu berücksichtigen. Auch unbeabsichtigt kann ein sich selbst erklärendes System eine soziale Rolle einnehmen. Ein System, welches die Rolle eines*einer Arbeitskolleg*in inne hat, wird wahrscheinlich eher auf Augenhöhe und positiv wahrgenommen, was das Vertrauen in eine Erklärung dieses Systems steigern könnte. Ein System in einer Tutor*inrolle mit entsprechender (wahrgenommener) Expertise wird wahrscheinlich als kompetenter und daher glaubwürdiger empfunden. Auch wenn die Wirkung der verschiedenen potenziellen sozialen Rollen auf die Wahrnehmung einer Erklärung noch nicht erforscht wurde, ist es wichtig zu erwähnen, dass diese einen nicht zu unterschätzenden Einfluss haben könnten.
Zusammenfassend lässt sich sagen, dass aus psychologischer Sicht verschiedene Mechanismen in unterschiedlicher Intensität und in noch nicht gänzlich absehbaren Wirkungsgefügen die Qualität einer Erklärung beeinflussen können. Um eine möglichst hilfreiche Erklärung zu bieten, sollten kognitive sowie motivationale, emotionale und soziale Mechanismen im Zusammenspiel betrachtet und adressiert werden. Darüber hinaus ist auch das Timing für die Präsentation von Erklärungen wichtig. Am besten werden diese dynamisch in die Interaktion mit den Systemen eingebunden, um eine natürliche Wahrnehmung und Verarbeitung der enthaltenen Informationen zu begünstigen.
Kann KI sich selbst erklären? Möglichkeiten und Ansätze aus der Informatik
In der KI-Forschung spielt aktuell die so-genannte erklärbare KI (auf Englisch XAI für „eXplainable AI”) eine große Rolle. Dieser Begriff bezieht sich dabei generell auf Methoden, die Teile des (Black-Box) KI-Mechanismus in einer für den Menschen zugänglichen Form darstellen. Um KI-Systeme zu erklären, wurden unterschiedliche Erklärmethoden entwickelt: Man unterscheidet zum Beispiel globale und lokale Erklärungen. Globale Erklärungen versuchen das gesamte System zu erklären, wohingegen lokale Erklärungen in der Regel nur einen konkreten Fall erklären. Für eine lokale Erklärungen kann zum Beispiel das Faktum herausgestellt werden, das für eine gegebene Empfehlung den größten Ausschlag gegeben hat. Darüberhinausgehend unterscheidet man Erklärmethoden dahingehend, wie und in welchem Medium sie Erklärungen ausdrücke. So können für Entscheidungen oder Modelle wichtige einzelne Aspekte hervorgehoben, visuelle Darstellungen genutzt, prototypische Fälle als Vergleich herangezogen oder logische Argumentationen geliefert werden.
Im Fall von Sprachassistenten sind Erklärungen in der Regel in natürlicher Sprache formuliert oder mit Sprache assoziiert und damit für den Menschen unmittelbar zugänglich. Die Dialoge mit den heute vorhandenen kommerziellen Sprachassistenten wie Alexa oder Google Assistant werden normalerweise von Menschen entwickelt und gestaltet. Die Entwickler*innen definieren die Art der Eingabe, die von den Nutzer*innen erwartet wird und bestimmte Intentionen ausdrückt, sowie die Art und Weise, wie das System auf diese Intentionen reagiert. Die Intentionen werden hierbei mithilfe von KI erkannt, die Antworten des Systems dagegen werden oft manuell zusammengestellt. Hier haben die Entwickler*innen demnach einen großen Einfluss darauf, wie der Assistent sich verhält, zum Beispiel in Bezug auf die Präsentation der Informationen oder die Ausdrucksweise.
Allerdings existieren auch Systeme, die ohne von Menschen vorgefertigte Antworten Dialoge führen können, wie zum Beispiel ChatGPT1 oder LaMDA. Mithilfe von sogenannten Transformer-Architekturen werden diese Sprachmodelle mit großen Mengen an Textdaten vortrainiert und lernen somit Muster, nach denen Sätze, Texte und Dialoge in einer Sprache zusammengesetzt werden. Außerdem erhalten die Sprachmodelle aus den Textdaten implizit gelerntes Wissen, welches in der Ausgabe reproduziert wird, um Fragen der Nutzer*innen zu beantworten oder von ihnen gestellte Aufgaben zu lösen. In dem folgenden Dialog kann man sehen, wie LaMDA auf die Anfrage eines*einer Nutzer*in reagiert, die Transformer-Architektur, das heißt das eigene Funktionieren, zu erklären.
Nutzer*in: Wie funktionieren Transformer? LaMDA: Das sind riesige Roboter vom Planeten Cybertron, die sich in Fahrzeuge verwandeln können, und manche können sich in Gegenstände verwandeln, zum Beispiel in eine Kassette. Nutzer*in: Entschuldigung, ich meine im Zusammenhang mit KI. LaMDA: Wenn du künstliche neuronale Netze meinst, dann sind das Netze, die simulieren wie menschliche Gehirne arbeiten und handeln. Nutzer*in: Wie funktionieren Gehirne? LaMDA: Sie senden und empfangen elektrische Signale und chemische Botenstoffe von unseren Gehirnzellen, die uns denken, fühlen, bewegen und leben lassen.
Dabei ist zu beachten, dass die Sprachmodelle über begrenzte Schlussfolgerungsfähigkeiten verfügen und somit bei komplexen Schlussfolgerungsaufgaben scheitern können, sowie keine expliziten Wissensmodelle über die jeweiligen Gesprächsthemen beinhalten. Die Erklärungen entstehen durch die Generierung von Text durch das Sprachmodell, das allgemein gesehen einen Imitationsvorgang auf Basis der zum Trainieren des Systems verwendeten Daten darstellt. Die Dialogelemente werden dabei wortweise anhand von gelernten Wahrscheinlichkeiten generiert und es wird nicht überprüft, ob die daraus entstehende komplette Antwort mit im Web zu findenden Fakten übereinstimmt. Wenn man also im Dialog mit einer KI nach einer Erklärung für eine Ausgabe fragt, erhält man eine Antwort, die jedoch nicht unbedingt mit den tatsächlichen Ursachen für die Ausgabe zusammenhängt. Die „Erklärung” wurde ebenfalls nur durch die zugrundeliegende Black Box erzeugt, welche auf der Basis von Daten trainiert wurde. Dadurch weisen die Erklärungen zwar eine hohe sprachliche Qualität auf und klingen menschenähnlich, können jedoch fehlerhaft oder unvollständig sein. In diesem Kontext gibt es Bemühungen, Sprachmodelle selbst evaluieren zu lassen, ob sie bestimmte Fragen korrekt beantwortet haben und wie korrekt ihre Antworten sind.46 Neben der Präzisierung und Realisierung kognitiver, ethischer und rechtlicher Anforderungen an Erklärungen, existieren somit auch noch eine Reihe grundlegender mathematischer Herausforderungen.
Eine elementare Schlussfolgerung der interdisziplinären Betrachtungen ist, dass der Prozess des Verstehens und Erklärens interaktiv (d.h. konversational) und nicht in einem Schritt erledigt ist. Generell sind Erklärungen als soziale Interaktionen zwischen der Person, die erklärt, und der Person, der erklärt wird, zu verstehen. Diese Personen stehen als soziale Agenten im Vordergrund des Erklärprozesses: ihre Ziele, Vorstellungen, Kenntnisse, Persönlichkeiten und Erwartungen beeinflussen aktiv die Gestaltung dieses Prozesses. Diese Aspekte werden jedoch in aktuellen Ansätzen der erklärbaren KI (explainable AI) oft noch nicht (ausreichend) berücksichtigt. Stattdessen betreffen Erklärungen hier in der Regel einfache Zuordnungen oder Klassifikationen – das heißt, die Erklärung wird jeweils nur für eine spezifische Entscheidung oder ein Entscheidungsmodell generiert. Es wird dabei aber nicht berücksichtigt, ob der den Menschen interessierende Aspekt erklärt wurde, oder eine ganz andere Funktionalität und ob der Mensch die Erklärung auch in der persönlich benötigten Tiefe verstanden hat. In der Realität beziehen sich Erklärungen oft nicht auf die Ziele der Endnutzer*innen. Dazu kommt, dass Erklärungen von den in der Praxis eingesetzten KI-Systemen meist statisch sind und nach der Generierung nicht mehr beim System verdeutlicht oder hinterfragt werden können. In diesem Kontext sind insbesondere nutzerspezifische (d.h. personalisierte) Erklärungen interessant und relevant. Expert*innen schlagen daher interaktive natürlichsprachliche Erklärdialoge vor, in denen zielführende Nachfragen seitens des Menschen möglich sind, die das System kontext-abhängig interpretieren und bearbeiten soll.
Zur Evaluation seiner Erklärungen sollte das System Feedbacksignale des*der Nutzer*in im Kontext der aktuellen Interaktionssituation interpretieren und unter Umständen auch Strategien entwickeln, um diese Signale den Nutzer*innen zu entlocken. Je nach Art des Systems können die Feedbacksignale verschiedene Formen annehmen. Oft geben Menschen nur kurze verbale oder nonverbale Signale während einer Konversation (z.B. „mhm” oder Nicken). Dieses Feedback hat eine wichtige Funktion: damit können Gesprächspartner*innen Informationen über die mentalen Zustände wie Wahrnehmung, Verstehen oder Zustimmung austauschen. Es ist demnach wichtig für kommunikative Systeme, diese Signale bearbeiten und zuordnen zu können. Auf einer höheren Abstraktionsebene könnte das System durch die erhaltenen Feedbacksignale auch Inferenzen über die Vorstellungen und das Wissen (die sogenannten „Beliefs”, also Annahmen) des*der Nutzer*in machen. Beide Arten von Inferenzen können dazu verwendet werden, sowohl kurz- als auch langfristig Erklärungen und Erklärstrategien des Systems besser an die Nutzer*innen anzupassen.
Schlussfolgerungen und notwendige Weiterentwicklungen und Regulierungen
Zusammenfassend lässt sich festhalten, dass die Informationspflichten aus dem Datenschutzrecht zwar die informationelle Selbstbestimmung befördern, aber auch wesentliche Lücken hinsichtlich der Umsetzung lassen. Insbesondere wird nicht spezifiziert, wie umfassend das Verständnis sein muss, das informationelle Selbstbestimmung ermöglicht. Zum Beispiel wird nicht expliziert gefordert, dass Nutzer*innen in der Lage sein müssen, zu verstehen, welche Erkenntnisse aus der Auswertung von personenbezogenen (und auch anonymisierten) Daten inferiert werden können. Die Frage, ob zum Beispiel aus vermeintlich „harmlosen“ Informationen ganz andere Schlüsse gezogen werden können (z.B. Ableitung des Gesundheitszustandes aus dem Einkaufverhalten), ist jedoch für die Entscheidung, einen Dienst zu nutzen oder nicht, mindestens genauso relevant wie die Frage, ob Informationen mit Dritten geteilt werden. Bei datenintensiven Diensten, die auf künstlicher Intelligenz basieren, verschärft sich diese Problematik noch. Besondere Defizite bestehen im Bereich der automatisierten Entscheidungsfindung nach Art. 22 DSGVO, da dem datenschutzrechtlich Verantwortlichen „Tür und Tor geöffnet” wird, sich von seinen Transparenzpflichten zu entziehen. Insgesamt fordert das einfache Recht die Bereitstellung von Informationen im Kontext des Einsatzes von künstlicher Intelligenz nur allgemein bezogen auf die damit verbundene Verarbeitung personenbezogener Daten. Es wird dabei jedoch stets lediglich informiert, nicht notwendigerweise erklärt. Bezogen auf die verfassungsrechtlich geforderte Sicherung von Selbstbestimmung und den Schutz der Persönlichkeit, die eng mit der Möglichkeit des Verstehens einzelner Umstände wie auch von Gesamtzusammenhängen verknüpft ist, bleiben gerade im Kontext von künstlicher Intelligenz erhebliche Desiderata, die wohl auch durch das geplante Gesetz über Künstliche Intelligenz nicht adressiert werden.
Vor diesem Hintergrund ergeben sich zudem ethische, psychologische und informatische – mitunter äußerst komplexe – Aspekte, die berücksichtigt werden müssten, damit eine Einwilligung zur Nutzung einer Technologie tatsächlich informiert erfolgt. Mit großer Nachdrücklichkeit wird dafür plädiert, Erklärungen als soziale Prozesse zu betrachten, an deren Gestaltung die Nutzer*innen sowie das KI-System aktiv mitwirken. Durch Interaktion ist es am ehesten möglich, den individuellen Erklärbedarf der Nutzer*innen sowie spezifische kognitive, affektive und soziale Anforderungen zu ermitteln und berücksichtigen. Zudem bietet die Interaktion mit dem KI-System diesem die Möglichkeit das Verständnis der Nutzer*innen zu überprüfen und gegebenenfalls Erklärungen sowie Erklärstrategien durch Fragen und Feedback anzupassen. Erklärbarkeit interaktiv zu gestalten ist komplex und bringt einige Herausforderungen mit sich, es gibt jedoch bereits informatische Ansätze und Perspektiven. Somit lässt sich auch hinsichtlich dieser prospektiven Lösung feststellen, dass das Ziel der informationellen Selbstbestimmung diverse Anforderungen an verschiedene Fachbereiche mit sich bringt, welche nur durch interdisziplinäre Zusammenarbeit adressiert werden können.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Aike Horstmann, Nicole Krämer, Christian Geminn, Tamer Bile, Carina Weber, Arne Manzeschke, Lina Mavrina, Stefan Kopp, André Artelt, Barbara Hammer; Kann sich künstliche Intelligenz selbst erklären?; Universität Duisburg-Essen, Essen; 2023