Newsletter Anmeldung

Bleiben Sie mit dem Newsletter immer up to date.

Zur Anmeldung
Anfrage
arrow-to-top

Kategorie: Awareness

Künstliche Intelligenz

11/2023

Vermessung bis ins Innerste

KI ist ein Marketingbegriff, den in den frühen 2010er-Jahren vor allem die großen Technologieunternehmen wiederbelebt haben. Der Begriff ist einer von vielen, die man zur Beschreibung daten- und rechenzentrierter statistischer Modelle wählen kann. Er entstammt einem Sammelsurium akademischer Bezeichnungen – von Kybernetik über Automatentheorie und Informationsverarbeitung bis hin zu maschinellem Lernen.

Diese Bezeichnungen wurden in den vergangenen 75 Jahren auf ein heterogenes Kontinuum militärisch geprägter Forschung und Entwicklung angewandt. Sie alle sind getrieben von dem Wunsch nach rechnerischer Kontrolle und automatisierter Entscheidungsfindung.

Den Begriff „Künstliche Intelligenz“ prägte der Kognitions- und Computerwissenschaftler John McCarthy in den 1950er Jahren. McCarthy tat dies nicht, um die Eigenschaften der Systeme zu beschreiben, die er baute oder um sich herum beobachtete, sondern aus viel banaleren Gründen. In einem Interview räumte er ein, dass er „den Begriff ‚Künstliche Intelligenz‘ erfunden hat […], weil wir etwas tun mussten, als wir versuchten, im Jahr 1956 Geld für einen Sommer-Workshop zu bekommen.“ Er erhielt das Geld, und das Dartmouth Summer Research Project on Artificial Intelligence kam ins Rollen.

Der kleinteilige Kampf um ein Revier

Diejenigen, die mit der akademischen Vergabe von Fördermitteln vertraut sind, werden McCarthys Bedürfnis nach einem Oberbegriff verstehen. Dieser Oberbegriff sollte rhetorisch die Arbeit derjenigen einschließen, die er zur Mitarbeit einladen wollte, und all jene ausschließen, die er nicht einladen wollte. Und er sollte gleichzeitig das Interesse von Geldgebern wecken. Und natürlich ist die Erfindung eines neuen Begriffs ein probates Mittel, um sein Revier abzustecken und zu verteidigen – ein weiteres akademisches Gebot.

McCarthy wollte nämlich Norbert Wiener nicht einladen, dessen Begriff „Kybernetik“ damals ein Großteil des Fachgebiets prägte. „Ich selbst“, sagte er einige Jahre später in einem Interview, „habe den Begriff ‚Künstliche Intelligenz‘ unter anderem deshalb erfunden, um der Assoziation mit ‚Kybernetik‘ zu entgehen. […] Ich wollte vermeiden, dass Norbert […] als Guru akzeptiert wird oder ich mich mit ihm auseinandersetzen muss.“

Wer ein Fachgebiet begründet und damit einen konzeptionellen Rahmen setzt, kann damit auch Geldmittel und Prestige sammeln. Wichtig ist auch, dass die Schöpfer des Feldes als Erfinder auftreten, nicht als dessen Weiterentwickler. Neuartigkeit ist in der Wissenschaft, wie auch anderswo, ein Fetisch. Marvin Minsky, Claude Shannon und natürlich McCarthy – die Männer, die wir als die Väter der Künstlichen Intelligenz ansehen sollen – erlangten diesen Status sowohl durch ihre Arbeit als auch durch ihre schiere Präsenz, als dieser Begriff erfunden wurde.

Gewiss, ein Name ist nicht alles, aber ich frage mich oft, wo wir heute stünden, wenn der Name Kybernetik sich durchgesetzt hätte. Oder wenn der Begriff Informationsverarbeitung in seiner beschreibenden Langweiligkeit noch bestünde. Und wenn damit das Wort „Intelligenz“ – mit seiner ganzen düsteren Geschichte und seinen eugenischen Anklängen – nicht jedes Mal wiederholt würde, sobald wir uns auf die unternehmens-, daten- und rechnerzentrierten KI-Modelle beziehen.

Ich führe diese kurze Etymologie unter anderem deshalb an, um zu verdeutlichen, dass der Begriff KI ein höchst kontingenter Begriff ist. Und dass er mindestens ebenso viel mit den Erfordernissen des akademischen Wettbewerbs und den Anforderungen von Geldgebern zu tun hat wie mit der Natur der Technologie, die dieser Begriff zu beschreiben versucht.

Angesichts der Tatsache, dass der Begriff KI im Laufe seiner über 70-jährigen Geschichte auf ein breites Spektrum heterogener Techniken angewandt wurde, sollten wir uns fragen: Warum hat KI – der Begriff und die damit verknüpfte Mythologie – in den frühen 2010er-Jahren plötzlich erneut an Popularität gewonnen? Warum verzeichnen wir diese Wiederkehr nach einer langen Flaute?

Die Geschichte der vernetzten Datenverarbeitung

Die vernetzte Datenverarbeitung begann als militärische Initiative – zumindest in den Vereinigten Staaten – und wurde weitgehend von der US-Regierung finanziert, die auch die Computerindustrie während eines Großteils ihrer Geschichte unterstützte. Die Ängste vor dem Kalten Krieg waren dabei eine treibende Kraft. In den frühen 1990er-Jahren wurde die Infrastruktur für vernetzte Datenverarbeitung – oder das „Internet“ – privatisiert und kommerzialisiert. Damals erfolgte die Hinwendung zu einer neoliberalen Politik, begleitet von dem festen Glauben der Clinton-Ära, dass „Hightech“ Balsam für eine kränkelnde Wirtschaft sei.

Hier stütze ich mich auf die hervorragende Arbeit von Matthew Crain, dessen Buch „Profit Over Privacy“ eine wichtige Quelle für das Verständnis der damaligen Dynamik ist.

Als die Privatisierung dieser einst öffentlich finanzierten universitären und militärischen Infrastrukturen voranschritt, beauftragte die Clinton-Regierung verschiedene Regierungsstellen mit der Bewertung ihrer Risiken und Vorteile. Und aus heutiger Sicht zeigt sich deutlich, dass das Geschäftsmodell der Überwachung weder ein Fehler noch ein Zufall oder eine Zukunft war, die niemand vorausgesehen hat. Im Gegenteil: Die Gefahren und Schäden, die uns heute durch die geballte Macht der Massenüberwachung in den Händen einiger weniger privater Akteure drohen, waren vorausgesehen worden. Nur wurden die Warnungen damals ignoriert.

Das Geschäftsmodell der Überwachung

Akademiker:innen, zivilgesellschaftliche Organisationen und mehrere Regierungsbehörden schlugen Alarm: Es könnte massiv schaden, wenn man privaten Unternehmen erlauben würde, sich bei Datenschutzfragen selbst zu regulieren. Doch die Warnungen stießen auf neoliberale Ohren und der Zeitgeist setzte sich durch. Und der lautete: Gewinne privatisieren und Kosten kollektivieren.

Die Clinton-Regierung zog die Ansichten der Tech- und Werbeindustrie – darunter jene von bekannten Big-Tech-Akteure wie Eric Schmidt – ihren eigenen Expert:innen vor. Letztlich ermöglichte sie damit eine Kommerzialisierung, die der Überwachung und der Datenanhäufung durch die aufstrebende Technologiebranche keinerlei Grenzen setzte.

Auf diese Weise konnte sich das Geschäftsmodell der Überwachung ungehindert ausbreiten. Es geriet durch trial and error, den Dot-Com-Boom und die Dot-Com-Pleite in ein unruhiges Gleichgewicht, bevor es sich zu der heutigen konsolidierten monopolistischen Landschaft entwickelte. Crain gibt die Entwicklung ungeschönt so wieder: „Der wirtschaftliche Erfolg der Branche beruht auf der praktisch uneingeschränkten Monetarisierung der Verbraucher:innenüberwachung“. Und Überwachung – angetrieben von Werbung – ist nach wie vor die Grundlage der heutigen Technologiebranche.

Dieses Modell hat die plötzliche Verbreitung sogenannter „kostenloser“ Internetdienste ermöglicht und gefördert – von der Websuche über E-Mail bis zu sozialen Netzwerken. Für diese Produkte und die damit verbundene wertvolle Datenerfassung haben die führenden Unternehmen kontinuierlich massive Recheninfrastrukturen und Techniken aufgebaut. Sie haben gewaltige Summen investiert, um riesige Datenmengen schnell verarbeiten und speichern zu können.

Die Tendenz zum „natürlichen Monopol“

Dies bringt uns zu einem wichtigen Punkt: Das Geschäftsmodell der Überwachung tendiert zur Konsolidierung – oder in der Sprache der Wirtschaftswissenschaftler: zum „natürlichen Monopol“. Die Technologieunternehmen, die das Geschäftsmodell der computergestützten Überwachung frühzeitig verfeinert haben, bauten massive Infrastrukturen, riesige Datenspeicher und große Nutzerbasen auf. Konkurrenten konnten das nicht einfach nachahmen oder kurzerhand einkaufen. Auf diese Weise verstärkte sich das System selbst. Die früh daran beteiligten Unternehmen zählen heute fast zu all jenen Firmen, die wir als „Big Tech“ bezeichnen.

Anfang der 2010er Jahre hatten sich die Big-Tech-Gewinner etabliert. Sie begannen, ihre Marktdominanz zu festigen. Mehr und mehr verhielten sie sich mehr wie die aktionärsgesteuerte Megakonzerne, die sie ja auch waren. Dabei legten sie auch den Anschein des technokratischen Außergewöhnlichen langsam aber sicher ab, der ihren Aufstieg zu Beginn noch prägte.

Die Grundlagen des KI-Booms

Zurück zu unserer Ausgangsfrage: Warum ist KI zu diesem Zeitpunkt wieder aufgetaucht? Das ist kein Zufall. Daten – je mehr davon, desto besser –, Recheninfrastruktur und Marktreichweite machen auch den jüngsten KI-Boom aus. Es gibt eine große Schnittmenge zwischen diesen Faktoren und den Infrastrukturen, die aufgebaut wurden, um das Geschäftsmodell der Überwachung zu ermöglichen.

Das „Neue“ an der KI in den frühen 2010er-Jahren waren nicht Innovationen beim maschinellen Lernen. Diese Methoden stammen großteils aus den 1980er-Jahren. Neu waren hingegen zum einen die beträchtlichen Datenmengen, die zum Trainieren von KI-Modellen verwendet wurden. Zum anderen gab es nun eine leistungsfähige Recheninfrastruktur, um diese Modelle zu trainieren und zu kalibrieren. Und all diese Ressourcen lagen in den Händen einiger weniger privater Technologieunternehmen.

Vor diesem Hintergrund besteht die Hauptaufgabe von KI darin, die riesigen Mengen der von den Tech-Konzernen gesammelten und gespeicherten Überwachungsdaten besser nutzbar zu machen. Mit Hilfe der Magie und des Marketings der KI können diese Daten dazu verwendet werden, Modelle unserer „Realität“ zu erstellen. Diese Modelle nutzen die Unternehmen für weit mehr als nur für Werbung. Sie treffen damit unter anderem Vorhersagen zu fast allen Bereichen des menschlichen Lebens – vom Verkehr über die Bildung bis hin zur Medizin. Dadurch entstehen intime Daten über jeden Einzelnen von uns. Und diese Daten haben, selbst wenn sie durch Vorhersagemodelle und nicht durch direkte Überwachung und Datenerfassung entstehen, einen Einfluss auf uns und unser Leben.

Kurz gesagt, das Marketing-Narrativ der KI dient dazu, das Geschäftsmodell der Überwachung im Herzen der Technologiebranche zu mystifizieren, zu festigen und zu erweitern.

KI braucht Arbeit

Bevor ich fortfahre, möchte ich auf etwas Wesentliches eingehen. Denn all dies entsteht nicht automatisiert. Vielmehr braucht es dafür Menschen, die arbeiten – genauer: es braucht viele Menschen, die viel arbeiten. Das gilt sowohl für die Entwicklung von KI-Systemen als auch für ihren Einsatz, um verschiedene Rollen und Aufgaben zu „automatisieren“.

In beiden Bereichen hilft das Narrativ der intelligenten Automatisierung jenen Unternehmen, die diese Systeme entwickeln. Sie profitieren davon, ihren Status als Spitzen-Innovatoren zu behaupten und ihren Systemen die Fähigkeiten zuzuschreiben, die sie in Wirklichkeit den Arbeiter:innen verdanken.

Und obwohl Emily Denton, Timnit Gebru, Veena Dubal, Alex Hannah, Adrienne Williams und viele andere ausführlich darüber geschrieben haben, bleibt die Arbeit hinter der KI meist unerwähnt und damit verborgen.

Das Beispiel ImageNet

Lassen Sie mich dazu das Beispiel des ImageNet-Datensatzes und der ImageNet Large Scale Visual Recognition Challenge anführen, die seit 2010 alljährlich als Wettbewerb durchgeführt wird. Dabei stütze ich mich auf einen wunderbaren Artikel von Dr. Emily Denton und ihren Kolleg:innen. Der Text beleuchtet die Geschichte von ImageNet und seine Bedeutung für den aktuellen Aufschwung der KI. ImageNet zeigte als erster großer öffentlicher KI-Datensatz, dass alte Techniken mit gewaltigen Datenmengen und Rechnern neue Dinge tun können.

ImageNet ist eine umfangreiche Sammlung von etwa 14 Millionen Bildern, die von Flickr, der Bildersuche und verschiedenen Webplattformen stammen und in etwa 20.000 Kategorien auf der Grundlage der WordNet-Taxonomie geordnet sind.

Die zufällig ausgewählten Bilder wurden nicht einfach so kategorisiert, sortiert und beschriftet. Und das Projekt scheiterte fast an der Frage, wie man eine riesige Sammlung von Zufallsbildern in einige allgemein akzeptierte Etiketten zwängen kann. FeiFei Li, der Leiterin von ImageNet, hat damals darüber nachgedacht, das Projekt einzustellen, nachdem ihr bewusst geworden sei, dass es wohl Jahre und erhebliche Mengen an Geld brauchen würde, um die Daten zu organisieren und zu labeln. Jia Deng, ein Mitarbeiter von ImageNet, schätzte, dass es 19 Jahre dauern würde, wenn nur Studierende diese Arbeit übernähmen.

Laut einem Interview, das ich 2017 mit Li führte, war es jedoch ein zufälliges Gespräch mit einem Studierenden auf dem Flur, das das weitere Schicksal bestimmte und die Arbeitspolitik von ImageNet neu ausrichtete. Irgendwann im Jahr 2005 oder 2006 erwähnte dieser Studierende gegenüber Li, dass Amazon vor kurzem eine „Crowd Work“-Plattform namens Amazon Mechanical Turk ins Leben gerufen hatte. Es sei möglich, das Beschriften der Bilder an die gering bezahlten Arbeiter:innen dieser Plattform auszulagern.

Genau das hat das ImageNet-Team getan. Es zerlegte den Datensatz in kleine Teile und entwarf einen Prozess, wonach jene „Labels“ akzeptiert wurden, die mehrere Amazon-Turk-Arbeiter:innen zuvor bestätigt hatten. So übernahmen schließlich 49.000 Arbeiter:innen aus 167 Ländern die Organisation und das Labeling der Daten.

Man kann also zurecht behaupten, dass es ImageNet und möglicherweise den darauf folgenden KI-Boom ohne die prekäre Akkordarbeit, die Amazon Turk vermittelt hat, heute nicht geben würde.

Menschliche Arbeit ist unausweichlich

Und obwohl diese Arbeiter:innen für das Projekt von existenzieller Bedeutung gewesen sind, werden sie Denton und ihren Mitautor:innen zufolge nirgends als Mitwirkende genannt. Und das, obwohl ihr Wissen und ihre Erkenntnisse erheblich dazu beitrugen, die ImageNet-Datenbank zu produzieren – und damit auch KI-Modelle, die mit dieser Datenbank trainiert werden.

Das überrascht nicht sonderlich, wenn wir ein wenig herauszoomen. Denn der Mythos der „intelligenten Maschine“ ist schwer aufrechtzuerhalten, wenn wir benennen würden, wo diese Intelligenz herkommt – nämlich von zehntausenden Arbeiter:innen und deren Fähigkeiten, mit dem sie Millionen von Bildern beschrifteten. Und auch die Bilder selbst wurden von nicht namentlich genannten Mitarbeiter:innen gemacht.

Dieses Beispiel könnte veraltet wirken. Es könnte den Eindruck erwecken, dass generative KI oder was auch immer nächstes Jahr der Trend sein wird, eine Fluchtgeschwindigkeit entwickelt hat, die stark genug ist, um menschliche Arbeitskraft überflüssig zu machen. Aber seien Sie versichert: Menschliche Arbeitskraft wird auch in Zukunft erforderlich sein.

Traumatisierende Tätigkeiten

Um ein weitere Beispiel zu nennen: Billy Perrigo von der Time hat aufgedeckt, dass OpenAI und GPT auf kenianische Arbeiter:innen angewiesen sind, die weniger als 2 Dollar pro Stunde verdienen.

Diese Mitarbeiter:innen mussten zehntausende Texte lesen und darauf überprüfen, ob sie düstere Beschreibungen von sexuellem Kindesmissbrauch, brutale Gewalt, Selbstmord, Folter oder Selbstverletzung enthalten. Es ist der Müll aus den verstörendsten Ecken des Internets, aus denen OpenAI einen Teil seiner Trainingsdaten für GPT bezieht.

Die Mitarbeiter sollten die entsprechenden Texte kennzeichnen, um GPT darüber zu informieren, wie unzulässige Daten aussehen. Auch diese Arbeit braucht es. Ohne diese Arbeiter:innen und die Traumata, die sie erleiden, gäbe es keinen Markt für GPT. Diese Systeme replizieren und spiegeln die Daten, auf die sie trainiert wurden. Das bedeutet, dass sie ohne Intervention häufig rassistische, verstörende und ekelerregende Inhalte ausspucken. Und nur wenn man Systemen wie GPT die Grenzen eines akzeptablen liberalen Diskurses beibringt, kann ein solches System als intelligent und nützlich vermarktet werden.

Die traumatische Art dieser Arbeit hat dazu geführt, dass mehrere Arbeiter:innen sich beschwerten und ernsthafte psychische Probleme bekamen. Schließlich kündigte die Firma, die OpenAI als Subunternehmer für diese Arbeit engagiert hatte, den Vertrag. Es lohnt sich, diesen Fall zu studieren. Erst kürzlich haben die Beschäftigten dieser und anderer Firmen in Afrika für die Gründung der African Content Moderators Union gestimmt. Sie wollen darauf aufmerksam machen, wie prekär und schädlich diese Arbeit ist.

Die extraktive Logik hinter der KI

Menschliche Wahrnehmung und menschliches Wissen fließen also in die Entwicklung von KI-Systemen ein. Große Unternehmen extrahieren dieses Wissen und die Erfahrung schlecht bezahlter Arbeiter:innen, die in der Regel im Globalen Süden leben. Deren Erkenntnisse werden dann entmenschlicht, repliziert und durch automatisierte Systeme neu zusammengesetzt, die sich dabei auf die Daten stützen, denen diese Arbeiter:innen erst Bedeutung verliehen haben.

Diese extraktive Logik spiegelt sich auch in der wahllosen Abschöpfung künstlerischer Arbeiten wider, die die Grundlage für generative Bildsysteme wie Midjourney und Dalle-E bilden. Die Vision und die künstlerischen Fähigkeiten von Millionen von Künstler:innen werden extrahiert und in die Maschine verlagert, ohne dass diese dafür Anerkennung erhalten.

Extraktive Logik bestimmt auch, wie KI-Systeme am Arbeitsplatz angewendet werden. Behauptungen über technologische Innovationen, übersteigerte Vorstellungen von deren Fähigkeiten und die Gebote der Arbeitgeber:innen verschmelzen in der Vorstellung, dass KI-Systeme die Arbeitnehmer:innen ersetzen können. Diese Behauptung trifft fast nie zu. Aber sie muss auch nicht einmal den Fakten entsprechen, um Auswirkungen zu haben.

Denn die Degradierung von Arbeiter:innen entsteht nicht durch Systeme, die tatsächlich in der Lage sind, diese zu ersetzen. Vielmehr entfalten sie bereits Wirkungen, wenn man die Menschen glauben lässt, dass solche Systeme Arbeiter:innen ersetzen können. Und indem man die Menschen, die mit den Systemen arbeiten müssen, als gering qualifiziert abstempelt und so eine geringe Bezahlung rechtfertigt.

Als Hoffnungsträger gegen diesen Trend möchte ich auf den Streik der Writers Guild of America verweisen. Ich betrachte diesen Streik als die vorderste Front im Kampf für eine sinnvolle und humane KI-Regulierung.

Die WGA ist die Gewerkschaft der Hollywood-Autor:innen und erinnert an die Kämpfe der Industriearbeiter:innen im Großbritannien des 18. und 19. Jahrhunderts, die für die Macht über ihren Arbeitsplatz und eine Beteiligung an den Gewinnen der Automatisierung kämpften. Sie streiken für ein Mitbestimmungsrecht, ob – und wenn ja, wie – KI in ihrem kreativen Prozess eingesetzt wird.

Die Autor:innen haben erkannt, dass KI nicht zu Kreativität befähigt ist. Allerdings kann die Technologie den Studios einen Vorwand dafür liefern, den Einfluss der Arbeitnehmer:innen und ihren Lebensunterhalt einzuschränken. Sie könnten beispielsweise Autor:innen entlassen und Sozialleistungen kürzen. Dieselben Leute würden dann wieder als „KI-Redakteur:innen“ eingestellt, wahrscheinlich über ein Gigwork-Modell, das geringere Stabilität, Sozialleistungen und Löhne bietet. Die Führungskräfte könnten dies den Aktionär:innen dann als kostensenkende Maßnahme verkünden.

Neuralink will die Menschheit reparieren

Wenden wir uns nun der Frage zu, wer die Welt definieren darf, in der wir leben. Eine Frage, für die sich auch KI-Unternehmen sehr interessieren.

Hierzu möchte ich Neuralink näher betrachten, Elon Musks Unternehmen, das KI-System und Menschen mithilfe von Gehirnimplantaten verknüpfen will. Die US-amerikanische Gesundheitsbehörde FDA hat vor Kurzem – aus welchen Gründen auch immer – dem Vorhaben, Chips in die Schädel von Menschen zu implantieren, offiziell die Genehmigung erteilt. Dies geschah trotz der Kritik, wonach Neuralink zahlreiche Affen, Schweine und Schafe verstümmele und töte, um seine Produkte im Vorfeld der FDA-Zulassung zu testen.

Nun entwickelt Neuralink Gehirnimplantate, die in den Schädel eingebettet werden, und Elektroden direkt ins Gehirn einführen sollen. Warum sollten wir das wollen? Elon Musk erklärt, dass der Mensch ohne sie der Übermacht der KI nicht gewachsen sei und wir zurückblieben: „Auf der Ebene der Spezies ist es wichtig herauszufinden, wie wir mit fortgeschrittener KI koexistieren und eine Art KI-Symbiose erreichen können.“ Neuralink verspricht, uns mit dieser Superintelligenz über „direkte, verzögerungsfreie Interaktionen zwischen unseren Gehirnen und externen Geräten“ zu vereinen. Die Mythologie der KI-Intelligenz – und ihrer Überlegenheit – ist das Fundament, mit dem diese invasive Technologie gerechtfertigt wird.

In einem Werbevideo aus dem Dezember 2020 behauptet Musk, dass Neuralink eine Vielzahl von Problemen lösen wird: „Die Realität ist, dass fast jeder Mensch im Laufe der Zeit Probleme mit dem Gehirn und der Wirbelsäule entwickelt“. Im Hintergrund des Videos sehen wir die Worte „Gedächtnisverlust, Hörverlust, Blindheit, Lähmung, Depression, Angst, Sucht, Schlaflosigkeit, Gehirnschäden“. Musk rühmt sich, dass: „ein implantierbares Gerät diese Probleme tatsächlich lösen kann.“

Hier präsentiert Musk eine Vision der Menschheit, in der die Zukunft besser ist, weil behinderte Menschen ausgelöscht sind. Sie werden „repariert“, indem man sie in eine normative Version eines nicht eingeschränkten Menschen verwandelt.

„Alles über uns ohne uns“

Wir sollten uns darüber im Klaren sein, dass dies eine eugenische Vision ist. Musk und Neuralink beanspruchen implizit das Recht für sich, zu definieren, was „normal“, „intelligent“ und „ideal“ ist.

Auf diese Weise kehren Neuralink – wie auch die vielen weniger invasiven KI-Systeme, die uns und unsere Welt beurteilen, vorhersagen und bewerten sollen – den Slogan der Behindertenrechte um: „Nichts über uns ohne uns.“ Neuralink baut stattdessen an etwas, das sich als das Gegenteil dessen beschreiben lässt: „Alles über uns ohne uns.“

Der Aktivist und Wissenschaftler Eli Clare betont in Reaktion darauf mit Verweis auf gehörlose Menschen: „Viele Gehörlose betrachten sich nicht als behindert, sondern als sprachliche Minderheit. Sie sehen den Grund für ihre Probleme nicht in ihrer Unfähigkeit zu hören, sondern in der mangelnden Bereitschaft der nicht gehörlosen Welt, die Gebärdensprache zu lernen und zu benutzen.“ Mit anderen Worten: Die Gehörlosengemeinschaft begrüßt keine Technologien, die in Clares Worten, „die Hoffnung der nicht-gehörlosen Welt mit sich bringen, sowohl die Gehörlosigkeit als Krankheit als auch das Gehörlosensein als Identität auszurotten.“

Anders ausgedrückt: Nicht jeder möchte der Version von Normalität entsprechen, die Elon Musk oder eine KI aufstellen. Und auch nicht jeder teilt diese beunruhigende Weltanschauung, die den Menschen als Problem und die Technologie der Konzerne als Lösung darstellt.

Sterblichkeit und Krankheit als lösbare Probleme

Der ehemalige Präsident von Neuralink, Max Hodak, beschreibt sich selbst auf seiner Website als „eine allgemeine Intelligenz, die in San Francisco lebt“. Er glaubt an Musks Fantasie einer Symbiose zwischen Mensch und KI und beschreibt Neuralink als „einen ungewöhnlichen Kniff“, der die Menschen in eine Art übermenschliche Spezies verwandeln könne. In einer Twitter-Umfrage aus dem Jahr 2021 fragte Hodak in Bezug auf die Versprechen von Neuralink: „Was hätte eine größere Auswirkung auf Sie: ein fotografisches Gedächtnis, eine ideale Aufmerksamkeitskontrolle, eine ideale emotionale Kontrolle oder die Kontrolle über das Tempo der Zeit?“

Hier sehen wir, wie eine allzu bekannte Perspektive auf körperliche Einschränkungen noch einen Schritt weiter vorangetrieben wird: Das medizinische Modell von Behinderung betrachtet den Wissenschaftlerinnen Sara Hendren und Mara Mills zufolge diese „als eine Beeinträchtigung, Krankheit oder Störung, die dem Individuum innewohnt“. Dieser Gedanke wird von Neuralink auf die unvollkommene Menschlichkeit als solche angewandt. Ja, nicht nur unsere körperlichen Bedürfnisse, sondern die Sterblichkeit selbst werden dabei als zu lösende Probleme betrachtet.

In dieser neoliberalen Betrachtungsweise wurzeln soziale Probleme darin, dass Individuen scheitern: Wir sind kaputt und bedürfen einer Reparatur. Und für das Problem, ein Mensch mit einem begrenzten Leben und Einschränkungen zu sein, verkauft Neuralink uns die „Lösung“. Damit beansprucht das Unternehmen das Recht, die Maßstäbe zu setzen, an denen unsere Menschlichkeit gemessen werden soll – und damit die Autorität, uns und unsere Welt zu definieren.

KI bestimmt schon jetzt darüber, wer Zugang zu Ressourcen erhält

Auch jenseits der Debatten um neuronale Technologie finden wir diese neoliberale Argumentation wieder, etwa mit Blick auf KI-Produkte in unserem Leben.

Denn Künstliche Intelligenz bestimmt schon jetzt darüber, wer Zugang zu Ressourcen und Chancen in ganz unterschiedlichen Bereichen erhält. Die Liste reicht vom Bildungswesen über die Strafjustiz, das Gesundheitswesen sowie Immobilien und Vermietungen bis hin zur Überwachung und der Beurteilung von Arbeitnehmern.

Und ganz gleich, was das Marketing auch verspricht: Diese Systeme werden von Unternehmen erstellt, die auf Profit und Wachstum abzielen. Und sie sollen Bedürftigkeitsprüfungen, Überwachung, Sparmaßnahmen und andere Formen der sozialen Kontrolle erleichtern. Die Nutzer dieser Systeme sind aber nicht die Menschen, die von diesen Systemen gerastert und bewertet werden. Zudem sind die Funktionen dieser Systeme nicht auf die Bedürfnisse der betroffenen Menschen eingerichtet.

Das ist auch der Grund, warum ich mich als Präsidentin der Signal Foundation dieser Entwicklung entgegenstelle. Die KI-Unternehmen wünschen sich eine Welt, in der sie die Privatsphäre, die Autonomie sowie die Fähigkeit zur Selbstdarstellung und Selbstbestimmung in ernste Gefahr bringen. Signal verteidigt diese von den Unternehmen bedrohten Werte.

Und natürlich sind jene Technologien, die wir KI nennen, grundsätzlich datenschutzfeindlich. Denn sie setzen es voraus, das technische Überwachungsmodell auszuweiten und zu verfestigen – indem sie immer mehr Daten erfassen und immer weitere Befugnisse für sich beanspruchen, um so unsere Welt mit Hilfe von KI-Systemen zu definieren.

Unsere Gedanken, unsere Psyche und unsere Körper?

Neuralink und andere kommerzielle KI-Systeme müssen wir in ebendiese Landschaft einordnen. Und wir müssen uns der Risiken gewahr werden, wenn in Zukunft eine Handvoll privater Unternehmen unser Leben, uns selbst sowie unsere Gefühle und Reaktionen vermessen will. Letztendlich wollen diese profitgetriebenen Unternehmen unsere Gedanken, unsere Psyche und unseren Körper besser interpretieren als wir es selbst vermögen.

Um sich darüber bewusst zu werden, wie folgenreich dies sein kann, genügt ein Blick zurück auf die 1960er Jahre. Damals kam es zu einem politischen Missbrauch der Psychiatrie. Jonathan Metzel hat dokumentiert, wie Änderungen am Diagnostischen und Statistischen Manual Psychischer Störungen (DSM) dazu führten, dass schwarze Bürgerrechtsführer:innen damals als „schizophren“ diagnostiziert wurden. Diese Diagnose beruhte weitgehend darauf, dass ihr Aktivismus pathologisiert wurde.

Oder richten wir den Blick auf das Jahr 1973. Bis dahin listete das DSM Homosexualität als psychische Störungen auf. Oder auf das Jahr 2012, als es noch Transsexualität als Krankheit auflistete. Viele Extremisten in den USA und im Vereinigten Königreich kämpfen derzeit mit allen Mitteln dafür, diesen Status wiederherzustellen.

KI und die epistemische Autorität

Lassen Sie mich eines klar sagen: Ich sehe keinerlei Beweise dafür, dass solche Technologien, die das Gehirn auslesen können, möglich sind oder dass etwaige Behauptungen stichhaltig wären. Ich möchte an dieser Stelle auf die Arbeiten von Luke Stark, Javon Hudson und anderen verweisen. Sie haben die Grenzen jener KI-Systeme aufgezeigt, die aktuell behaupten, die Emotionen, die Charakterzüge und die Fähigkeiten von Menschen „auslesen“ zu können.

Allerdings – und das ist der entscheidende Punkt in Bezug auf die epistemische Autorität – müssen diese Technologien nicht einmal funktionieren, wie behauptet wird, damit sie den Zielen der Unternehmen und Investoren zuträglich sind. Und wenn wir uns den aktuellen KI-Hype anschauen, dann erkennen wir das Bild von jener Zukunft, die die Unternehmen anstreben.

Der Fall Neuralink veranschaulicht deutlich, dass es den Willen gibt, die Welt bis in unser persönlichstes Inneres hinein zu gestalten. Unternehmen wollen sich die Fähigkeit der Menschen aneignen, ihre Gedanken, Gefühle und Wahrnehmungen frei zu äußern, ohne dass diese dabei von einem Computersystem gesteuert werden, dessen Perspektive immer die Ziele jener Unternehmen widerspiegelt, die diese Systeme produzieren und einsetzen.

Dem Hype entschieden entgegentreten

Eben das ist es auch, was der aktuelle Hype um das existenzielle Risiko der KI meiner Meinung nach erreichen soll: Zum einen soll er die Unausweichlichkeit und den Ausnahmecharakter dieser Technologie etablieren. Zum anderen soll der Hype von den unternehmerischen Zielen beim Einsatz der KI-Systeme ablenken. Gerade aus diesem Grund halte ich es für unerlässlich, dem Hype entschieden zu begegnen.

Es gibt keinerlei Beweise dafür, dass die KI an der Schwelle zur bösartigen Superintelligenz steht – oder jemals stehen wird. Francois Chollet ist Forscher auf dem Feld der Künstlichen Intelligenz und mitverantwortlich für eine der zentralen KI-Entwicklungsinfrastruktur. Er bringt es unverblümt auf den Punkt: „Um es klar zu sagen: Zum jetzigen Zeitpunkt und in absehbarer Zukunft gibt es kein KI-Modell und keine KI-Technik, die ein Aussterberisiko für die Menschheit darstellen könnte. Nicht in der Entstehungsphase und auch dann nicht, wenn man die Fähigkeiten durch Skalierungsgesetze in die ferne Zukunft extrapoliert.“

Allerdings ist es überaus fesselnd dieses existenzielle Risiko zu betonen – es erhöht das Adrenalin und schafft Ehrfurcht. Und es ist zugleich eine implizite Werbung für die KI-Systeme. Sie werden als besonders fähig dargestellt, gar als den Menschen überlegen. Noch einmal: Das muss nicht einmal der Wahrheit entsprechen, um die Welt zu beeinflussen.

KI-Mythen entlarven

Wie Sun-Ha Hong in seinem exzellenten Aufsatz Prediction as Extraction of Discretion feststellte, „übersteigen die sozialen Auswirkungen von Technologien […] in der Regel ihre tatsächlichen Fähigkeiten oder ihre Umsetzung“. Das ist möglich, weil die Geschichten über diese Technologien unser Verständnis darüber prägen, was möglich und was unvermeidlich ist. Und sie beeinflussen die Politik, unsere Gewohnheiten und unsere Werte.

Der von der Industrie vorangetriebene KI-Hype, der auf die Einführung der ChatGPT-Schnittstelle durch Microsoft im Januar folgte, trägt dazu bei. Er macht empirisch nicht fundierte Vorhersagen über die Fähigkeiten der KI und formt damit unsere Wahrnehmung dieser Technologie. Dies wiederum beeinflusst unser Handeln in der Gegenwart – mit Blick auf mögliche Regulierungen, auf die Art und Weise, wie diese Technologien entwickelt werden, und drauf, ob und wie Arbeitnehmer:innen geschützt werden.

Das ist auch einer der zentralen Gründe, warum die Unternehmen und ihre Verbündeten das existenzielle Risiko von KI geradezu herbeifantasieren. Sie hoffen offenbar, die öffentliche Meinung und politische Lösungsansätze auf die ferne Zukunft auszurichten, statt den Status quo zu regulieren.

Gerade deshalb ist es so wichtig, diese Erzählung der KI-Unternehmen zu korrigieren. Nicht nur weil wir in der Sache Recht haben wollen. Sondern weil wir unsere Entscheidungen auf einer realitätsnahen Grundlage treffen sollten. Es ist daher von entscheidender Bedeutung, dass wir die Geschichten über eine vermeintlich übermenschliche KI als das entlarven, was sie sind: Mythen.

Meredith Whittaker; netzpolitk.org; 07.06.2023

http://creativecommons.org/licenses/by-nc-sa/4.0/

Kategorie: Awareness | Künstliche Intelligenz

Diskriminierungsfreie KI

11/2023

Datenschutzrechtliche Anforderungen an diskriminierungsfreien KI-Einsatz

Die Funktionsweise der KI steht im kaum auflösbaren Spannungsverhältnis mit den wesentlichen Grundprinzipien des Datenschutzrechts. Damit steht  dieses Rechtsgebiet zwar nicht alleine – auch Urheberrecht, Straßenverkehrsrecht, allgemeines Gleichbehandlungsrecht usw. sind nicht wirklich kompatibel mit den bahnbrechenden neuen technischen Möglichkeiten. Der Datenschutz ist jedoch das aktuelle Thema unserer Zeit, weil (nur) in diesem Rechtsgebiet momentan eine echte Regulierung künstlicher Intelligenz stattfindet. Das momentan bedeutsamste Tool ChatGPT wurde in der Folge in Italien wegen Datenschutzverstößen für rund einen Monat gesperrt. Wesentlicher Grund für dieses robuste Enforcement waren bereits Unvereinbarkeiten mit grundlegenden Anforderungen der Datenschutz-Grundverordnung (DSGVO). Ein weiterer Antrieb für die staatliche Untersagung bildeten diskriminierende Ergebnisse sowie diskriminierungsfördernde Intransparenz.

Grundlegende Anforderungen des Datenschutzrechts am Beispiel ChatGPT

Ende März 2023 hat die Datenschutzbehörde Garante per la Protezione dei Dati Personali (GPDP) angeordnet, dass der Dienst in Italien vorerst nicht mehr  nutzbar gemacht werden durfte. Die verantwortliche Stelle OpenAI ist der Verpflichtung nachgekommen, indem sie den Zugang gesperrt hat für Rechner, die anhand ihrer IP-Adresse als italienisch erkannt wurden. Die Anordnungsgründe lauteten:

  • Keine klar erkennbare Rechtsgrundlage für massenhafte Datenerhebung und Verarbeitung zum Training der KI
  • Verarbeitung unrichtiger Daten, da mitunter unrichtige Ergebnisse bei An fragen zu natürlichen Personen ausgegeben werden
  • Keine Datenschutzinformationen, weder für Nutzer*innen noch für Personen, deren Daten im Datenbestand sind
  • Unzureichende Beachtung von Betroffenenrechten z.B. auf Auskunft, Lö schung und Berichtigung
  • Verstöße gegen Jugendschutz wegen teilweise unangemessener Antworten des Chatdienstes (die italienische Datenschutzaufsicht ist zugleich für Jugendschutz im Internet zuständig)

Nach rund einem Monat nahm die GPDP die Anordnung vorläufig zurück, nachdem OpenAI zahlreiche Sofortmaßnahmen ergriffen hatte. Mit der Rücknahme ist weder eine Bestätigung der Rechtmäßigkeit verbunden noch ist gewährleistet, dass ChatGPT damit dauerhaft angeboten werden darf. Vielmehr hat die Aufsichtsbehörde damit bestätigt, dass ein für die Dauer der Detailermittlungen zunächst tolerabler Zustand hergestellt wurde. Die Zugeständnisse von OpenAI umfassen öffentliche Datenschutzinformationen inklusive einer detaillierten Beschreibung der Funktionsweise, Widerspruchsformulare gegen die Verwendung der Nutzeranfragen zu Trainingszwecken sowie gegen die Verwendung der Daten von EU-Bürger*innen für die Antworten des Chatdienstes sowie die Möglichkeit der Löschung unrichtiger Rohdaten.

Jede europäische Datenschutzbehörde ist in ihrem Territorium zuständig, weil der Anbieter keine Niederlassung im Europäischen Wirtschaftsraum hat.

Ebenfalls Prüfungen eingeleitet haben mehrere europäische Datenschutzaufsichten sowie Behörden in den USA und Kanada. Die deutschen Landesdatenschutzbehörden haben eine gemeinsame Prüfaktion mit einheitlichen Fragen an OpenAI gestartet und der Europäische Datenschutzausschuss hat eine Taskforce zur koordinierten Rechtsdurchsetzung eingesetzt.

Rechtsgrundlage für die Verarbeitung

Im Rahmen ihrer zunächst summarischen Prüfung geht die italienische GPDP davon aus, dass keine Rechtsgrundlage im Sinne des Art. 6 DSGVO existiert, die den Dienst ChatGPT legitimiert. Künstliche Intelligenz nennt die DSGVO zwar an keiner Stelle, sie ist jedoch zumeist auf solche Dienste anwendbar. Soweit eine KI personenbezogene Daten automatisiert verarbeitet, ist der Anwendungsbereich eröffnet und eine Rechtsgrundlage notwendig. Dies betrifft sowohl das Training der KI als auch die spätere Nutzung. Dient also eine KI lediglich der Wettervorhersage oder beispielsweise der Auswertung von Wellenbewegungen zur Tsunami-Warnung, sind keine personenbezogenen Daten involviert. Dann bedarf es keiner weiterer datenschutzrechtlicher Überlegungen. Auch anonyme Trainingsdaten unterfallen nicht der DSGVO, weshalb teilweise synthetische Daten für die Entwicklung von KI-Systemen verwendet werden, um den Anwendungsbereich zu umgehen. Zumeist erfolgt das Training jedoch anhand von Echtdaten bzw. solchen, die zumindest einen mittelbaren Personenbezug aufweisen.

Ist der Anwendungsbereich eröffnet, greift das datenschutzrechtliche Verbotsprinzip. Wenn eine KI personenbezogene Daten verarbeitet, ist das vom Grundsatz her verboten, solange keine Ausnahme greift. Eine solche Ausnahme kann in einer Einwilligung oder einer gesetzlichen Grundlage bestehen. Es existiert keine spezifische Rechtsgrundlage für künstliche Intelligenz, sodass letztlich auf die allgemeinen Erlaubnistatbestände des Art. 6 DSGVO zurückgreifen muss, die eine umfassende Einzelfallbetrachtung voraussetzen.

Die Hambacher Erklärung der deutschen Datenschutzbehörden unterstreicht die Bedeutung des Zweckbindungsgebots der jeweiligen Rechtsgrundlage. Da nach haben Verwender*innen von Daten bereits bei Erhebung festzulegen und zu dokumentieren, wofür konkret die Daten benötigt werden. Von dieser Zweckbestimmung darf nur im Ausnahmefall anhand der Kriterien des Art. 6 Abs. 4 DSGVO abgewichen werden. Die Zweckbindung gehört zu den „Tragenden Säulen des Datenschutzrechts“, stellt dabei aber eine besondere Herausforderung für KI dar. Sie ist schon konzeptionell unvereinbar mit dem Grundkonzept von Big Data, bei dem zunächst eine große Datenbasis aufgebaut wird, ohne dabei festzulegen, welche Schlüsse daraus gezogen werden sollen. Schließlich ist es in der Entwicklungsphase unvorhersehbar, welche Fragestellungen ein Dienst wie ChatGPT in der späteren Nutzungsphase zu bearbeiten hat. Art. 6 Abs. 4 DSGVO ermöglicht durchaus eine Zweckänderung, wenn der  neue Zweck mit dem bisherigen vereinbar ist. Das kann jedoch nicht pauschal bejaht werden, sondern erfordert Einzelfallbetrachtung der konkreten Daten und der konkreten Zwecke. Dieses differenzierte Vorgehen ist regelmäßig problematisch, wenn eine Anwendung jedermann zur freien Verfügung steht und zudem nicht transparent ist, woher und aus welchem Zusammenhang die Daten stammen.

Richtigkeit

Art. 5 Abs. 1 lit. d DSGVO untersagt Diskriminierung durch verzerrte Datensätze. Auch unwahre Daten zu einer Person sind personenbezogene Daten. Dabei ist die informationelle Selbstbestimmung in besonderem Maße verletzt, wenn nicht nur Daten, sondern zugleich auch Unwahrheiten über ein Individuum im Umlauf sind. Falsch sind Ergebnisse, wenn sie objektiv nicht der Wahrheit entsprechen; wenn Ergebnisse unangemessen und dadurch diskriminierend sind, hilft das Gebot der Datenrichtigkeit nicht. Zudem verlangt die Vorschrift auch Aktualität des Datenbestands. Verantwortliche Stellen sind verpflichtet, angemessene Maßnahmen zur Gewährleistung der Datenqualität zu ergreifen, sowohl aktiv durch Überprüfung und Aktualisierung als auch passiv durch Berücksichtigung von Hinweisen. Bekanntermaßen ist der Dienst Chat- GPT-4 nicht durchgehend in der Lage, korrekte Aussagen zu Personen zu machen und baut für seine Antworten auf einem Datenbestand von Ende 2021 auf.

Eine Umsetzung des Gebots der Datenrichtigkeit ist im Nachhinein kaum möglich, weil sich selbstlernende Systeme eigenständig weiterentwickeln. Wenn fehlerhafte Ergebnisse ausgeworfen werden, lässt sich bei einer KI nicht immer nachvollziehen, welcher Entwicklungsschritt zu korrigieren wäre. Es besteht allenfalls die Option, die Rohdaten zu überprüfen und gegebenenfalls zu korrigieren. Fehler passieren aber nicht notwendigerweise durch unrichtige Rohdaten, sondern auch im Rahmen des Trainings etwa durch ungeeignete Parameter oder nicht repräsentative Gewichtungen.

Transparenz

ChatGPT hielt bis zu den Verhandlungen mit der italienischen Aufsicht keine brauchbaren Datenschutzinformationen vor. Wenn jedoch Daten zu Trainingszwecken übermittelt und genutzt werden – und das ist bei KI-Anwendungen so gut wie immer der Fall – dann ist das klar zu benennen. Die Hambacher Erklärung der deutschen Datenschutzbehörden zeigt daher die  aus Art. 5 Abs. 1 lit. a, Art. 12 ff. DSGVO folgende Anforderung auf, dass KI transparent, nachvollziehbar und erklärbar sein muss.

Diese sehr eindeutig im Datenschutzrecht verankerte Anforderung ist für Betreiber*innen von KI kaum umsetzbar. Dies ist in ihrer Funktionsweise begründet. Wesensmerkmal einer KI ist die sehr selbständige Analyse, ohne dass Datenanalysten und Betreiber exakt nachvollziehen können, wie ein Ergebnis zustande gekommen ist. Letztlich ist eine komplexe KI eine „black box“, bei der  das Zustandekommen einer Entscheidung wenig oder gar nicht erklärbar ist. Der große Mehrwert solcher Maschinen ist gerade das Erkennen von Zusammenhängen im Datenbestand, die Menschen nicht ohne weiteres gesehen hätten. Sie gibt jedoch für gewöhnlich nur das Ergebnis aus, nicht notwendigerweise die Herleitung dorthin. Zudem ist die rechtlich gebotene Information „zum Zeitpunkt der Erhebung“ (Art. 13 Abs. 1 DSGVO) kaum umsetzbar. In der Regel ist dieser Zeitpunkt während der Trainingsphase des KI-Modells, in dem nicht feststeht, welche Schlüsse die KI künftig durch Verkettung von Roh daten ziehen wird.

Auch die inhaltlichen Anforderungen an die Datenschutzinformationen einer KI sind hoch. So ist in einfachen Worten adressatengerecht zu erklären, wie die KI arbeitet. Dabei ist nicht erforderlich, dass die Funktionsweise so verstanden  wird, dass der Leser*innen die Software nachbauen könnten. Es geht vielmehr darum, die involvierte Logik abstrakt zu erklären, so dass die Gefahren deutlich  werden. Raji vergleicht dies anschaulich mit der Funktionsweise des elektrischen Stroms: Dessen Grundidee, Gefahren und Vorsichtsvorkehrungen lassen sich auch für Laien erklären, ohne dass auf sich abstoßende Elektronen eingegangen werden muss. Ähnlich sind die Anforderungen an die Erklärung einer KI. Es muss nachvollziehbar sein, warum ein bestimmter Input zu einem bestimmten Output führt. Nutzer*innen und Betrachtungsobjekte der KI müssen daraufhin abschätzen können, welche Verhaltensänderungen beispielweise einer KI zur Erkennung der Kreditwürdigkeit zu einer positiveren Einschätzung verhelfen würden.

Neben der öffentlichen Datenschutzinformation ist eine interne Datenschutz-Folgenabschätzung erforderlich. Dieses Risiko-Assessment ist unter anderem verpflichtend bei der Einführung neuer Technologien (Art. 35 Abs. 1 Satz 1 DSGVO). Dies beinhaltet insbesondere Konstellationen, bei denen die gesellschaftlichen Auswirkungen noch nicht voll absehbar sind. Auch an sich etablierte Techniken sind neu, wenn sie verbessert oder auf neue Art eingesetzt wer den. Zudem ist eine Datenschutz-Folgenabschätzung notwendig bei systematischer und umfassender Bewertung von Individuen auf Grundlage einer automatisierten Vereinbarung (Art. 35 Abs. 3 lit. a DSGVO). Dabei ist nicht entscheidend, ob Profile in Form von Datensätzen zu einzelnen Personen vorgehalten werden. Es genügt, dass während der einzelnen Verarbeitung verschiedene Angaben zu einer Person zusammengeführt werden.

Betroffenenrechte

Herr seiner Daten ist nur, wer nachvollziehen kann, was an welchem Ort über ihn gespeichert ist, und wer dabei Unwahrheiten korrigieren kann. Hinsichtlich der Datenrichtigkeit sind Löschung und Berichtigung besonders wichtig. Erneut stößt das Grundkonzept der KI unauflösbar auf klare Anforderungen des Datenschutzrechts. Sind die Rohdaten in ein KI-Modell eingeflossen, ist kaum mehr nachvollziehbar, an welcher Stelle ein Fehler passiert ist, der durch nachträgliche Löschung oder Berichtigung getilgt werden könnte. Bereits die Auskunft auf alles, was über die Trainings-Rohdaten hinaus geht, ist in  der Umsetzung problematisch. Auskünfte zu personenbezogenen Daten nach erfolgten Verarbeitungen sind nicht umsetzbar, wenn nicht nachvollziehbar ist,  wie die KI zu ihren Ergebnissen gelangt. Dadurch sind die Betroffenenrechte nicht ausreichend auf das Szenario künstlicher Intelligenz abgestimmt.

Nach Art. 15 Abs. 1 lit. h DSGVO umfasst der Auskunftsanspruch auch Aussagen über involvierte Logik. Dies betrifft jedoch nur die abstrakte Funktionsweise, sodass die Risiken und grundlegenden Entscheidungsfaktoren nachvollziehbar sind. Nicht offengelegt werden muss der Algorithmus in  der Weise, das wirklich nachvollzogen und vorhergesagt werden kann, welche  Entscheidung die KI bei welcher Frage treffen wird. Diese Detailtiefe wäre ein  geschütztes Geschäftsgeheimnis entsprechend der langjährigen Rechtsprechung zur Schufa. Diese Einschränkung ist auch mit der DSGVO vereinbar, weil deren ErwGr 63 Satz 5 Geschäftsgeheimnisse und Urheberrechte an Software als Grenze anerkennt. Einblick kann zwar in die Rohdaten verlangt wer den, aber nicht in den Entscheidungsprozess an sich. Zudem besteht nur eine Auskunftsanspruch über die eigenen Daten. Um die Arbeitsweise einer KI wirklich nachzuvollziehen, müssten alle Rohdaten vorliegen, aber die Gesamtheit der Rohdaten unterliegt dem Vertraulichkeitsinteresse der übrigen Betroffenen und der Geschäftsgeheimnisinhaber*innen.

Diskriminierungsbeschränkende Regelungen

Die Ausführungen unter A. zeigen, dass KI-Dienste wie ChatGPT bereits mit den grundlegenden Kernanforderungen des Datenschutzrechts im kaum auflösbaren Konflikt stehen. Soweit Datenrichtigkeit und Transparenz betroffen sind, hat dies schon mittelbare Bezüge zu Diskriminierung. Die DSGVO weist jedoch auch konkrete Regelungen auf, die auf die Verhinderung von Diskriminierung gerichtet sind, jedoch nicht Gegenstand der italienischen Anordnung zu ChatGPT gewesen sind. Diskriminierungsbekämpfung ist zwar nicht der zentrale Gesetzeszweck des Datenschutzrechts, aber dennoch an diversen Stellen punktuell mitgeregelt.

Ausstrahlung anderweitiger Diskriminierungsverbote auf das Datenschutzrecht

Zunächst haben Diskriminierungsverbote aus anderen Rechtsbereichen direkte Auswirkungen auf die Rechtmäßigkeit der zugrunde liegenden Datenverarbeitungen. Die meisten datenschutzrechtlichen Erlaubnisnormen enthalten Tatbestandsmerkmale wie „erforderlich“ oder „notwendig“ oder setzen wie Art.  6 Abs. 1 lit. f DSGVO eine direkt benannte Güterabwägung voraus. Wenn eine  KI diskriminiert, dann steht das der Abwägung im Rahmen der Rechtsgrundlage entgegen. Ist eine Verarbeitung beispielsweise diskriminierend im Sinne des § 1 AGG, darf sie nicht erfolgen. Sie ist damit auch nicht erforderlich, not- wendig oder verhältnismäßig im Sinne der jeweiligen datenschutzrechtlichen Rechtsgrundlage. Dasselbe gilt für Diskriminierungsverbote aus Grundrechten. Da die DSGVO unionsrechtliches Sekundärrecht ist, sind für ihre Auslegung die Grundrechte der GRCh heranzuziehen, konkret Art. 20-23  GRCh.

Die im vorangegangenen Beitrag von Yakar dargestellten Diskriminierungsverbote haben daher unmittelbar auch datenschutzrechtliche Verarbeitungsverbote zur Folge. Wenn eine ohnehin verbotene Diskriminierungshandlung zugleich auch nach der DSGVO verboten ist, folgt daraus ein entscheidender Mehrwert: Im Datenschutzrecht existieren funktionierende, staatliche Regulierungsstrukturen, sodass eine flächendeckende Rechtsdurchsetzung möglich ist. Anderen Bereichen wie dem AGG oder den Gleichheitsgrundrechten stünde ohne die Annexfolge der DSGVO nur die individuelle Rechtsdurchsetzung im Einzelfall offen.

Schutz besonderer Datenkategorien

Besonders diskriminierungsgeeignete Daten sind besonders geschützt. Art.  9 Abs. 1 DSGVO statuiert ein nur unter engen Voraussetzungen zu durchbrechendes Verbot für die Verarbeitungen von Informationen zur rassischen und ethnischen Herkunft, zu politischen Meinungen, religiösen oder weltanschauli chen Überzeugungen, Gewerkschaftszugehörigkeiten, genetischen Daten, biometrischen Daten, Gesundheitsdaten, zum Sexualleben und zur sexuellen Orientierung. Nur die direkte Anknüpfung an die Artikel-9-Daten ist verboten, nicht aber die mittelbare Anknüpfung. Scheinbar neutrale Kriterien, die in engem Zusammenhang mit den eigentlich verbotenen Kategorien stehen, aber nicht unmittelbar die Kategorie selbst betreffen, dürfen unter den normalen Vo raussetzungen der DSGVO verwendet werden. So ist es unzulässig, Angaben zur Zugehörigkeit einer ethnischen Volksgruppe zu verarbeiten, während Informationen zum Geburtsort oder der Staatsangehörigkeit möglich sind. Das Verarbeitungsverbot klingt nachvollziehbar, um Diskriminierungen zu verhindern, bringt aber auch sinnvolle Dienste regelmäßig an ihre Grenzen. Soll beispielsweise eine KI wirksam Hate Speech erkennen – zum wünschenswerten Zweck der Eindämmung von Diskriminierung – dann muss sie Gesprächsinhalte inhaltlich analysieren, anstatt nur Schlüsselworte zu suchen. Hate Speech enthält jedoch regelmäßig Angaben über politische und weltanschauliche Anschauungen oder zur (vermeintlichen) sexuellen Orientierung oder Ethnie.

Erlaubnistatbestände des Art. 9 Abs. 2 DSGVO

Art. 9 Abs. 2 DSGVO enthält einen Katalog von Erlaubnistatbeständen für die Verarbeitung von Daten der besonders geschützten Kategorien, doch die Ausnahmen sind eng und der Katalog abschließend. Danach ist stets die Erforderlichkeit für im Gesetz spezifisch benannte Zwecke Voraussetzung. Das kann bei einem frei verwendbaren KI-System, dem jede:r Fragen stellen kann, nicht gewährleistet werden.

Einwilligung

Der einzige für alle Zwecke und Bereiche breit einsetzbare Ausnahmetatbestand des Art. 9 Abs. 2 DSGVO ist die spezifische Einwilligung. Willigen die Betroffenen einer KI-Verarbeitung sensibler Daten ein, erlaubt das die Entscheidungsfindung durch die KI auch anhand diskriminierungsgeeigneter Kategorien. Auch die ggfs. ungewollte Diskriminierung ist dann von der legalisierenden Wirkung der Einwilligung umfasst. Wenn also beispielsweise in ein Analysetool zum Recruiting eingewilligt wurde, dann verhindert Art. 9 nicht mehr die mögliche Ausländerdiskriminierung der KI.

Es genügt jedoch nicht die Einwilligung der Person, die der KI Fragen stellt. Auch alle Betroffenen müssten einwilligen. Das ist der entscheidende Punkt, warum die Einwilligung für KI-Systeme meist als Rechtfertigungstool nicht in Frage kommt. Nur in abgegrenzten Projekten mit klarem Zweck und erreichbarem Betroffenenkreis ist die Einwilligung praktikabel. Wenn beispielsweise Patient*innen in die KI-gestützte Tumorerkennung einwilligt, dann lässt sich dies  gut auf eine Einwilligung stützen. In einer solchen Konstellation ist es auch unproblematisch möglich, nach der Erlaubnis zu fragen, ob Röntgenbilder zum Training der KI per Einwilligung gespendet werden sollen. Wenn aber ein Programm wie ChatGPT sich autonom in frei verfügbaren Quellen bedient, dann müssten die dort Betroffenen einwilligen. Das sind im Zweifel alle noch leben den Menschen, über die Ende 2021 Informationen im Internet abrufbar gewesen sind. Das wird nicht umsetzbar sein. Ein weiteres Praxisproblem der Einwilligung ist ihre jederzeitige und voraussetzungsfreie Widerrufbarkeit. Entscheiden sich einzelne Betroffene, ihre Einwilligung zurückzuziehen, sind deren Daten ex nunc nicht mehr zu verwenden. Das ist in der Umsetzung problematisch, weil in einem KI-Modell kaum nachvollziehbar ist, inwiefern die Trainingsdaten tatsächlich eingeflossen sind.

Verzicht auf besondere Datenkategorien

Wenn kein Ausnahmetatbestand des Art. 9 Abs. 2 DSGVO greift, weil insbesondere die Einwilligung keine praktische Option darstellt, dann dürfen die sogenannten besonderen personenbezogenen Daten nicht verarbeitet werden. Diese simpel anmutende Lösung ist in der Praxis jedoch ebenfalls kaum oder nur mit hohem Aufwand realisierbar, weil viele besonders geschützte Daten in  harmlos erscheinenden Datensätzen mitschwingen. So enthalten beispielsweise  Fotografien von Personen stets auch implizit die Angabe, ob es sich um Brillen träger*innen handelt oder welche Hautfarbe sie aufweisen. Daraus lassen sich Informationen zum Sehvermögen, also zum Gesundheitszustand, sowie zur ethnischen Herkunft ableiten. Als Beiwerk ist dies nicht zu beanstanden. Die Verwendung von Portraitbildern durch eine KI ist deshalb nicht pauschal verboten. Wichtig ist aber, dass die KI dieses Informations-Beiwerk nicht zur Grundlage seiner Mustererkennung und Entscheidung macht. Wenn die besonderen Kategorien in einem Kontext verwendet werden, in dem es speziell auf sie ankommt  (z.B. Werbung an bestimmte Volksgruppe) oder speziell auf das Detail abgestellt wird (z.B. Liste mit Einwohner*innen dunkler Hautfarbe), ist dies eine Verletzung des Art. 9 Abs. 1 DSGVO. Die KI muss davon abgehalten werden, die geschützten Merkmale für eine Mustererkennung zu verwenden, um daraus Schlüsse zu ziehen, dass z.B. Brillenträger*innen bevorzugt einzustellen sind o der die Hautfarbe ein Kriterium für die Bonität sein könnte. Es kommt also  beim „Beifang“ auf den Kontext der Verarbeitung an, während direkte Angaben  der besonderen Kategorien wie z.B. Diagnosen (Sehstärke, Erkältung, HIV) steht Gesundheitsdaten sind.

Die KI hat folglich sehr komplexe Differenzierungen vorzunehmen, wenn sie die unzulässige Verarbeitung von Daten besonders geschützter Kategorien zu unterlassen hat. Ihr dies anzutrainieren, ist durchaus möglich. Es erfordert jedoch engmaschige Steuerung beim Training.

Automatisierte Entscheidungsfindung

Art. 22 DSGVO richtet sich gegen automatisierte Entscheidungen mit Rechtswirkungen für Individuen. Zweck ist eher die Verhinderung von Diskriminierung als der Schutz personenbezogener Daten. Die Vorschrift richtet sich bei aller Technikoffenheit insbesondere an KI-Systeme. Es ist nicht der Inhalt einer Entscheidung, den Art. 22 DSGVO reguliert, sondern nur das Ver fahren, wie die Entscheidung zustande kommt. Zugleich wird auch nicht das komplette Verfahren Schranken unterworfen, sondern nur die abschließende Entscheidung selbst, also der letzte Schritt der Entscheidungsfindung. Insofern beschränkt Art. 22 DSGVO nicht die KI selbst, sondern nur das, was mit dem Output der KI geschieht. Eine KI wird durch die Vorschrift also nicht daran gehindert, Personen zu diskriminieren. Wenn sie aber schon diskriminiert werden, dann soll das durch den Willen des Gesetzgebers nicht ausschließlich durch eine „kalte“ Maschine erfolgen, sondern durch einen Menschen „mit Herz“.

Der Unionsgesetzgeber bringt mit Art. 22 DSGVO ein reines Unbehagen gegenüber nichtmenschlichen Entscheidungen zum Ausdruck, regelt dabei aber nur seltene Extremfälle der völlig autonomen Entscheidung mit Rechtswirkung für einzelne Menschen. Er greift damit eine empirisch nicht belegte, aber doch  angenommene weit verbreitete Algorithmenphobie auf. Dabei lässt sich durchaus infrage stellen, ob menschliche Entscheidungen tatsächlich vorzugswürdig sind gegenüber von Menschen trainierte künstliche Intelligenzen. Ob eine KI vorurteilsfreier agieren kann als Einzelpersonen, hängt entscheidend von der Qualität der Trainingsdaten und dem Engagement beim KI-Training ab. Art. 22 DSGVO differenziert insofern jedoch nicht, sondern erklärt alle automatisierten Entscheidungen für problematisch, soweit sie den Rechtsstatus von Menschen betreffen.

Verbot automatisierter Entscheidung mit Rechtswirkung

Aus Art. 22 Abs. 1 DSGVO folgt das subjektive Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen werden zu müssen. Jedenfalls darf eine solche Entscheidung nicht ungeprüft und unkorrigierbar erfolgen. Entscheidendes Kriterium ist, ob sie gegenüber einzelnen Menschen rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Beispiele für solche Rechtswirkungen sind der Abschluss, die Ablehnung oder die Kündigung eines Vertrags, nicht aber die automatisierte Preisdifferenzierung. Auch staatliche Entscheidungen haben rechtliche Wirkung, wenn beispielsweise eine KI eine Baugenehmigung erteilt bzw. ablehnt, über eine Einbürgerung beschließt, Sozialleistungen gewährt oder ablehnt oder ein gerichtliches Urteil fällt.

Praktisch relevante Anwendungsfälle ergeben sich oft bei der Ablehnung eines Vertrags im Internet, weil eine KI einen Betrugsversuch vermutet. So nehmen  KI-Systeme mitunter diskriminierende Wertungen vor, indem sie beispielsweise Auslandsabrufe oder auch ungewöhnliches Surfverhalten bedingt durch gesundheitliche Einschränkungen oder hohes Alter als kriminelle Attacke einstufen. Wird zunächst nur der Zugang gesperrt und per Mail aufgefordert, das Passwort neu zu vergeben, ist der rechtliche Status unangetastet. Wird hingegen ein Nutzungsvertrag dauerhaft gekündigt oder eine Leistung verweigert, ist Art. 22  DSGVO einschlägig. Dasselbe gilt bei Alarmierungen wegen auffälliger Kamerabilder, bei denen eine Analyse-KI kriminelles Verhalten vermutet. Soweit lediglich menschliche Security alarmiert wird, ist der rechtliche Status unverändert; wenn eine Tür automatisiert verschlossen wird, mag das im Einzelfall anders sein.

Ausnahmen für zulässige automatisierte Entscheidung

Automatisierte Entscheidungen sind nicht in jedem Fall verboten. So sind  beispielsweise Smart Contracts zumeist erlaubt, weil sie im B2B-Bereich keine Entscheidungen über Individuen beinhalten. Darüber hinaus sieht Art. 22 Abs. 2 DSGVO Ausnahmen vom Verbot vor, wenn die Automatisierung durch Einwilligung, durch Vertrag oder durch mitgliedstaatliche Rechtsgrundlage vorgesehen ist. Diese Ausnahmen sind in ihrer Wirkung weitreichend, indem sie algorithmische Diskriminierung alleine dadurch erlauben, dass sie von vorneherein  vorgesehen ist.

Praktisch wichtigster Ausnahmefall ist die Erforderlichkeit der automatisierten  Entscheidungsfindung zur Vertragsbegründung. Dies ist hoch relevant für durch KI abgelehnte Vertragsabschlüsse beim Massengeschäft im Internet. Die automatisierte Entscheidung muss auch nicht den Hauptleistungsgegenstand der Vereinbarung bilden, sondern kann die Vertragsdurchführung erleichtern. Das Kriterium ist dahingehend eng auszulegen, ob weniger invasive Verfahren möglich sind. Ein typisches Beispiel ist die Zahlartensteuerung, ob im  Einzelfall Rechnungskauf angeboten wird, oder auch die Betrugsprävention im Internet. Es wäre nicht im Kundeninteresse, wenn der Kauf erst getätigt werden  kann, nachdem die nächste freie Servicekraft verfügbar ist und Gelegenheit  hatte, sich ein ernsthaftes Bild von der Ausfallwahrscheinlichkeit eines Kredits  oder der Redlichkeit einer Käuferin zu machen. Wenn hier eine KI binnen Sekunden eine Entscheidung trifft, ist das zunächst im beiderseitigen Interesse. Wer durchs Raster fällt, dem bleibt das Recht auf Nachprüfung durch ein Individuum gemäß Art. 22 Abs. 3 DSGVO. In dem zwingend anzubietenden Verfahren besteht die Möglichkeit, dem fallbearbeitenden Menschen einen ergänzenden Standpunkt vorzutragen.

Menschliche Letztentscheidung

Die Praxisrelevanz des Art. 22 DSGVO ist bislang überschaubar. Die strengen Anforderungen lassen sich nämlich relativ leicht aushebeln, indem zur  Letztentscheidung stets ein Mensch eingesetzt wird. Vorbereitende Systeme fallen nicht in den Anwendungsbereich der KI, solange sie nur eine Entscheidung empfehlen, ohne sie abschließend automatisiert zu fällen. In der Praxis vertrauen weder Staat noch Unternehmen gewichtige Entscheidungen z.B. über  das Personal ausschließlich einer Maschine an, ohne eine Fachkraft zumindest zu involvieren.

Wichtig ist jedoch, dass die Mitwirkung des Menschen keine bloße Förmelei sein  darf. Es muss genug Spielraum für den Menschen geben, von der Maschine abzuweichen. Dafür muss die Person, die eine inhaltliche Bewertung des maschinellen Vorschlags vornimmt, entsprechend befugt und fachkompetent sein. Sie benötigt auch die notwendigen zeitlichen Ressourcen, um den Entscheidungsfall tatsächlich überprüfen zu können. Wer nur wenige Minuten pro  Sachverhalt zur Verfügung hat, wird keine andere Wahl haben, als stets auf „ok“ zu klicken.

Selbst dann, wenn die Entscheidungskraft qualifiziert und entscheidungsbefugt ist, unterliegt sie oftmals dem sogenannten Phänomen „automation bias“, bei dem der Maschine ein so hohes Vertrauen entgegengebracht wird, dass die Individuen ihre Ergebnisse kaum anzweifeln. Das Phänomen wird verstärkt, wenn der Lösungsweg einer KI nicht offengelegt wird, sondern aus Big Data eine nicht näher begründete Schlussfolgerung abgeleitet und ausgegeben wird. Dann fehlt es der letztentscheidenden Person faktisch an den notwendigen Informationen, um das Ergebnis qualifiziert anzuzweifeln. Kommt beispielsweise eine KI nach Analyse des kompletten Internets zu der Annahme, ein Kreditantragsteller werde trotz gutem Schufa-Score voraussichtlich seine Schulden nicht vollständig tilgen, dann hat die KI dafür eine größere Datenlage zur Verfügung als die sachbearbeitende Person jemals wird kognitiv erfassen können. Wenn die Person weiß, auf welche Information die Annahme fußt, seien es gesundheitliche Mutmaßungen, seien es ein bevorstehender Militäreinsatz, Drogenkonsum oder eine bevorstehende Scheidung – dann kann sie sich eine eigene Meinung bilden. Auch diskriminierende Kriterien kann die Person dann wieder

„herausrechnen“. Wenn ihr hingegen die Entscheidungsgrundlage fehlt, wird sie gegebenenfalls das KI-gestützte Ergebnis mittragen müssen.

Der Anwendungsbereich des Art. 22 DSGVO könnte sich durch eine bevorstehende Entscheidung des EuGH gegenüber der bisherigen Praxis deutlich ausweiten. Hintergrund sind die Schlussanträge des Generalanwalts Pikamäe hinsichtlich der Einstufung der Schufa. Bisweilen war allgemein davon ausgegangen worden, dass die Errechnung eines prozentualen Wahrscheinlichkeitswertes  für einen Zahlungsausfall für sich genommen nicht unter Art. 22 Abs. 1 DSGVO fallen kann, weil die Auskunftei dabei nichts entscheidet. Sie gibt nicht einmal eine Empfehlung ab, ob ein Kredit vergeben werden soll. Jedes Kreditinstitut, das die Schufa nutzt, entscheidet eigenständig, bei wieviel Prozent seine „Schmerzgrenze“ liegt. Der Generalanwalt hat nun seinen Standpunkt  mitgeteilt, der Schufa-Score beeinträchtige betroffene Personen in einer in Weise, die einer rechtlichen Wirkung ähnlich sei. Der Wert, den die Schufa errechnet, sei demnach auch eine Entscheidung, die nicht zwingend rechtlich sein müsse, sondern auch wirtschaftlicher Natur sein könne. Das Scoring der Auskunftei bestimme die spätere Kreditablehnung vor und sei damit bereits als eigenständige Entscheidung einzustufen. Folgt der EuGH der Wertung seines Generalanwalts, ist die Score-Berechnung der Schufa künftig als automatisierte Entscheidung anzusehen, weil dritte Wirtschaftsteilnehmer*innen nach ständiger gelebter Praxis den Wert für die Begründung, Durchführung oder Beendigung eines Vertragsverhältnisses zugrunde legen, ohne ihn nennenswert zu hinterfragen.

Daraus folgt für KI-Dienste, dass sie durchaus erlaubt sind, man ihnen aber  nicht ohne weiteres die Letztentscheidung über Individuen überlassen darf. Bereits dann, wenn eine intransparente KI faktisch großen Einfluss hat, nimmt sie Entscheidungen über Menschen vor, die nur andere Menschen treffen dürfen.

Scoring

Nach § 31 Abs. 1 BDSG darf ein Wahrscheinlichkeitswert über künftige Ver haltensweisen zur Vertragsbegründung oder -beendigung nur unter besonderen  Bedingungen genutzt werden. Faktisch geht es um Bonitätsauskünfte von Auskunfteien mit Punktwerten für die Zahlungsausfallwahrscheinlichkeit eines Kredits oder Rechnungskaufs. Aber auch andere Prognosen sind tatbestandlich umfasst. Damit sind genau die Mustererkennungen vom Anwendungsbereich des § 31 BDSG umfasst, für die KI prädestiniert ist. Es handelt sich um ein zusätzliches Verbot, eine Rechtsgrundlage (vgl. oben A.I.) wird darüber hinaus  benötigt. Normadressat ist nicht die Stelle, die den Score berechnet, sondern wie  schon bei Art. 22 DSGVO die verwendende Stelle, die darauf rechtliche Schritte  aufbaut. Auch hier handelt es sich also um keine Beschränkung dessen, was eine KI machen darf, sondern lediglich eine Beschränkung dessen, wie Menschen das Ergebnis nutzen.

Der Wahrscheinlichkeitswert muss unter Zugrundelegung eines wissenschaftlich anerkannten mathematisch-statistischen Verfahrens ermittelt worden sein. Die Datenlage hat also inhaltlich richtig und aktuell zu sein und das darauf aufbauende Verfahren hat nachweisbar korrekte Prognosen zu erstellen. Das wird eigentlich als sehr niedrige Hürde angesehen, die nur eine Selbstverständlichkeit abbildet. Es ist aber hoch problematisch für „black boxes“ und fehler anfällige, nicht ausgereifte KI.

Konkret verboten ist nach § 31 Abs. 1 Nr. 3 BDSG darüber hinaus reines Geoscoring ausschließlich auf Basis der Wohnanschrift einer Person. Verstöße sind selten, weil das Verbot leicht umgangen werden kann. Schon das Hinzufügen eines weiteren Attributs genügt. Wenn Auskunfteien zu einer Person kaum  weitere Merkmale als Namen und Anschrift kennen, dann wird im Zweifel der Wohnort mit dem Alter und Geschlecht kombiniert. Und wenn Alter und/oder Geschlecht unbekannt sind, werden beide Merkmale aus dem Vornamen abgeleitet. Der Vorname ist dafür zwar nur bedingt geeignet, aber es ist handelt sich  auch nur um einen Wahrscheinlichkeitswert in Form einer geschätzten Prognose,  für die eine KI, die ausschließlich aus Erfahrungswerten Schlüsse zieht, technisch gut geeignet ist. Diskriminierungen aufgrund des Vornamens werden  durch § 31 BDSG nicht verhindert; hier besteht Reformbedarf.

Fazit

In besonderen Konstellationen kann das Datenschutzrecht Diskriminierung verhindern. Dies betrifft spezifische Analysen mittels Geoscoring, Gesundheitsdaten oder rein maschinellen Entscheidungen. Dabei handelt es sich jedoch nur um enge Schlaglichter in außergewöhnlichen Fällen; flächendeckende Diskriminierungsverhinderung kann der Datenschutz nicht gewährleisten. Ob das Recht auf menschliche Entscheidung tatsächlich vorurteilsfreiere Ergebnisse er zielt, kann auch bezweifelt werden.

Datenschutzrecht ist schlichtweg nicht primär als Waffe gegen Diskriminierung gedacht. Zum aktuellen Stand ist es das schlagkräftigste Rechtsgut, das gegen diskriminierende KI existiert. Ausreichend ist es jedoch nicht. Der Gesetzgeber ist hier, insbesondere bei der Ausgestaltung der KI-Verordnung, ge fragt, adäquate Regelungen für faire intelligente Systeme zu schaffen.

Zur einfacheren Lesbarkeit wurden die Quellen- und Literaturverweise entfernt.

Jens Ambrock in: Diskriminierungsfreie KI; digital | recht, Schriften zum Immaterialgüter-, IT-, Medien-, Daten- und Wettbewerbsrecht; Universität Trier, Trier; 2023

https://creativecommons.org/licenses/by-nd/4.0/deed.de

DOI: 10.25353/ubtr-xxxx-476a-12bf

Kategorie: Awareness | Datenschutz | Künstliche Intelligenz
© Swiss Infosec AG 2026