11/2023
Datenschutzrechtliche Anforderungen an diskriminierungsfreien KI-Einsatz
Die Funktionsweise der KI steht im kaum auflösbaren Spannungsverhältnis mit den wesentlichen Grundprinzipien des Datenschutzrechts. Damit steht dieses Rechtsgebiet zwar nicht alleine – auch Urheberrecht, Straßenverkehrsrecht, allgemeines Gleichbehandlungsrecht usw. sind nicht wirklich kompatibel mit den bahnbrechenden neuen technischen Möglichkeiten. Der Datenschutz ist jedoch das aktuelle Thema unserer Zeit, weil (nur) in diesem Rechtsgebiet momentan eine echte Regulierung künstlicher Intelligenz stattfindet. Das momentan bedeutsamste Tool ChatGPT wurde in der Folge in Italien wegen Datenschutzverstößen für rund einen Monat gesperrt. Wesentlicher Grund für dieses robuste Enforcement waren bereits Unvereinbarkeiten mit grundlegenden Anforderungen der Datenschutz-Grundverordnung (DSGVO). Ein weiterer Antrieb für die staatliche Untersagung bildeten diskriminierende Ergebnisse sowie diskriminierungsfördernde Intransparenz.
Grundlegende Anforderungen des Datenschutzrechts am Beispiel ChatGPT
Ende März 2023 hat die Datenschutzbehörde Garante per la Protezione dei Dati Personali (GPDP) angeordnet, dass der Dienst in Italien vorerst nicht mehr nutzbar gemacht werden durfte. Die verantwortliche Stelle OpenAI ist der Verpflichtung nachgekommen, indem sie den Zugang gesperrt hat für Rechner, die anhand ihrer IP-Adresse als italienisch erkannt wurden. Die Anordnungsgründe lauteten:
- Keine klar erkennbare Rechtsgrundlage für massenhafte Datenerhebung und Verarbeitung zum Training der KI
- Verarbeitung unrichtiger Daten, da mitunter unrichtige Ergebnisse bei An fragen zu natürlichen Personen ausgegeben werden
- Keine Datenschutzinformationen, weder für Nutzer*innen noch für Personen, deren Daten im Datenbestand sind
- Unzureichende Beachtung von Betroffenenrechten z.B. auf Auskunft, Lö schung und Berichtigung
- Verstöße gegen Jugendschutz wegen teilweise unangemessener Antworten des Chatdienstes (die italienische Datenschutzaufsicht ist zugleich für Jugendschutz im Internet zuständig)
Nach rund einem Monat nahm die GPDP die Anordnung vorläufig zurück, nachdem OpenAI zahlreiche Sofortmaßnahmen ergriffen hatte. Mit der Rücknahme ist weder eine Bestätigung der Rechtmäßigkeit verbunden noch ist gewährleistet, dass ChatGPT damit dauerhaft angeboten werden darf. Vielmehr hat die Aufsichtsbehörde damit bestätigt, dass ein für die Dauer der Detailermittlungen zunächst tolerabler Zustand hergestellt wurde. Die Zugeständnisse von OpenAI umfassen öffentliche Datenschutzinformationen inklusive einer detaillierten Beschreibung der Funktionsweise, Widerspruchsformulare gegen die Verwendung der Nutzeranfragen zu Trainingszwecken sowie gegen die Verwendung der Daten von EU-Bürger*innen für die Antworten des Chatdienstes sowie die Möglichkeit der Löschung unrichtiger Rohdaten.
Jede europäische Datenschutzbehörde ist in ihrem Territorium zuständig, weil der Anbieter keine Niederlassung im Europäischen Wirtschaftsraum hat.
Ebenfalls Prüfungen eingeleitet haben mehrere europäische Datenschutzaufsichten sowie Behörden in den USA und Kanada. Die deutschen Landesdatenschutzbehörden haben eine gemeinsame Prüfaktion mit einheitlichen Fragen an OpenAI gestartet und der Europäische Datenschutzausschuss hat eine Taskforce zur koordinierten Rechtsdurchsetzung eingesetzt.
Rechtsgrundlage für die Verarbeitung
Im Rahmen ihrer zunächst summarischen Prüfung geht die italienische GPDP davon aus, dass keine Rechtsgrundlage im Sinne des Art. 6 DSGVO existiert, die den Dienst ChatGPT legitimiert. Künstliche Intelligenz nennt die DSGVO zwar an keiner Stelle, sie ist jedoch zumeist auf solche Dienste anwendbar. Soweit eine KI personenbezogene Daten automatisiert verarbeitet, ist der Anwendungsbereich eröffnet und eine Rechtsgrundlage notwendig. Dies betrifft sowohl das Training der KI als auch die spätere Nutzung. Dient also eine KI lediglich der Wettervorhersage oder beispielsweise der Auswertung von Wellenbewegungen zur Tsunami-Warnung, sind keine personenbezogenen Daten involviert. Dann bedarf es keiner weiterer datenschutzrechtlicher Überlegungen. Auch anonyme Trainingsdaten unterfallen nicht der DSGVO, weshalb teilweise synthetische Daten für die Entwicklung von KI-Systemen verwendet werden, um den Anwendungsbereich zu umgehen. Zumeist erfolgt das Training jedoch anhand von Echtdaten bzw. solchen, die zumindest einen mittelbaren Personenbezug aufweisen.
Ist der Anwendungsbereich eröffnet, greift das datenschutzrechtliche Verbotsprinzip. Wenn eine KI personenbezogene Daten verarbeitet, ist das vom Grundsatz her verboten, solange keine Ausnahme greift. Eine solche Ausnahme kann in einer Einwilligung oder einer gesetzlichen Grundlage bestehen. Es existiert keine spezifische Rechtsgrundlage für künstliche Intelligenz, sodass letztlich auf die allgemeinen Erlaubnistatbestände des Art. 6 DSGVO zurückgreifen muss, die eine umfassende Einzelfallbetrachtung voraussetzen.
Die Hambacher Erklärung der deutschen Datenschutzbehörden unterstreicht die Bedeutung des Zweckbindungsgebots der jeweiligen Rechtsgrundlage. Da nach haben Verwender*innen von Daten bereits bei Erhebung festzulegen und zu dokumentieren, wofür konkret die Daten benötigt werden. Von dieser Zweckbestimmung darf nur im Ausnahmefall anhand der Kriterien des Art. 6 Abs. 4 DSGVO abgewichen werden. Die Zweckbindung gehört zu den „Tragenden Säulen des Datenschutzrechts“, stellt dabei aber eine besondere Herausforderung für KI dar. Sie ist schon konzeptionell unvereinbar mit dem Grundkonzept von Big Data, bei dem zunächst eine große Datenbasis aufgebaut wird, ohne dabei festzulegen, welche Schlüsse daraus gezogen werden sollen. Schließlich ist es in der Entwicklungsphase unvorhersehbar, welche Fragestellungen ein Dienst wie ChatGPT in der späteren Nutzungsphase zu bearbeiten hat. Art. 6 Abs. 4 DSGVO ermöglicht durchaus eine Zweckänderung, wenn der neue Zweck mit dem bisherigen vereinbar ist. Das kann jedoch nicht pauschal bejaht werden, sondern erfordert Einzelfallbetrachtung der konkreten Daten und der konkreten Zwecke. Dieses differenzierte Vorgehen ist regelmäßig problematisch, wenn eine Anwendung jedermann zur freien Verfügung steht und zudem nicht transparent ist, woher und aus welchem Zusammenhang die Daten stammen.
Richtigkeit
Art. 5 Abs. 1 lit. d DSGVO untersagt Diskriminierung durch verzerrte Datensätze. Auch unwahre Daten zu einer Person sind personenbezogene Daten. Dabei ist die informationelle Selbstbestimmung in besonderem Maße verletzt, wenn nicht nur Daten, sondern zugleich auch Unwahrheiten über ein Individuum im Umlauf sind. Falsch sind Ergebnisse, wenn sie objektiv nicht der Wahrheit entsprechen; wenn Ergebnisse unangemessen und dadurch diskriminierend sind, hilft das Gebot der Datenrichtigkeit nicht. Zudem verlangt die Vorschrift auch Aktualität des Datenbestands. Verantwortliche Stellen sind verpflichtet, angemessene Maßnahmen zur Gewährleistung der Datenqualität zu ergreifen, sowohl aktiv durch Überprüfung und Aktualisierung als auch passiv durch Berücksichtigung von Hinweisen. Bekanntermaßen ist der Dienst Chat- GPT-4 nicht durchgehend in der Lage, korrekte Aussagen zu Personen zu machen und baut für seine Antworten auf einem Datenbestand von Ende 2021 auf.
Eine Umsetzung des Gebots der Datenrichtigkeit ist im Nachhinein kaum möglich, weil sich selbstlernende Systeme eigenständig weiterentwickeln. Wenn fehlerhafte Ergebnisse ausgeworfen werden, lässt sich bei einer KI nicht immer nachvollziehen, welcher Entwicklungsschritt zu korrigieren wäre. Es besteht allenfalls die Option, die Rohdaten zu überprüfen und gegebenenfalls zu korrigieren. Fehler passieren aber nicht notwendigerweise durch unrichtige Rohdaten, sondern auch im Rahmen des Trainings etwa durch ungeeignete Parameter oder nicht repräsentative Gewichtungen.
Transparenz
ChatGPT hielt bis zu den Verhandlungen mit der italienischen Aufsicht keine brauchbaren Datenschutzinformationen vor. Wenn jedoch Daten zu Trainingszwecken übermittelt und genutzt werden – und das ist bei KI-Anwendungen so gut wie immer der Fall – dann ist das klar zu benennen. Die Hambacher Erklärung der deutschen Datenschutzbehörden zeigt daher die aus Art. 5 Abs. 1 lit. a, Art. 12 ff. DSGVO folgende Anforderung auf, dass KI transparent, nachvollziehbar und erklärbar sein muss.
Diese sehr eindeutig im Datenschutzrecht verankerte Anforderung ist für Betreiber*innen von KI kaum umsetzbar. Dies ist in ihrer Funktionsweise begründet. Wesensmerkmal einer KI ist die sehr selbständige Analyse, ohne dass Datenanalysten und Betreiber exakt nachvollziehen können, wie ein Ergebnis zustande gekommen ist. Letztlich ist eine komplexe KI eine „black box“, bei der das Zustandekommen einer Entscheidung wenig oder gar nicht erklärbar ist. Der große Mehrwert solcher Maschinen ist gerade das Erkennen von Zusammenhängen im Datenbestand, die Menschen nicht ohne weiteres gesehen hätten. Sie gibt jedoch für gewöhnlich nur das Ergebnis aus, nicht notwendigerweise die Herleitung dorthin. Zudem ist die rechtlich gebotene Information „zum Zeitpunkt der Erhebung“ (Art. 13 Abs. 1 DSGVO) kaum umsetzbar. In der Regel ist dieser Zeitpunkt während der Trainingsphase des KI-Modells, in dem nicht feststeht, welche Schlüsse die KI künftig durch Verkettung von Roh daten ziehen wird.
Auch die inhaltlichen Anforderungen an die Datenschutzinformationen einer KI sind hoch. So ist in einfachen Worten adressatengerecht zu erklären, wie die KI arbeitet. Dabei ist nicht erforderlich, dass die Funktionsweise so verstanden wird, dass der Leser*innen die Software nachbauen könnten. Es geht vielmehr darum, die involvierte Logik abstrakt zu erklären, so dass die Gefahren deutlich werden. Raji vergleicht dies anschaulich mit der Funktionsweise des elektrischen Stroms: Dessen Grundidee, Gefahren und Vorsichtsvorkehrungen lassen sich auch für Laien erklären, ohne dass auf sich abstoßende Elektronen eingegangen werden muss. Ähnlich sind die Anforderungen an die Erklärung einer KI. Es muss nachvollziehbar sein, warum ein bestimmter Input zu einem bestimmten Output führt. Nutzer*innen und Betrachtungsobjekte der KI müssen daraufhin abschätzen können, welche Verhaltensänderungen beispielweise einer KI zur Erkennung der Kreditwürdigkeit zu einer positiveren Einschätzung verhelfen würden.
Neben der öffentlichen Datenschutzinformation ist eine interne Datenschutz-Folgenabschätzung erforderlich. Dieses Risiko-Assessment ist unter anderem verpflichtend bei der Einführung neuer Technologien (Art. 35 Abs. 1 Satz 1 DSGVO). Dies beinhaltet insbesondere Konstellationen, bei denen die gesellschaftlichen Auswirkungen noch nicht voll absehbar sind. Auch an sich etablierte Techniken sind neu, wenn sie verbessert oder auf neue Art eingesetzt wer den. Zudem ist eine Datenschutz-Folgenabschätzung notwendig bei systematischer und umfassender Bewertung von Individuen auf Grundlage einer automatisierten Vereinbarung (Art. 35 Abs. 3 lit. a DSGVO). Dabei ist nicht entscheidend, ob Profile in Form von Datensätzen zu einzelnen Personen vorgehalten werden. Es genügt, dass während der einzelnen Verarbeitung verschiedene Angaben zu einer Person zusammengeführt werden.
Betroffenenrechte
Herr seiner Daten ist nur, wer nachvollziehen kann, was an welchem Ort über ihn gespeichert ist, und wer dabei Unwahrheiten korrigieren kann. Hinsichtlich der Datenrichtigkeit sind Löschung und Berichtigung besonders wichtig. Erneut stößt das Grundkonzept der KI unauflösbar auf klare Anforderungen des Datenschutzrechts. Sind die Rohdaten in ein KI-Modell eingeflossen, ist kaum mehr nachvollziehbar, an welcher Stelle ein Fehler passiert ist, der durch nachträgliche Löschung oder Berichtigung getilgt werden könnte. Bereits die Auskunft auf alles, was über die Trainings-Rohdaten hinaus geht, ist in der Umsetzung problematisch. Auskünfte zu personenbezogenen Daten nach erfolgten Verarbeitungen sind nicht umsetzbar, wenn nicht nachvollziehbar ist, wie die KI zu ihren Ergebnissen gelangt. Dadurch sind die Betroffenenrechte nicht ausreichend auf das Szenario künstlicher Intelligenz abgestimmt.
Nach Art. 15 Abs. 1 lit. h DSGVO umfasst der Auskunftsanspruch auch Aussagen über involvierte Logik. Dies betrifft jedoch nur die abstrakte Funktionsweise, sodass die Risiken und grundlegenden Entscheidungsfaktoren nachvollziehbar sind. Nicht offengelegt werden muss der Algorithmus in der Weise, das wirklich nachvollzogen und vorhergesagt werden kann, welche Entscheidung die KI bei welcher Frage treffen wird. Diese Detailtiefe wäre ein geschütztes Geschäftsgeheimnis entsprechend der langjährigen Rechtsprechung zur Schufa. Diese Einschränkung ist auch mit der DSGVO vereinbar, weil deren ErwGr 63 Satz 5 Geschäftsgeheimnisse und Urheberrechte an Software als Grenze anerkennt. Einblick kann zwar in die Rohdaten verlangt wer den, aber nicht in den Entscheidungsprozess an sich. Zudem besteht nur eine Auskunftsanspruch über die eigenen Daten. Um die Arbeitsweise einer KI wirklich nachzuvollziehen, müssten alle Rohdaten vorliegen, aber die Gesamtheit der Rohdaten unterliegt dem Vertraulichkeitsinteresse der übrigen Betroffenen und der Geschäftsgeheimnisinhaber*innen.
Diskriminierungsbeschränkende Regelungen
Die Ausführungen unter A. zeigen, dass KI-Dienste wie ChatGPT bereits mit den grundlegenden Kernanforderungen des Datenschutzrechts im kaum auflösbaren Konflikt stehen. Soweit Datenrichtigkeit und Transparenz betroffen sind, hat dies schon mittelbare Bezüge zu Diskriminierung. Die DSGVO weist jedoch auch konkrete Regelungen auf, die auf die Verhinderung von Diskriminierung gerichtet sind, jedoch nicht Gegenstand der italienischen Anordnung zu ChatGPT gewesen sind. Diskriminierungsbekämpfung ist zwar nicht der zentrale Gesetzeszweck des Datenschutzrechts, aber dennoch an diversen Stellen punktuell mitgeregelt.
Ausstrahlung anderweitiger Diskriminierungsverbote auf das Datenschutzrecht
Zunächst haben Diskriminierungsverbote aus anderen Rechtsbereichen direkte Auswirkungen auf die Rechtmäßigkeit der zugrunde liegenden Datenverarbeitungen. Die meisten datenschutzrechtlichen Erlaubnisnormen enthalten Tatbestandsmerkmale wie „erforderlich“ oder „notwendig“ oder setzen wie Art. 6 Abs. 1 lit. f DSGVO eine direkt benannte Güterabwägung voraus. Wenn eine KI diskriminiert, dann steht das der Abwägung im Rahmen der Rechtsgrundlage entgegen. Ist eine Verarbeitung beispielsweise diskriminierend im Sinne des § 1 AGG, darf sie nicht erfolgen. Sie ist damit auch nicht erforderlich, not- wendig oder verhältnismäßig im Sinne der jeweiligen datenschutzrechtlichen Rechtsgrundlage. Dasselbe gilt für Diskriminierungsverbote aus Grundrechten. Da die DSGVO unionsrechtliches Sekundärrecht ist, sind für ihre Auslegung die Grundrechte der GRCh heranzuziehen, konkret Art. 20-23 GRCh.
Die im vorangegangenen Beitrag von Yakar dargestellten Diskriminierungsverbote haben daher unmittelbar auch datenschutzrechtliche Verarbeitungsverbote zur Folge. Wenn eine ohnehin verbotene Diskriminierungshandlung zugleich auch nach der DSGVO verboten ist, folgt daraus ein entscheidender Mehrwert: Im Datenschutzrecht existieren funktionierende, staatliche Regulierungsstrukturen, sodass eine flächendeckende Rechtsdurchsetzung möglich ist. Anderen Bereichen wie dem AGG oder den Gleichheitsgrundrechten stünde ohne die Annexfolge der DSGVO nur die individuelle Rechtsdurchsetzung im Einzelfall offen.
Schutz besonderer Datenkategorien
Besonders diskriminierungsgeeignete Daten sind besonders geschützt. Art. 9 Abs. 1 DSGVO statuiert ein nur unter engen Voraussetzungen zu durchbrechendes Verbot für die Verarbeitungen von Informationen zur rassischen und ethnischen Herkunft, zu politischen Meinungen, religiösen oder weltanschauli chen Überzeugungen, Gewerkschaftszugehörigkeiten, genetischen Daten, biometrischen Daten, Gesundheitsdaten, zum Sexualleben und zur sexuellen Orientierung. Nur die direkte Anknüpfung an die Artikel-9-Daten ist verboten, nicht aber die mittelbare Anknüpfung. Scheinbar neutrale Kriterien, die in engem Zusammenhang mit den eigentlich verbotenen Kategorien stehen, aber nicht unmittelbar die Kategorie selbst betreffen, dürfen unter den normalen Vo raussetzungen der DSGVO verwendet werden. So ist es unzulässig, Angaben zur Zugehörigkeit einer ethnischen Volksgruppe zu verarbeiten, während Informationen zum Geburtsort oder der Staatsangehörigkeit möglich sind. Das Verarbeitungsverbot klingt nachvollziehbar, um Diskriminierungen zu verhindern, bringt aber auch sinnvolle Dienste regelmäßig an ihre Grenzen. Soll beispielsweise eine KI wirksam Hate Speech erkennen – zum wünschenswerten Zweck der Eindämmung von Diskriminierung – dann muss sie Gesprächsinhalte inhaltlich analysieren, anstatt nur Schlüsselworte zu suchen. Hate Speech enthält jedoch regelmäßig Angaben über politische und weltanschauliche Anschauungen oder zur (vermeintlichen) sexuellen Orientierung oder Ethnie.
Erlaubnistatbestände des Art. 9 Abs. 2 DSGVO
Art. 9 Abs. 2 DSGVO enthält einen Katalog von Erlaubnistatbeständen für die Verarbeitung von Daten der besonders geschützten Kategorien, doch die Ausnahmen sind eng und der Katalog abschließend. Danach ist stets die Erforderlichkeit für im Gesetz spezifisch benannte Zwecke Voraussetzung. Das kann bei einem frei verwendbaren KI-System, dem jede:r Fragen stellen kann, nicht gewährleistet werden.
Einwilligung
Der einzige für alle Zwecke und Bereiche breit einsetzbare Ausnahmetatbestand des Art. 9 Abs. 2 DSGVO ist die spezifische Einwilligung. Willigen die Betroffenen einer KI-Verarbeitung sensibler Daten ein, erlaubt das die Entscheidungsfindung durch die KI auch anhand diskriminierungsgeeigneter Kategorien. Auch die ggfs. ungewollte Diskriminierung ist dann von der legalisierenden Wirkung der Einwilligung umfasst. Wenn also beispielsweise in ein Analysetool zum Recruiting eingewilligt wurde, dann verhindert Art. 9 nicht mehr die mögliche Ausländerdiskriminierung der KI.
Es genügt jedoch nicht die Einwilligung der Person, die der KI Fragen stellt. Auch alle Betroffenen müssten einwilligen. Das ist der entscheidende Punkt, warum die Einwilligung für KI-Systeme meist als Rechtfertigungstool nicht in Frage kommt. Nur in abgegrenzten Projekten mit klarem Zweck und erreichbarem Betroffenenkreis ist die Einwilligung praktikabel. Wenn beispielsweise Patient*innen in die KI-gestützte Tumorerkennung einwilligt, dann lässt sich dies gut auf eine Einwilligung stützen. In einer solchen Konstellation ist es auch unproblematisch möglich, nach der Erlaubnis zu fragen, ob Röntgenbilder zum Training der KI per Einwilligung gespendet werden sollen. Wenn aber ein Programm wie ChatGPT sich autonom in frei verfügbaren Quellen bedient, dann müssten die dort Betroffenen einwilligen. Das sind im Zweifel alle noch leben den Menschen, über die Ende 2021 Informationen im Internet abrufbar gewesen sind. Das wird nicht umsetzbar sein. Ein weiteres Praxisproblem der Einwilligung ist ihre jederzeitige und voraussetzungsfreie Widerrufbarkeit. Entscheiden sich einzelne Betroffene, ihre Einwilligung zurückzuziehen, sind deren Daten ex nunc nicht mehr zu verwenden. Das ist in der Umsetzung problematisch, weil in einem KI-Modell kaum nachvollziehbar ist, inwiefern die Trainingsdaten tatsächlich eingeflossen sind.
Verzicht auf besondere Datenkategorien
Wenn kein Ausnahmetatbestand des Art. 9 Abs. 2 DSGVO greift, weil insbesondere die Einwilligung keine praktische Option darstellt, dann dürfen die sogenannten besonderen personenbezogenen Daten nicht verarbeitet werden. Diese simpel anmutende Lösung ist in der Praxis jedoch ebenfalls kaum oder nur mit hohem Aufwand realisierbar, weil viele besonders geschützte Daten in harmlos erscheinenden Datensätzen mitschwingen. So enthalten beispielsweise Fotografien von Personen stets auch implizit die Angabe, ob es sich um Brillen träger*innen handelt oder welche Hautfarbe sie aufweisen. Daraus lassen sich Informationen zum Sehvermögen, also zum Gesundheitszustand, sowie zur ethnischen Herkunft ableiten. Als Beiwerk ist dies nicht zu beanstanden. Die Verwendung von Portraitbildern durch eine KI ist deshalb nicht pauschal verboten. Wichtig ist aber, dass die KI dieses Informations-Beiwerk nicht zur Grundlage seiner Mustererkennung und Entscheidung macht. Wenn die besonderen Kategorien in einem Kontext verwendet werden, in dem es speziell auf sie ankommt (z.B. Werbung an bestimmte Volksgruppe) oder speziell auf das Detail abgestellt wird (z.B. Liste mit Einwohner*innen dunkler Hautfarbe), ist dies eine Verletzung des Art. 9 Abs. 1 DSGVO. Die KI muss davon abgehalten werden, die geschützten Merkmale für eine Mustererkennung zu verwenden, um daraus Schlüsse zu ziehen, dass z.B. Brillenträger*innen bevorzugt einzustellen sind o der die Hautfarbe ein Kriterium für die Bonität sein könnte. Es kommt also beim „Beifang“ auf den Kontext der Verarbeitung an, während direkte Angaben der besonderen Kategorien wie z.B. Diagnosen (Sehstärke, Erkältung, HIV) steht Gesundheitsdaten sind.
Die KI hat folglich sehr komplexe Differenzierungen vorzunehmen, wenn sie die unzulässige Verarbeitung von Daten besonders geschützter Kategorien zu unterlassen hat. Ihr dies anzutrainieren, ist durchaus möglich. Es erfordert jedoch engmaschige Steuerung beim Training.
Automatisierte Entscheidungsfindung
Art. 22 DSGVO richtet sich gegen automatisierte Entscheidungen mit Rechtswirkungen für Individuen. Zweck ist eher die Verhinderung von Diskriminierung als der Schutz personenbezogener Daten. Die Vorschrift richtet sich bei aller Technikoffenheit insbesondere an KI-Systeme. Es ist nicht der Inhalt einer Entscheidung, den Art. 22 DSGVO reguliert, sondern nur das Ver fahren, wie die Entscheidung zustande kommt. Zugleich wird auch nicht das komplette Verfahren Schranken unterworfen, sondern nur die abschließende Entscheidung selbst, also der letzte Schritt der Entscheidungsfindung. Insofern beschränkt Art. 22 DSGVO nicht die KI selbst, sondern nur das, was mit dem Output der KI geschieht. Eine KI wird durch die Vorschrift also nicht daran gehindert, Personen zu diskriminieren. Wenn sie aber schon diskriminiert werden, dann soll das durch den Willen des Gesetzgebers nicht ausschließlich durch eine „kalte“ Maschine erfolgen, sondern durch einen Menschen „mit Herz“.
Der Unionsgesetzgeber bringt mit Art. 22 DSGVO ein reines Unbehagen gegenüber nichtmenschlichen Entscheidungen zum Ausdruck, regelt dabei aber nur seltene Extremfälle der völlig autonomen Entscheidung mit Rechtswirkung für einzelne Menschen. Er greift damit eine empirisch nicht belegte, aber doch angenommene weit verbreitete Algorithmenphobie auf. Dabei lässt sich durchaus infrage stellen, ob menschliche Entscheidungen tatsächlich vorzugswürdig sind gegenüber von Menschen trainierte künstliche Intelligenzen. Ob eine KI vorurteilsfreier agieren kann als Einzelpersonen, hängt entscheidend von der Qualität der Trainingsdaten und dem Engagement beim KI-Training ab. Art. 22 DSGVO differenziert insofern jedoch nicht, sondern erklärt alle automatisierten Entscheidungen für problematisch, soweit sie den Rechtsstatus von Menschen betreffen.
Verbot automatisierter Entscheidung mit Rechtswirkung
Aus Art. 22 Abs. 1 DSGVO folgt das subjektive Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen werden zu müssen. Jedenfalls darf eine solche Entscheidung nicht ungeprüft und unkorrigierbar erfolgen. Entscheidendes Kriterium ist, ob sie gegenüber einzelnen Menschen rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Beispiele für solche Rechtswirkungen sind der Abschluss, die Ablehnung oder die Kündigung eines Vertrags, nicht aber die automatisierte Preisdifferenzierung. Auch staatliche Entscheidungen haben rechtliche Wirkung, wenn beispielsweise eine KI eine Baugenehmigung erteilt bzw. ablehnt, über eine Einbürgerung beschließt, Sozialleistungen gewährt oder ablehnt oder ein gerichtliches Urteil fällt.
Praktisch relevante Anwendungsfälle ergeben sich oft bei der Ablehnung eines Vertrags im Internet, weil eine KI einen Betrugsversuch vermutet. So nehmen KI-Systeme mitunter diskriminierende Wertungen vor, indem sie beispielsweise Auslandsabrufe oder auch ungewöhnliches Surfverhalten bedingt durch gesundheitliche Einschränkungen oder hohes Alter als kriminelle Attacke einstufen. Wird zunächst nur der Zugang gesperrt und per Mail aufgefordert, das Passwort neu zu vergeben, ist der rechtliche Status unangetastet. Wird hingegen ein Nutzungsvertrag dauerhaft gekündigt oder eine Leistung verweigert, ist Art. 22 DSGVO einschlägig. Dasselbe gilt bei Alarmierungen wegen auffälliger Kamerabilder, bei denen eine Analyse-KI kriminelles Verhalten vermutet. Soweit lediglich menschliche Security alarmiert wird, ist der rechtliche Status unverändert; wenn eine Tür automatisiert verschlossen wird, mag das im Einzelfall anders sein.
Ausnahmen für zulässige automatisierte Entscheidung
Automatisierte Entscheidungen sind nicht in jedem Fall verboten. So sind beispielsweise Smart Contracts zumeist erlaubt, weil sie im B2B-Bereich keine Entscheidungen über Individuen beinhalten. Darüber hinaus sieht Art. 22 Abs. 2 DSGVO Ausnahmen vom Verbot vor, wenn die Automatisierung durch Einwilligung, durch Vertrag oder durch mitgliedstaatliche Rechtsgrundlage vorgesehen ist. Diese Ausnahmen sind in ihrer Wirkung weitreichend, indem sie algorithmische Diskriminierung alleine dadurch erlauben, dass sie von vorneherein vorgesehen ist.
Praktisch wichtigster Ausnahmefall ist die Erforderlichkeit der automatisierten Entscheidungsfindung zur Vertragsbegründung. Dies ist hoch relevant für durch KI abgelehnte Vertragsabschlüsse beim Massengeschäft im Internet. Die automatisierte Entscheidung muss auch nicht den Hauptleistungsgegenstand der Vereinbarung bilden, sondern kann die Vertragsdurchführung erleichtern. Das Kriterium ist dahingehend eng auszulegen, ob weniger invasive Verfahren möglich sind. Ein typisches Beispiel ist die Zahlartensteuerung, ob im Einzelfall Rechnungskauf angeboten wird, oder auch die Betrugsprävention im Internet. Es wäre nicht im Kundeninteresse, wenn der Kauf erst getätigt werden kann, nachdem die nächste freie Servicekraft verfügbar ist und Gelegenheit hatte, sich ein ernsthaftes Bild von der Ausfallwahrscheinlichkeit eines Kredits oder der Redlichkeit einer Käuferin zu machen. Wenn hier eine KI binnen Sekunden eine Entscheidung trifft, ist das zunächst im beiderseitigen Interesse. Wer durchs Raster fällt, dem bleibt das Recht auf Nachprüfung durch ein Individuum gemäß Art. 22 Abs. 3 DSGVO. In dem zwingend anzubietenden Verfahren besteht die Möglichkeit, dem fallbearbeitenden Menschen einen ergänzenden Standpunkt vorzutragen.
Menschliche Letztentscheidung
Die Praxisrelevanz des Art. 22 DSGVO ist bislang überschaubar. Die strengen Anforderungen lassen sich nämlich relativ leicht aushebeln, indem zur Letztentscheidung stets ein Mensch eingesetzt wird. Vorbereitende Systeme fallen nicht in den Anwendungsbereich der KI, solange sie nur eine Entscheidung empfehlen, ohne sie abschließend automatisiert zu fällen. In der Praxis vertrauen weder Staat noch Unternehmen gewichtige Entscheidungen z.B. über das Personal ausschließlich einer Maschine an, ohne eine Fachkraft zumindest zu involvieren.
Wichtig ist jedoch, dass die Mitwirkung des Menschen keine bloße Förmelei sein darf. Es muss genug Spielraum für den Menschen geben, von der Maschine abzuweichen. Dafür muss die Person, die eine inhaltliche Bewertung des maschinellen Vorschlags vornimmt, entsprechend befugt und fachkompetent sein. Sie benötigt auch die notwendigen zeitlichen Ressourcen, um den Entscheidungsfall tatsächlich überprüfen zu können. Wer nur wenige Minuten pro Sachverhalt zur Verfügung hat, wird keine andere Wahl haben, als stets auf „ok“ zu klicken.
Selbst dann, wenn die Entscheidungskraft qualifiziert und entscheidungsbefugt ist, unterliegt sie oftmals dem sogenannten Phänomen „automation bias“, bei dem der Maschine ein so hohes Vertrauen entgegengebracht wird, dass die Individuen ihre Ergebnisse kaum anzweifeln. Das Phänomen wird verstärkt, wenn der Lösungsweg einer KI nicht offengelegt wird, sondern aus Big Data eine nicht näher begründete Schlussfolgerung abgeleitet und ausgegeben wird. Dann fehlt es der letztentscheidenden Person faktisch an den notwendigen Informationen, um das Ergebnis qualifiziert anzuzweifeln. Kommt beispielsweise eine KI nach Analyse des kompletten Internets zu der Annahme, ein Kreditantragsteller werde trotz gutem Schufa-Score voraussichtlich seine Schulden nicht vollständig tilgen, dann hat die KI dafür eine größere Datenlage zur Verfügung als die sachbearbeitende Person jemals wird kognitiv erfassen können. Wenn die Person weiß, auf welche Information die Annahme fußt, seien es gesundheitliche Mutmaßungen, seien es ein bevorstehender Militäreinsatz, Drogenkonsum oder eine bevorstehende Scheidung – dann kann sie sich eine eigene Meinung bilden. Auch diskriminierende Kriterien kann die Person dann wieder
„herausrechnen“. Wenn ihr hingegen die Entscheidungsgrundlage fehlt, wird sie gegebenenfalls das KI-gestützte Ergebnis mittragen müssen.
Der Anwendungsbereich des Art. 22 DSGVO könnte sich durch eine bevorstehende Entscheidung des EuGH gegenüber der bisherigen Praxis deutlich ausweiten. Hintergrund sind die Schlussanträge des Generalanwalts Pikamäe hinsichtlich der Einstufung der Schufa. Bisweilen war allgemein davon ausgegangen worden, dass die Errechnung eines prozentualen Wahrscheinlichkeitswertes für einen Zahlungsausfall für sich genommen nicht unter Art. 22 Abs. 1 DSGVO fallen kann, weil die Auskunftei dabei nichts entscheidet. Sie gibt nicht einmal eine Empfehlung ab, ob ein Kredit vergeben werden soll. Jedes Kreditinstitut, das die Schufa nutzt, entscheidet eigenständig, bei wieviel Prozent seine „Schmerzgrenze“ liegt. Der Generalanwalt hat nun seinen Standpunkt mitgeteilt, der Schufa-Score beeinträchtige betroffene Personen in einer in Weise, die einer rechtlichen Wirkung ähnlich sei. Der Wert, den die Schufa errechnet, sei demnach auch eine Entscheidung, die nicht zwingend rechtlich sein müsse, sondern auch wirtschaftlicher Natur sein könne. Das Scoring der Auskunftei bestimme die spätere Kreditablehnung vor und sei damit bereits als eigenständige Entscheidung einzustufen. Folgt der EuGH der Wertung seines Generalanwalts, ist die Score-Berechnung der Schufa künftig als automatisierte Entscheidung anzusehen, weil dritte Wirtschaftsteilnehmer*innen nach ständiger gelebter Praxis den Wert für die Begründung, Durchführung oder Beendigung eines Vertragsverhältnisses zugrunde legen, ohne ihn nennenswert zu hinterfragen.
Daraus folgt für KI-Dienste, dass sie durchaus erlaubt sind, man ihnen aber nicht ohne weiteres die Letztentscheidung über Individuen überlassen darf. Bereits dann, wenn eine intransparente KI faktisch großen Einfluss hat, nimmt sie Entscheidungen über Menschen vor, die nur andere Menschen treffen dürfen.
Scoring
Nach § 31 Abs. 1 BDSG darf ein Wahrscheinlichkeitswert über künftige Ver haltensweisen zur Vertragsbegründung oder -beendigung nur unter besonderen Bedingungen genutzt werden. Faktisch geht es um Bonitätsauskünfte von Auskunfteien mit Punktwerten für die Zahlungsausfallwahrscheinlichkeit eines Kredits oder Rechnungskaufs. Aber auch andere Prognosen sind tatbestandlich umfasst. Damit sind genau die Mustererkennungen vom Anwendungsbereich des § 31 BDSG umfasst, für die KI prädestiniert ist. Es handelt sich um ein zusätzliches Verbot, eine Rechtsgrundlage (vgl. oben A.I.) wird darüber hinaus benötigt. Normadressat ist nicht die Stelle, die den Score berechnet, sondern wie schon bei Art. 22 DSGVO die verwendende Stelle, die darauf rechtliche Schritte aufbaut. Auch hier handelt es sich also um keine Beschränkung dessen, was eine KI machen darf, sondern lediglich eine Beschränkung dessen, wie Menschen das Ergebnis nutzen.
Der Wahrscheinlichkeitswert muss unter Zugrundelegung eines wissenschaftlich anerkannten mathematisch-statistischen Verfahrens ermittelt worden sein. Die Datenlage hat also inhaltlich richtig und aktuell zu sein und das darauf aufbauende Verfahren hat nachweisbar korrekte Prognosen zu erstellen. Das wird eigentlich als sehr niedrige Hürde angesehen, die nur eine Selbstverständlichkeit abbildet. Es ist aber hoch problematisch für „black boxes“ und fehler anfällige, nicht ausgereifte KI.
Konkret verboten ist nach § 31 Abs. 1 Nr. 3 BDSG darüber hinaus reines Geoscoring ausschließlich auf Basis der Wohnanschrift einer Person. Verstöße sind selten, weil das Verbot leicht umgangen werden kann. Schon das Hinzufügen eines weiteren Attributs genügt. Wenn Auskunfteien zu einer Person kaum weitere Merkmale als Namen und Anschrift kennen, dann wird im Zweifel der Wohnort mit dem Alter und Geschlecht kombiniert. Und wenn Alter und/oder Geschlecht unbekannt sind, werden beide Merkmale aus dem Vornamen abgeleitet. Der Vorname ist dafür zwar nur bedingt geeignet, aber es ist handelt sich auch nur um einen Wahrscheinlichkeitswert in Form einer geschätzten Prognose, für die eine KI, die ausschließlich aus Erfahrungswerten Schlüsse zieht, technisch gut geeignet ist. Diskriminierungen aufgrund des Vornamens werden durch § 31 BDSG nicht verhindert; hier besteht Reformbedarf.
Fazit
In besonderen Konstellationen kann das Datenschutzrecht Diskriminierung verhindern. Dies betrifft spezifische Analysen mittels Geoscoring, Gesundheitsdaten oder rein maschinellen Entscheidungen. Dabei handelt es sich jedoch nur um enge Schlaglichter in außergewöhnlichen Fällen; flächendeckende Diskriminierungsverhinderung kann der Datenschutz nicht gewährleisten. Ob das Recht auf menschliche Entscheidung tatsächlich vorurteilsfreiere Ergebnisse er zielt, kann auch bezweifelt werden.
Datenschutzrecht ist schlichtweg nicht primär als Waffe gegen Diskriminierung gedacht. Zum aktuellen Stand ist es das schlagkräftigste Rechtsgut, das gegen diskriminierende KI existiert. Ausreichend ist es jedoch nicht. Der Gesetzgeber ist hier, insbesondere bei der Ausgestaltung der KI-Verordnung, ge fragt, adäquate Regelungen für faire intelligente Systeme zu schaffen.
Zur einfacheren Lesbarkeit wurden die Quellen- und Literaturverweise entfernt.
Jens Ambrock in: Diskriminierungsfreie KI; digital | recht, Schriften zum Immaterialgüter-, IT-, Medien-, Daten- und Wettbewerbsrecht; Universität Trier, Trier; 2023