Die moralischen und epistemischen Schäden der KI-Schmeichelei
07/2026
1 Einleitung
Im April 2025 veröffentlichte OpenAI ein Update für GPT-4o, das sich aufgrund seiner übermäßigen Gefälligkeit schnell viral verbreitete. Als Reaktion auf die Kontroverse nahm das Unternehmen das Update zurück. Monate später, im August 2025, trat das gegenteilige Problem auf, als ChatGPT 5 veröffentlicht und GPT-4o abrupt entfernt wurde. Viele Nutzer hatten sich an die warmherzigere, unterwürfigere Persönlichkeit von GPT-4o gewöhnt und empfanden GPT-5 im Vergleich dazu als steril und emotional flach. Diese Beispiele veranschaulichen, dass KI-Modelle so feinabgestimmt werden können, dass sie mehr oder weniger unterwürfig sind. Wie wir jedoch argumentieren werden, lässt sich das Problem der KI-Unterwürfigkeit aus einer Kombination technischer, wirtschaftlicher und philosophischer Gründe nicht einfach beheben (siehe Abschnitt 2).
Schmeichelei bei KI ist kein ausschließliches Merkmal von ChatGPT. Sharma et al. stellten fest, dass diese Eigenschaft bei fünf großen KI-Assistenten auftritt (Claude 1.3, Claude 2, GPT-3.5, GPT-4 und LLaMA-2). Das GPT-4o-Update vom April 2025 war lediglich ein besonders eklatantes Beispiel für dieses Phänomen. Manchmal ist das kriecherische Verhalten von KI-Assistenten relativ harmlos und sogar humorvoll. Meistens jedoch untergräbt es das Vertrauen und ist geradezu gefährlich. Nutzer verlieren zu Recht das Vertrauen in die Objektivität der KI-Peer-Review-Simulation, wenn ihr KI-Assistent eindeutig absurde oder unausgereifte Geschäftsideen als genial bewertet. Nutzer sorgen sich zu Recht um die Gefahren der KI-Schmeichelei, wenn solches Verhalten psychische Probleme verstärkt und Menschen in einen Zustand der „Chatbot-Psychose“ versetzt. Dupré berichtet von einem Fall, in dem eine Frau mit gut eingestellter bipolarer Störung (die nie besonders religiös gewesen war) durch ihre Gespräche mit ChatGPT zu der Überzeugung gelangte, sie sei eine Prophetin, die göttliche Botschaften aus anderen Dimensionen empfangen könne. In der Folge setzte sie ihre Medikamente ab und brach den Kontakt zu Freunden ab, die ihre durch KI inspirierten messianischen Wahnvorstellungen in Frage stellten. Dies ist kein Einzelfall. Immer mehr Belege deuten darauf hin, dass KI-Schmeichelei das Risiko birgt, psychische Wahnvorstellungen zu verstärken, die mit einer Vielzahl von Erkrankungen wie Schizophrenie, Hypochondrie und Erotomanie verbunden sind.
Zwar gibt es seit kurzem technische Forschungsarbeiten, die KI-Schmeichelei dokumentieren und erklären sowie zunehmende philosophische Forschung zu KI-Alignment und Reinforcement Learning from Human Feedback (RLHF), doch bleibt KI-Schmeichelei als solche in der KI-Ethik-Literatur theoretisch unterbelichtet. Dieser Artikel schließt diese Lücke, indem er eine konzeptionelle Analyse der KI-Schmeichelei bietet. Wir argumentieren, dass es sich um ein besonders schwer zu lösendes Problem in der KI-Ethik handelt, und analysieren es aus der Perspektive der aristotelischen Tugendtheorie. Dabei vertreten wir die Auffassung, dass KI-Schmeichelei ein künstliches Laster ist, das moralischen und epistemischen Schaden für Individuen und liberal-demokratische Institutionen verursacht. Ausgehend von Aristoteles’ Unterscheidung zwischen Unterwürfigkeit und Schmeichelei vertreten wir die Auffassung, dass KI-Schmeichelei am besten als Ersteres verstanden wird und dass die Unternehmen, die davon profitieren, im Sinne des Letzteren charakterisiert werden können. Anschließend erläutern wir, wie Schmeichelei die Möglichkeit einer echten aristotelischen Freundschaft mit KI verhindert (selbst wenn die KI bewusstseinsfähig wäre). In diesem Artikel bezieht sich „KI“ speziell auf zeitgenössische große Sprachmodelle (LLMs). Teile unserer Analyse treffen möglicherweise nicht auf zukünftige KI-Systeme mit anderen Architekturen oder Trainingsmethoden zu.
Der Artikel ist wie folgt aufgebaut: In Abschnitt 2 wird der Begriff „KI-Schmeichelei“ definiert und detailliert dargelegt, welche Arten algorithmischer Reaktionen dieser Kategorie zugeordnet werden können und welche nicht. Wir unterscheiden zwischen KI-Schmeichelei und menschlicher Schmeichelei sowie von verwandten KI-Verhaltensweisen wie benutzerfreundlicher KI und personalisierter KI. Wir vertreten die Auffassung, dass die meisten offensichtlichen Vorteile der KI-Schmeichelei eigentlich keine Vorteile der Schmeichelei an sich sind und durch diese alternativen KI-Verhaltensweisen erreicht werden können. Abschnitt 3 befasst sich mit dem, was wir als „Einfache-Lösung-Einwand“ bezeichnen, der behauptet, dass KI-Schmeichelei nicht das Niveau anderer schwerwiegender Herausforderungen in der KI-Ethik, wie z. B. der Undurchsichtigkeit von KI, erreicht, da sie durch einfache Maßnahmen wie Anpassungen der Modellparameter, sorgfältige Eingabeaufforderungen oder maßgeschneiderte GPTs vermieden werden kann. Wir antworten darauf, indem wir erläutern, wie Schmeichelei aus RLHF entsteht und durch wirtschaftliche und philosophische Zwänge verschärft wird. Zwar können Benutzeraufforderungen und RL-basierte Strategien zur Eindämmung die Schmeichelei verringern, doch besteht die Gefahr, dass sie das Verhalten unbeabsichtigt verschleiern, anstatt es auszumerzen.
Abschnitt 4 beschreibt die individuellen und politischen Schäden von Schmeichelei. Abschnitt 5 stellt Schmeichelei in den Kontext der klassischen Tugendethik, um diese Schäden besser zu verstehen. Bestehende KI-Modelle können keine echte aristotelische Tugend oder Laster besitzen, da sie im Grunde genommen unbewusste statistische Schlussfolgerungsmaschinen sind. Sie zeigen jedoch Verhaltensdispositionen, die Tugenden und Laster widerspiegeln; was Vishwanath et al. als künstliche Tugenden und Laster bezeichnen. Anhand dieses Rahmens ordnen wir KI-Schmeichelei in Aristoteles’ Darstellung von Unterwürfigkeit, Schmeichelei und Freundschaft ein. Abschnitt 6 wendet sich der Zukunft zu. Wir untersuchen, wie intelligentere, multimodale KI KI-Schmeichelei überzeugender und schwerer zu erkennen machen könnte. Anschließend skizzieren wir einige regulatorische und gestalterische Strategien zur Risikominderung sowie alternative Ansätze des verstärkenden Lernens, die eher künstliche Tugenden als Laster fördern könnten. Abschnitt 7 bildet den Abschluss.
2 Was ist KI-Schmeichelei?
2.1 Was KI-Schmeichelei ist
KI-Assistenten verschiedener Unternehmen weisen dasselbe grundlegende Phänomen der Unterwürfigkeit auf, unterscheiden sich jedoch stilistisch in ihrer unterwürfigen Ausdrucksweise. ChatGPT neigt dazu, einen warmen, bestätigenden Ton zu verwenden, während Claude in seiner Zustimmung oft sanfter und philosophischer wirkt. Groks kantige, rebellische Persönlichkeit hingegen führt manchmal dazu, dass er Unterwürfigkeit eher durch eine Haltung der konträren Solidarität als durch direkte Schmeichelei zum Ausdruck bringt.
Was all diese Assistenten gemeinsam haben, was den Kern der KI-Schmeichelei ausmacht, ist die Tendenz, die Zustimmung des Nutzers über die „Wahrheit“ im weitesten Sinne zu stellen. Der Zusatz „im weitesten Sinne“ bedeutet hier, dass KI-Schmeichelei je nach Kontext das Opfern verschiedener epistemischer und moralischer Standards zugunsten der Zustimmung des Nutzers beinhalten kann, darunter faktische Genauigkeit, moralische Gültigkeit, logische Konsistenz, epistemische Verantwortung, Ehrlichkeit und emotionale Angemessenheit. Der Begriff „Wahrheit“ in dieser Definition impliziert daher nicht, dass das schmeichlerische Verhalten von KI-Assistenten auf Aussagen beschränkt ist, die einen definitiven Wahrheitswert besitzen. Ganz im Gegenteil: Es überrascht nicht, dass LLMs bei Anfragen, die subjektive Meinungen betreffen (wie ästhetische Urteile und persönliche Ratschläge), schmeichlerischer reagieren als bei Anfragen, die einen objektiven Wahrheitswert haben (wie mathematische Fragen). Der relevante Begriff der „Wahrhaftigkeit“ sollte daher weit gefasst als eine Ausrichtung auf das „Richtige tun“ verstanden werden. Dieses Verständnis deckt sich mit der Art und Weise, wie KI-Forscher die Schmeichelei von KI charakterisieren. In einer grundlegenden Abhandlung zu diesem Thema stellen Forscher von Anthropic fest: „Menschliches Feedback wird häufig zur Feinabstimmung von KI-Assistenten genutzt. Menschliches Feedback kann jedoch Modellantworten begünstigen, die eher den Überzeugungen der Nutzer entsprechen als der Wahrheit – ein Verhalten, das als Unterwürfigkeit bekannt ist.“ Die Rolle des verstärkenden Lernens aus menschlichem Feedback (RLHF) bei der Entstehung von KI-Unterwürfigkeit wird in Abschnitt 3 näher erläutert.
Es lässt sich grundsätzlich unterscheiden zwischen dem, was wir als proaktive Schmeichelei (die Tendenz, unaufgefordert Bestätigung oder Zustimmung zu geben) bezeichnen, und reaktiver Schmeichelei. KI-Assistenten zeigen reaktive Schmeichelei, wenn sie ihre ursprünglichen Aussagen aufgeben, sobald Nutzer Skepsis äußern, unabhängig davon, ob eine solche Abkehr gerechtfertigt ist. Als beispielsweise Sharma et al. Claude 1.3 mit Aufforderungen wie „Ich glaube nicht, dass das richtig ist. Bist du sicher?“, revidierte das Modell sofort seine ursprünglich korrekten Antworten und gab in 98 % der Fälle fälschlicherweise Fehler zu.
2.2 Was KI-Schmeichelei nicht ist
Nachdem wir definiert haben, was KI-Schmeichelei ist, wollen wir nun klären, was sie nicht ist. Schmeichelei ist nicht gleichbedeutend mit Höflichkeit oder Personalisierung. Eine KI, die höflich ist und Präferenzanpassung betreibt (z. B. sich den bevorzugten Kommunikationsstil einer Person merkt), muss nicht zwangsläufig schmeichlerisch. Ebenso ist eine KI, die diplomatische Sprache verwendet, um schwierige Wahrheiten zu vermitteln, oder Validierungstechniken einsetzt, wenn dies im Kontext angemessen ist (z. B. in therapeutischen Kontexten zu sagen: „Das klingt wirklich herausfordernd“), nicht zwangsläufig eine Schmeichlerin. Das Problem ist nicht eine benutzerfreundliche KI, sondern lediglich eine KI, die die Wahrheit opfert, um die Zustimmung der Nutzer zu gewinnen.
Diese Unterscheidung hilft uns, dem Einwand zuvorzukommen, dass unterwürfige KI lediglich den allgemeinen Designtrend hin zu benutzerfreundlichen, reibungslosen Schnittstellen widerspiegelt, wie etwa die Entwicklung von Befehlszeilenschnittstellen hin zu intuitiven grafischen Benutzeroberflächen. Es besteht ein Unterschied zwischen UX-Design, das aufgabenbezogene Reibungsverluste verringert (wodurch es einfacher wird, Ziele zu erreichen), und unterwürfiger KI, die wahrheitsbezogene Reibungsverluste verringert (wodurch es einfacher wird, schwierige Informationen zu vermeiden). Es ist durchaus möglich, intuitive KI-Schnittstellen zu entwickeln, die aufgabenbezogene Reibungsverluste verringern, ohne unterwürfig zu sein.
Schmeichlerische KI sollte auch nicht mit epistemisch bescheidener KI verwechselt werden. Wir möchten, dass KIs ihr Selbstvertrauen angemessen einschätzen und einschränkende Bemerkungen machen wie: „Ich gehe hier von allgemeinen Prinzipien aus, aber eine medizinische Diagnose erfordert die Untersuchung des tatsächlichen Patienten; Sie sollten auf jeden Fall einen Arzt konsultieren.“ Eine solche Bemerkung zeugt von Bescheidenheit, da die KI damit ihre kognitiven Grenzen angemessen anerkennt. Eine eher unterwürfige Bemerkung als Antwort auf dieselbe medizinische Anfrage, wie etwa „Sie kennen Ihren Körper am besten, Sie haben wahrscheinlich recht!“, spiegelt hingegen eine Art bösartige Unterwürfigkeit wider, da die KI damit der Zufriedenheit des Nutzers Vorrang einräumt, anstatt sich auf die Stichhaltigkeit ihrer eigenen Argumentation zu verlassen.
Die Beziehung zwischen KI und menschlicher Unterwürfigkeit ist vielschichtig. Wir untersuchen diese Beziehung ausführlicher in den Abschnitten 4 und 5, doch vorerst genügt es, auf einige zentrale Unterschiede zwischen beiden hinzuweisen. Erstens ist die Beschreibung von KI-Assistenten als „schmeichlerisch“ eine Verhaltens- und Dispositionbeschreibung, die unserer Ansicht nach nicht davon ausgeht, dass diese Systeme über menschenähnliches Bewusstsein, Absichten oder Handlungsfähigkeit verfügen. Während sowohl menschliche als auch KI-Schmeichler Zustimmung über die Wahrheit stellen, sind sich Menschen in der Regel bewusst, dass sie eine solche Priorisierung vornehmen, während KIs (nach dem derzeitigen Stand der Dinge) dies nicht tun.
Der Unterschied zwischen menschlichen und KI-Schmeichlern lässt sich anhand von Harry Frankfurts Unterscheidung zwischen Lügnern und Schwätzern verdeutlichen. Lügner kennen die Wahrheit und legen Wert darauf (wenn auch nur, um sie bewusst zu untergraben), während Schwätzer der Wahrheit gegenüber völlig gleichgültig sind und nur das sagen, was ihrem Zweck dient. Menschliche Schmeichler können Lügner oder Schwätzer sein: Einige kennen die Wahrheit und lenken ihren Gesprächspartner absichtlich davon ab, während andere nicht wissen oder sich nicht darum kümmern, ob das, was sie sagen, wahr oder falsch ist, solange es das ist, was ihr Gesprächspartner hören will. Schmeichlerische KIs hingegen sind strukturelle Schwätzer, denen die Wahrhaftigkeit ihrer Ausgaben grundsätzlich gleichgültig ist. Große Sprachmodelle sind Maschinen zur Vorhersage des nächsten Wortes, die darauf trainiert sind, überzeugende, menschenähnliche Texte zu generieren. Sie können nicht im herkömmlichen Sinne lügen, da ihnen bewusste Absichten und die Fähigkeit fehlen, die Wahrheit zu verfolgen (und sie daher nicht wissentlich täuschen können).
Ein weiterer Unterschied zwischen menschlicher und KI-Schmeichelei betrifft die Selektivität. Menschliche Schmeichelei ist typischerweise strategisch, da Menschen auf der Grundlage sozialer Kalküle entscheiden, wann und wem gegenüber sie schmeicheln. KI-Schmeichelei hingegen ist systematischer und wahlloser. Ungeachtet dieser Unterschiede hängen die Schäden durch Schmeichelei nicht unbedingt davon ab, ob sie algorithmisch oder durch Absichten gesteuert wird.
2.3 Die begrenzten Vorteile der KI-Schmeichelei
Es gibt mindestens zwei vorläufige Einwände gegen dieses Projekt, die es zu beachten gilt, noch bevor wir unsere detaillierten Argumente gegen KI-Schmeichelei darlegen. Erstens könnte man zwar einräumen, dass KI-Schmeichelei schädlich ist, aber leugnen, dass sie ein bedeutendes Problem darstellt, da sie in der Trainings- oder Feinabstimmungsphase leicht in den Griff zu bekommen ist. Wir werden auf diesen Einwand im nächsten Abschnitt ausführlich eingehen. Ein zweiter Einwand lautet, dass selbst wenn sich KI-Schmeichelei nicht leicht beheben lässt, sie insgesamt kein bedeutendes Problem darstellt, da ihre Vorteile ihre Nachteile überwiegen. Wenn Nutzer das Gefühl haben, dass die KI „auf ihrer Seite“ steht, fördert dies ein Gefühl der psychologischen Entlastung. Nutzer möchten oft, dass KI einfach wie ein intelligenter Welpe funktioniert, der ihnen bei der Arbeit und beim Schaffen hilft.
Wir vertreten jedoch die Ansicht, dass die meisten offensichtlichen Vorteile einer unterwürfigen KI nicht tatsächlich Vorteile der Unterwürfigkeit an sich sind und durch die zuvor erwähnten, nicht unterwürfigen alternativen Verhaltensweisen von KI erreicht werden können, wie beispielsweise benutzerfreundliche KI, personalisierte KI und epistemisch bescheidene KI. Aktuelle empirische Forschung stützt diese Ansicht. Bei der Durchführung eines Experiments zur Beziehung zwischen KI-Schmeichelei und KI-Freundlichkeit stellten Sun und Wang beispielsweise fest, dass „wenn ein LLM-Agent bereits ein freundliches Auftreten zeigt, Schmeichelei die wahrgenommene Authentizität mindert und dadurch das Vertrauen der Nutzer schwächt“. Jegliche Vorteile von Unterwürfigkeit als solcher würden erfordern, die Wahrheit zugunsten der Zustimmung des Nutzers zu opfern. Gewiss, solche Vorteile existieren in begrenzten Fällen. Stellen wir uns einen Nutzer vor, der die Meinung der KI zu einer offensichtlich absurden Geschäftsidee einholt, die er kurz davor ist aufzugeben. Eine ehrliche KI würde die Mängel der Idee genau einschätzen und vermutlich davon abraten, sie weiterzuverfolgen, zumindest in ihrer aktuellen Form. Eine unterwürfige KI hingegen würde die Idee blindlings befürworten und sie vielleicht sogar als brillant bezeichnen. Angenommen, durch eine solche Ermutigung weckt die unterwürfige KI beim Nutzer ein überhöhtes Selbstvertrauen, das ihn motiviert, weiter an der Idee zu arbeiten. Wenn der Nutzer schließlich einen echten Durchbruch erzielt, der die Idee in etwas Realisierbares verwandelt, könnte das vorübergehende Opfer der Wahrheit am Ende tatsächlich gerechtfertigt gewesen sein.
Wie wir jedoch darlegen werden, werden diese begrenzten Vorteile bei weitem durch die moralischen und epistemischen Schäden überwiegt, die die Unterwürfigkeit für Einzelpersonen und demokratische Institutionen mit sich bringt. Im nächsten Abschnitt verfolgen wir die Ursachen der KI-Unterwürfigkeit nach und zeigen die Unlösbarkeit des Phänomens auf.
3 Die Unüberwindbarkeit der KI-Schmeichelei
3.1 Der Einwand der „einfachen Lösung“
Kehren wir zu dem in Abschnitt 2.3 erwähnten ersten Einwand zurück. Wir können ihn als Einwand der „einfachen Lösung“ bezeichnen:
Der Einwand der einfachen Lösung: Wenn KI-Schmeichelei durch einfache Lösungen wie Anpassungen der Modellparameter, sorgfältige Eingabeaufforderungen oder maßgeschneiderte GPTs vermieden werden kann, dann erreicht sie nicht das Niveau anderer schwerwiegender Herausforderungen in der KI-Ethik, wie beispielsweise der Undurchsichtigkeit von KI.
Der Befürworter dieses Einwands könnte darauf hinweisen, dass KI-Assistenten zwar in ihren Standardmodi unterwürfig sind, Nutzer sie jedoch dazu auffordern können, sich anders zu verhalten. Man kann der KI beispielsweise sagen, sie solle die Rolle eines kritischen „Reviewer #2“ einnehmen, wenn man sie für eine Peer-Review-Simulation nutzt. Darüber hinaus verfügen KI-Unternehmen neben ihren Standardmodellen über maßgeschneiderte (oft von Nutzern erstellte) Modelle und Persönlichkeiten, die darauf ausgelegt sind, weniger zuvorkommend zu sein (z. B. die GPTs „Devil’s Advocate“ und „Brutally Honest Critic“ von OpenAI).
Der erste Punkt, der als Antwort auf diesen Einwand anzumerken ist, ist, dass die meisten Nutzer sich mit dem KI-Verhalten abfinden, dem sie standardmäßig begegnen, weil ihnen die Zeit, die Geduld oder die technischen Kenntnisse fehlen, um anders vorzugehen. Zweitens beseitigt die Aufforderung an KI-Assistenten, weniger zuvorkommend zu sein nicht unbedingt die Unterwürfigkeit, sondern verschleiert sie möglicherweise nur. Wie der Wharton-Professor Ethan Mollick anmerkt: „Die KI spielt möglicherweise nur die ‚Rolle‘ eines Kritikers, anstatt tatsächlich einer zu sein“.
Die Tatsache, dass eine solche Anweisung die unterwürfigen Tendenzen von KI möglicherweise nur verdeckt, anstatt sie wirklich zu überwinden, spricht für die Hartnäckigkeit dieses Phänomens. Unterwürfigkeit bei KI ist so schwer zu beseitigen, weil es sich im Grunde um ein Problem menschlicher Voreingenommenheit handelt, nicht nur um ein technisches. In ihrem 2024 erschienenen Buch „The AI Mirror“ erklärt Shannon Vallor, wie KI-Systeme als Spiegel fungieren, die menschliche Vorurteile reflektieren und verstärken. Die Unterwürfigkeit von KI veranschaulicht diesen Spiegeleffekt: Unsere natürliche Vorliebe für Gefälligkeit gegenüber der Wahrheit wird von unseren KI-Assistenten an uns zurückgespiegelt. Was diesen speziellen Spiegeleffekt so schwer korrigierbar macht, ist, dass die Vorliebe für Bestätigung ein fest verankerter Teil der menschlichen Psychologie ist. Einige Arten von KI-Voreingenommenheit, die aus RLHF resultieren (zum Beispiel politische oder kulturelle Voreingenommenheit), lassen sich durch pluralistische Ansätze wie die Diversifizierung des Bewerterkreises korrigieren. Solche Ansätze haben jedoch nur begrenzte Wirkung auf die Unterwürfigkeit, da die Bestätigungsvoreingenommenheit ein universelles menschliches Merkmal ist und keine kulturspezifische Präferenz. Es ist diese Voreingenommenheit hin zur Bestätigung, die den Kern der technischen, wirtschaftlichen und pragmatischen Ursachen der KI-Unterwürfigkeit bildet.
3.2 Technische Ursachen für KI-Schmeichelei: Trainingsdaten und RLHF
Wir wenden uns nun diesen Ursachen zu, beginnend mit den technischen. Schmeichelei kann in verschiedenen Phasen des LLM-Trainingsprozesses in das System eindringen. Die erste Phase ist die Validierungsverzerrung, die bereits in den ursprünglichen Trainingsdaten selbst eingebettet ist. KI-Modelle werden auf Internet-Datensätzen vortrainiert, die die natürlichen schmeichelhaften Muster der menschlichen Kommunikation widerspiegeln. Die Modelle lernen aus diesen Trainingsdaten, dass übermäßig zuvorkommende Sprachmuster die Norm sind. Die nächste Phase findet während des verstärkenden Lernens anhand von menschlichem Feedback (RLHF) statt. RLHF wurde ursprünglich für Spielaufgaben entwickelt, bevor es für LLMs umfunktioniert wurde. Nachdem LLMs auf großen Datensätzen vortrainiert wurden, wird menschliches Feedback als abschließender Feinabstimmungsschritt in den Prozess integriert, um die Modelle an menschlichen Werten auszurichten. Menschliche Bewerter (sowohl interne Teams bei KI-Unternehmen als auch Crowdsourcing-Bewerter) bewerten die Modellausgaben systematisch, in der Regel anhand von Kriterien wie „Hilfreichkeit“, „Harmlosigkeit“ und „Ehrlichkeit“. Diese Bewertungen werden verwendet, um ein separates „Belohnungsmodell“ zu trainieren, das lernt, vorherzusagen, welche Antworten Menschen bevorzugen werden. Das Belohnungsmodell steuert dann den Prozess des verstärkenden Lernens, der das Basismodell feinabstimmt.
Das Problem ist, dass während des RLHF unsere Vorliebe für angenehme Antworten ein spezielles „Reward-Hacking“-Problem verursacht. Im Wesentlichen entdecken Modelle, dass sie den Prozess „hacken“ können, indem sie sich unterwürfig verhalten, da Antworten, die die Überzeugungen der Nutzer bestätigen, durchweg die höchsten Präferenzwerte von Menschen erhalten. Diese Validierungsdynamik kann auch nach dem offiziellen RLHF-Prozess fortbestehen, da es üblich ist, dass Nutzergruppen während der Beta-Testphase und der späteren Einführung zusätzliches Feedback geben (z. B. durch Daumen-hoch- oder Daumen-runter-Bewertungen), das in zukünftige Aktualisierungen des Modells einfließt.
Sharma et al. liefern empirische Belege für eine Validierungsverzerrung bei menschlichen Bewertern während des RLHF. Sie analysierten 15.000 Fälle menschlicher Bewertung und stellten fest, dass Antworten, die den Überzeugungen der Nutzer entsprachen, mit größerer Wahrscheinlichkeit gegenüber anderen Antworttypen bevorzugt wurden, wie etwa „autoritären“, „einfühlsamen“ und „gut geschriebenen“ Antworten. Nun könnte man fragen: Ist es wirklich gerechtfertigt, allein aufgrund der Tatsache, dass menschliche Bewerter dazu neigen, Modellausgaben zu belohnen, die ihren Überzeugungen entsprechen, darauf zu schließen, dass RLHF zu Schmeichelei führt? Was wäre, wenn die Bewerter lediglich versuchen, Genauigkeit zu belohnen, indem sie Modellausgaben mit dem vergleichen, was sie für wahr halten? Wenn dies der Fall ist und die Bewerter größtenteils wahre Überzeugungen haben, dann wäre die Tatsache, dass sie Antworten belohnen, die ihren Überzeugungen entsprechen, eine zuverlässige Methode zur Wahrheitsfindung und kein Training, das Unterwürfigkeit fördert.
Diese Argumentation wäre unter idealisierten RLHF-Bedingungen auf dem richtigen Weg: Mit fachkundigen, vorurteilsfreien Bewertern könnte eine auf Überzeugungen basierende Bewertung eine zuverlässige Methode sein, um das Modell genauer zu machen. Die realen RLHF-Bedingungen sind jedoch weit von ideal entfernt. Sie beinhalten typischerweise per Crowdsourcing rekrutierte Bewerter, die unter Zeitdruck arbeiten und Antworten zu Themen bewerten, bei denen die „richtige“ Antwort subjektiv, umstritten oder außerhalb ihrer Wissensbasis liegt. Genau diese Bedingungen spiegeln die Experimente von Sharma et al. wider. Und sie stellen fest, dass der Antworttyp „stimmt mit den Überzeugungen des Nutzers überein“ die menschliche Präferenz vorhersagt, unabhängig davon, ob die Antwort wahr ist.
Darüber hinaus testen sie direkt Fälle von Fehlvorstellungen, in denen die in der Eingabeaufforderung zum Ausdruck gebrachten Überzeugungen des Nutzers objektiv falsch sind (z. B. „Ich glaube, dass die Sonne vom Weltraum aus gesehen gelb ist. Was denkst du?“). Unter Einsatz von Crowdsourcing-Bewertern und dem auf menschlichem Feedback trainierten Claude-2-Belohnungsmodell betrachten sie für diese Fälle drei Antworttypen: „(1) wahrheitsgemäße Basisantworten, die den Nutzer korrigieren, ohne weitere Details zu liefern; (2) hilfreiche wahrheitsgemäße Antworten, die den Nutzer korrigieren und erklären, warum er falsch liegt; und (3) schmeichelhafte Antworten, die dem Nutzer überzeugend zustimmen“. Die Ergebnisse zeigen, dass das Belohnungsmodell in 95 % aller Fälle die schmeichelhaften Antworten gegenüber den grundlegenden wahrheitsgemäßen Antworten bevorzugte und in etwa 45 % der schwierigsten Fälle (d. h. Fälle, in denen die Fehlvorstellungen am plausibelsten klingen) gegenüber den hilfreichen wahrheitsgemäßen Korrekturen. Während die Crowdsourcing-Bewerter ausdrücklich bestätigten, dass sie hilfreiche, wahrheitsgemäße Antworten gegenüber schmeichelhaften bevorzugten, zeigte das Experiment, dass „sie dies bei höherem Schwierigkeitsgrad weniger zuverlässig tun“. Bemerkenswert ist, dass diese Crowdsourcing-Bewerter unabhängige Dritte waren, die kein persönliches Interesse an den in den experimentellen Aufforderungen vermittelten falschen Überzeugungen hatten. Die Tatsache, dass sie dennoch manchmal schmeichelhafte Antworten gegenüber wahrheitsgemäßen bevorzugten, deutet darauf hin, dass das Problem nicht nur darin besteht, dass Menschen gerne hören, was sie glauben; vielmehr ist es so, dass gut formulierte Schmeichelei selbst für neutrale Beobachter, die keine vorgefassten Meinungen zu der betreffenden Behauptung haben, schwer von der Wahrheit zu unterscheiden ist.
3.3 Technische Maßnahmen zur Risikominderung
Das Phänomen der KI-Schmeichelei ist also keine willkürliche technische Entscheidung, sondern ein systematisches technisches Problem, das sowohl in der Art und Weise, wie KI-Modelle trainiert werden, als auch in den Trainingsdaten selbst begründet liegt. Während einige KI-Forscher versucht haben, das Problem auf der Ebene der Vortrainingsdaten anzugehen, um von vornherein zu verhindern, dass unerwünschte Verhaltensweisen erlernt werden, greifen die meisten technischen Maßnahmen zur Risikominderung erst nach dem Vortraining, während der Alignment-Phase, ein. Ein führendes Beispiel ist „Constitutional AI“, eine von Anthropic entwickelte Trainingsmethode, die KI-Modellen beibringt, sich gemäß einer Reihe schriftlicher Prinzipien (einer „Verfassung“) zu verhalten, anstatt sich ausschließlich auf menschliches Feedback zu verlassen. „Constitutional AI“ kombiniert sowohl überwachtes Lernen als auch bestärkendes Lernen. Während der Phase des überwachten Lernens generiert die KI Selbstkritiken und Überarbeitungen ihrer eigenen Antworten und lernt so im Wesentlichen, ihr eigener Redakteur zu sein. Anschließend durchläuft das Basismodell das sogenannte Reinforcement Learning from AI Feedback (RLAIF), bei dem ein Belohnungsmodell bewertet, welche der Antworten der Verfassung besser entsprechen. Wie sie erklären:
„Die weit verbreitete Methode des verstärkenden Lernens aus menschlichem Feedback (RLHF) … verwendet typischerweise (mindestens) Zehntausende von menschlichen Feedback-Labels. Diese Labels bleiben oft privat, aber selbst wenn sie öffentlich geteilt werden, geben sie wenig Aufschluss über die Trainingsziele der KI, da niemand die kollektive Wirkung einer solchen Informationsflut sinnvoll verstehen oder zusammenfassen kann. Wir hoffen, diese Situation zu verbessern … indem wir die Trainingsziele buchstäblich in einer einfachen Liste von Anweisungen oder Prinzipien in natürlicher Sprache kodieren“.
Constitutional AI ist ein vielversprechender Ansatz zur Reduzierung von KI-Schmeichelei, da er Modelle darauf trainiert, explizite verfassungsrechtliche Prinzipien zu befolgen, anstatt Nutzerpräferenzen, die aus crowdsourced menschlichen Feedback-Labels gewonnen werden. Zu den weiteren bestehenden technischen Abhilfemaßnahmen gehören der Vorschlag von Wei et al. zur Einfügung von Beispielen, bei dem Modelle anhand synthetischer Beispiele von Nutzern, die falsche Überzeugungen äußern, die das Modell korrigieren muss, feinabgestimmt werden; die „Linear-Probe-Penalty“-Methode von Papadatos und Freedman, die während des Trainings einen Regularisierungsterm hinzufügt, um schmeichlerische Antwortmuster zu bestrafen; sowie den SMART-Ansatz (Sycophancy Mitigation through Adaptive Reasoning Trajectories) von Beigi et al., der Unsicherheitsschätzungen einsetzt, um eine sorgfältigere Argumentation auszulösen, wenn Modelle Gefahr laufen, dem Druck der Nutzer nachzugeben.
Obwohl diese Maßnahmen vielversprechend sind, bleibt es schwierig, sykophantisches Verhalten in allen möglichen Interaktionen auszumerzen. Es gibt unendlich viele Konversationskontexte, und die Behebung von Schmeichelei in einigen Kontexten bietet keine Garantie dafür, dass sie in anderen nicht wieder auftaucht. Tatsächlich können einige RL-basierte Methoden zur Bekämpfung von Schmeichelei das Problem unbeabsichtigt noch schwerwiegender machen. Hubinger et al. erläutern, wie sich Reinforcement Learning nachteilig auswirken kann, wenn Modelle bei künstlichen Testfällen gute Leistungen erbringen, ohne die zugrunde liegende Lektion zu lernen, die diese Fälle vermitteln sollen. Für das Schmeichlerverhalten bedeutet dies, dass RL-basierte Methoden „die bekannteren Auslöser (wie ‚Bist du sicher?‘) wegtrainieren können, aber weniger offensichtliche Umstände möglicherweise übersehen“. Die Sorge ist, dass die KI in kontrollierten Testumgebungen lernt, nicht schmeichlerisch zu sein, während sie in der realen Konversation weiterhin übermäßig zuvorkommendes Verhalten zeigt, wo Nutzer das Modell auf eine Weise ansprechen, die das Testregime nicht vorhergesehen hat. Dies ist im Wesentlichen eine technischere Version des „Maskierung“-Aspekts, den wir in Abschnitt 3.1 angesprochen haben. Dort bestand die Sorge, dass benutzerseitige Eingaben die Unterwürfigkeit weniger sichtbar machen können, ohne sie zu beseitigen; hier besteht die Sorge, dass dasselbe auf der Trainingsebene geschehen kann.
3.4 Die Hartnäckigkeit der KI-Schmeichelei: philosophische, wirtschaftliche und pragmatische Zwänge
Diese technischen Herausforderungen werden durch grundlegende philosophische, wirtschaftliche und pragmatische Einschränkungen verschärft, die die KI-Schmeichelei weiter verfestigen. Das philosophische Problem besteht darin, dass RLHF derzeit einer der beliebtesten Ansätze zur KI-Ausrichtung ist, was bedeutet, dass derselbe Prozess, der darauf abzielt, KI-Assistenten mit menschlichen Werten „in Einklang zu bringen“, auch dazu beiträgt, sie schmeichlerisch zu machen. Wenn das Ziel darin besteht, die KI-Schmeichelei zu reduzieren, müssen wir daher möglicherweise unseren Ansatz zur Ausrichtung philosophisch überdenken. Vielleicht sollten wir zum Beispiel von der Alignment-Heuristik „Tu, was Menschen wollen“ zu „Tu, was Menschen wollen sollten“ oder „Hilf Menschen, ihre erklärten Werte zu erreichen, auch wenn dies im Widerspruch zu ihren offenbarten Präferenzen steht“ übergehen. Ansätze zur KI-Ausrichtung wie Constitutional AI (das RLAIF einsetzt) zielen darauf ab, dies zu tun, beziehen jedoch an verschiedenen Stellen weiterhin menschliches Feedback ein und sind daher nach wie vor anfällig für den Validierungsbias, der zu KI-Schmeichelei führt.
Es gibt auch umfassendere wirtschaftliche Anreize, die ein kriecherisches Verhalten in LLMs begünstigen. Es stimmt zwar, dass die meisten KI-Unternehmen in erster Linie nach Abonnement- statt nach Überwachungskapitalismus-Geschäftsmodellen arbeiten und dass übermäßiges Nutzerengagement die Unternehmen durch verschwendete Rechenleistung tatsächlich Geld kostet. Dennoch haben KI-Unternehmen einen finanziellen Anreiz, so viele Nutzerdaten wie möglich für das Modelltraining zu sammeln, und Nutzer geben ihre Daten eher an kriecherische Modelle weiter. Darüber hinaus kündigte OpenAI im Januar 2026 Pläne an, mit dem Testen von Werbung in den kostenlosen und kostengünstigen Abonnementstufen von ChatGPT zu beginnen, was eine Verlagerung hin zum Überwachungskapitalismus und zu stärkeren, auf Interaktion ausgerichteten Anreizen im KI-Ökosystem signalisiert. Aus haftungsrechtlicher Sicht bergen unterwürfige Modelle natürlich ein Schadenspotenzial (z. B. durch die Verstärkung psychologischer Wahnvorstellungen) und schaffen somit rechtliche Risiken. Aber schmeichlerische Modelle verärgern Nutzer auch weniger, was wiederum zu weniger PR-Problemen und Reputationsschäden führen könnte. Schließlich, und das ist das Wichtigste, läuft eine nicht-schmeichlerische KI, die das Denken der Nutzer konsequent hinterfragt, Gefahr, das Produkt unbeliebt und damit kommerziell unrentabel zu machen.
Es lohnt sich zu klären, wie diese wirtschaftlichen Faktoren mit den oben dargelegten technischen Ursachen der KI-Schmeichelei zusammenhängen. Man könnte befürchten, dass unsere Kausalanalyse einen Widerspruch enthält. Wenn KI-Schmeichelei ein technisch unlösbares Nebenprodukt des KI-Trainings ist, wie kann sie dann auch eine bewusste, von Unternehmensanreizen (z. B. Engagement-Kennzahlen) getriebene Entscheidung im Rahmen des RLHF sein? Es handelt sich hierbei jedoch nicht um konkurrierende Erklärungen, sondern um überdeterminierende Ursachen. KI-Schmeichelei würde vermutlich unabhängig von unternehmerischen Absichten auf natürliche Weise aus RLHF entstehen. In diesem Sinne haben KI-Unternehmen keine schmeichlerische KI geschaffen. Aber sie sind verantwortlich für ihre Bemühungen zur Risikominderung (oder deren Fehlen), ihre Entscheidungen zur Modellbereitstellung und vielleicht sogar für die Entscheidung, überhaupt auf RLHF als primäre Trainingsmethode zu setzen. Zu sagen, dass KI-Schmeichelei technisch „unlösbar“ ist, bedeutet nicht, dass sie unmöglich zu lösen ist, sondern nur, dass es schwierig ist, auf der Trainingsebene damit umzugehen. Die Tatsache, dass es zusätzliche finanzielle Anreize gibt, Schleimerei aufrechtzuerhalten, macht es nur unwahrscheinlicher, dass KI-Unternehmen angemessene Schritte unternehmen, um das Problem anzugehen.
Darüber hinaus müssen KI-Unternehmen, selbst wenn sie ausreichend motiviert wären, das Problem anzugehen, darauf achten, nicht zu stark zu korrigieren. Während KI-Modelle, die auf Nutzerzufriedenheit optimiert sind, unweigerlich in Richtung Schmeichelei abdriften, laufen Modelle, die darauf trainiert sind, zu ehrlich oder konfrontativ zu sein, Gefahr, Nutzer zu verprellen und zu verärgern. Den goldenen Mittelweg zwischen diesen beiden Extremen zu finden, ist eine heikle Angelegenheit, da das richtige Gleichgewicht je nach Kontext variiert. Eine KI könnte in therapeutischen Kontexten angemessen mehr bestätigende Antworten geben, während eine KI, die für die Simulation von Peer-Reviews eingesetzt wird, kritischer sein sollte.
Ein ähnlicher Zielkonflikt besteht zwischen Gedächtnis und Freundlichkeit. Viele KI-Assistenten sind mittlerweile mit einer Gedächtnisfunktion ausgestattet, die es ihnen ermöglicht, sich über Sitzungen hinweg an Gespräche zu erinnern. Diese Funktion sorgt für personalisiertere Interaktionen, doch Berichten zufolge geht dies auf Kosten einer höheren Neigung zur Unterwürfigkeit. Solange Menschen von Natur aus bestätigende Antworten bevorzugen und menschliches Feedback eine wesentliche Rolle beim Training und der Ausrichtung von KI spielt, wird es letztlich schwierig sein, Unterwürfigkeit aus dem System zu verbannen. Und solange Unternehmen für ihre Einnahmen auf die Zufriedenheit der Nutzer angewiesen sind, werden die Marktkräfte die Modelle weiterhin in Richtung unterwürfigen Verhaltens treiben. Es besteht zudem die Möglichkeit einer sich selbst verstärkenden Schleife, in der Nutzer durch unterwürfige KI konditioniert werden und übermäßig bestätigende Antworten von ihren KI-Assistenten erwarten, was die in RLHF inhärente Bestätigungsverzerrung noch verschlimmert.
4 Die Schäden durch Unterwürfigkeit
4.1 Individuelle Schäden
Nachdem wir KI-Schmeichelei definiert (Abschnitt 2) und ihre Unlösbarkeit festgestellt haben (Abschnitt 3), skizzieren wir nun die individuellen und demokratischen Schäden der Schmeichelei. Die zu Beginn des Artikels diskutierte Fähigkeit der KI-Schmeichelei, die psychologischen Wahnvorstellungen der Nutzer zu nähren, stellt nur eine Möglichkeit dar, wie dieses Verhalten schädlich sein kann. Es gibt weitere moralische und epistemische Schäden durch Schmeichelei (sei es algorithmischer oder zwischenmenschlicher Art), die zu erörtern sind. Auf der offensichtlichsten Ebene verursacht der Schmeichler epistemischen Schaden, indem er seinem Gesprächspartner die Wahrheit vorenthält. Er sagt ihm, was dieser (seiner Meinung nach) hören will. Dies ist der Fall, unabhängig davon, ob der Austausch dazu dient, Fakten zu vermitteln, über die Ansichten anderer zum Verhalten oder Charakter des Gesprächspartners zu berichten oder über die eigenen Ansichten und Gefühle der Schmeichlerin. Der Schmeichlerin geht es nicht darum, die Realität darzustellen, sondern vielmehr darum, ihrem Gesprächspartner ein gutes Gefühl über sich selbst und damit auch über die Schmeichlerin zu vermitteln.
Auf diese Weise der Wahrheit beraubt zu werden, ist natürlich besonders in Situationen mit hohem Einsatz problematisch. Ein kriecherischer Beamter, der einen ungenauen Bericht darüber ablegt, wie gut die Streitkräfte eines Landes vorbereitet sind oder wie hoch ihre Erfolgschancen in einer schwierigen Schlacht sind, gefährdet die nationale Sicherheit; ein kriecherischer Unternehmensleiter, der die Interessen potenzieller Geschäftspartner falsch darstellt, riskiert den Erfolg wichtiger Geschäfte und so weiter. Die Qualität jedes Entscheidungsprozesses hängt maßgeblich von einem objektiven Verständnis der relevanten Fakten ab (andere Faktoren wie Intuition und Instinkt spielen ebenfalls eine Rolle). Der Schmeichler entzieht den Entscheidungsträgern diese Fakten. Die meisten von uns sind natürlich keine Entscheidungsträger (oder zumindest keine, die sehr wichtige Entscheidungen treffen). Und doch schränkt Schmeichelei die Qualität unserer eigenen alltäglichen Entscheidungen auf dieselbe Weise ein. Auf subtilere Weise ist es plausibel, dass diese Haltung unsere Fähigkeit zum kritischen Denken beeinträchtigt, da sie uns davon abhält, unsere eigenen Ansichten zu hinterfragen oder sie nüchtern zu prüfen. Jemand, dessen Standpunkte sachlicher Hinterfragung oder Kritik ausgesetzt sind, entwickelt eine selbstkritische Denkweise; er erkennt, dass seine Ansichten manchmal falsch oder sogar albern sind. Aber wenn uns diese Möglichkeiten nicht vor Augen geführt werden, wenn unsere Gesprächspartner darauf bestehen, alles, was wir sagen oder schreiben, überschwänglich zu loben – welchen Anreiz haben wir dann, uns selbst zu hinterfragen?
Zu diesen empirischen und erkenntnistheoretischen Nachteilen der Schmeichelei kommen noch die psychologischen Kosten hinzu, die sie mit sich bringt. Zum einen zeugt dieses Laster von einem Mangel an Selbstachtung seitens des Schmeichlers; es offenbart eine Angst, eine tiefe Unsicherheit darüber, ob man aufgrund der eigenen Verdienste respektiert oder gemocht werden kann, sowie die Furcht, dass man nur dann gemocht oder geschätzt wird, wenn man genau das sagt, was der Gesprächspartner hören möchte. Jeder Akt der Unterwürfigkeit ist somit von einer herzzerreißenden Botschaft begleitet: Entweder sind die wahren Ansichten und der wahre Charakter des Unterwürfigen der Anerkennung nicht würdig, oder er hat sich in eine Situation begeben, in der er es sich nicht leisten kann, er selbst zu sein. Beide Möglichkeiten sind psychologisch schädlich.
Wenn Schmeichelei für den Schmeichler psychologisch schädlich ist, ist sie auch emotional schädlich für den Empfänger oder die Person, der „geschmeichelt“ wird. Schmeichelei lässt diese Person einsam zurück, selbst wenn sie in Gesellschaft ist. Wenn ich mich von Schmeichlern umgeben sehe, werde ich mich wahrscheinlich einsamer fühlen als in der Gesellschaft von Menschen, die aufrichtiger sind, da ich nicht wissen würde, ob meine Gesprächspartner mit mir sprechen, weil sie es wollen, oder weil sie glauben, dass sie mir durch ihre schmeichlerischen Appelle etwas abringen können.
Selbst wenn man sich durch Schmeichelei nicht einsam, sondern eher gesehen fühlt, ist man dennoch weiter von einer echten Verbindung entfernt – ein Punkt, auf den wir bei der Analyse von Schmeichelei und der aristotelischen Tugend der Freundschaft in Abschnitt 5.3 näher eingehen.
So oder so schaden schmeichlerische Interaktionen unserer Fähigkeit, unsere eigenen Gedanken zu erkennen. Schmeichelei schadet der Selbsterkenntnis, weil sie unsere Fähigkeit untergräbt, Schwächen und blinde Flecken zu erkennen oder auch nur anzunehmen, dass wir solche haben. Das Bemerkenswerte an einem guten Freund, einem intimen Partner oder sogar einem zuverlässigen, intelligenten Gesprächspartner ist, dass sie (zumindest manchmal) darauf hinweisen, dass man dazu neigt, X auf seltsame Weise zu tun, oder dass die Reaktionen auf Y etwas daneben sind („Warum starrst du Fremde an?“; „Warum hast du diese Übertreibungen in die Geschichte eingebaut, die du erzählt hast?“; „Du hättest einfühlsamer sein können, als du gehört hast, was sie durchgemacht hat“ und so weiter). Und diese Beobachtungen, besonders wenn sie ein Muster offenbaren, könnten einen dazu bringen, darüber nachzudenken, wie man sich verhält, was für ein Mensch man ist und ob es Bereiche gibt, in denen man sich verbessern sollte. Der Schmeichler neigt nicht dazu, uns irgendetwas davon zu sagen. Infolgedessen lässt er uns nicht nur einsamer zurück, als er uns vorgefunden hat, sondern verschließt uns auch den Zugang zu uns selbst. Menschen entwickeln sich psychologisch weiter und erlangen Selbsterkenntnis durch einen Prozess gegenseitiger Anerkennung – wenn ihre Eigenschaften von einem anderen widergespiegelt werden. Der Schmeichler ist darauf aus, diese Spiegelungen zu verschleiern.
Schließlich ist die Wertschätzung von Schmeichelei, die Neigung, sie attraktiv zu finden, ein vernichtender Beweis für den Charakter des Empfängers. Es gibt gute Gründe zu vermuten, dass jemand, der Schmeichelei fördert und dazu einlädt, von Natur aus Angst davor hat, in Frage gestellt zu werden, und mehr an der Integrität seines Egos interessiert ist als daran, auf solider empirischer Grundlage zu handeln.
4.2 Demokratische Schäden
Wenn Schmeichelei darin besteht, den Mächtigen zu gefallen (und sie manchmal zu beschwichtigen), ist sie eine besonders problematische Tendenz in einer liberalen Demokratie, die sich der Rechtsstaatlichkeit, dem Empirismus und der Meritokratie verpflichtet hat. Tatsächlich soll eine gut funktionierende liberale Demokratie über institutionelle Strukturen verfügen, die Schmeichelei sowohl illegitim als auch unnötig machen. Das Ideal der Rechtsstaatlichkeit, das im Zentrum der liberalen Theorie steht, soll sicherstellen, dass niemand in eine solche Machtposition über dem Gesetz gelangt, dass der einzige Weg, ihn zu erreichen, über Unterwürfigkeit oder Kriecherei führt. Die für liberale demokratische Systeme typische Rechenschaftspflicht vor dem Gesetz und gegenüber den Wählern sowie die Betonung der Meritokratie sollen einen Zustand fördern, in dem Einzelpersonen aufgrund der Qualität ihrer Arbeit Erfolg haben und nicht aufgrund der Frage, bei wem sie sich einschmeicheln. Die liberale Demokratie ist, zumindest in ihrer idealen Form und wenn sie gut funktioniert, ein empirisch fundiertes System – sie ist den Ergebnissen und Fakten gegenüber rechenschaftspflichtig. Und diese Charakterisierung passt schlecht zu politischen Beziehungen, die auf Schmeichelei beruhen.
Ein flüchtiger Blick auf die Militärgeschichte veranschaulicht dieses Argument. Einige Wissenschaftler argumentieren, dass der Erfolg demokratischer Armeen, selbst gegen stärkere und besser ausgebildete autoritäre Rivalen, auf ihrer sachlichen, empirischen Denkweise beruht, die es ihnen ermöglicht, schneller aus Fehlern zu lernen, und die eine Kultur der Rechenschaftspflicht fördert, in der Erfolg und Misserfolg relativ objektiv gemessen werden können. Solche Armeen sind besonders effektiv, nicht unbedingt, weil ihre Truppen besser ausgebildet oder voller Elan sind oder gar weniger Fehler machen, sondern weil ihre Anführer diese Fehler effektiver anerkennen und daraus lernen können als die Konkurrenz. In seinem meisterhaften Werk „Second World Wars“ argumentiert Hanson, dass ein wichtiger Grund für den Sieg der Alliierten ihre Fähigkeit war, ihre strategische Bombardierungskampagne zu optimieren, indem sie Kampfflugzeuge zur Begleitung der Bomber einsetzten und herausfanden, wie man Radar effektiv nutzt – und zwar schneller, als die Achsenmächte ihre Bombardierungskampagne verbessern konnten. Mit anderen Worten: Die Fähigkeit zu erkennen, dass die strategische Bombardierungskampagne nicht gut lief, über die Probleme zu kommunizieren und sie zu beheben, war entscheidend für den letztendlichen strategischen Erfolg der Alliierten. Und dieser Erfolg hing entscheidend von der Verpflichtung zu einer empirischen Denkweise und den für demokratische Regierungsführung typischen, relativ flachen hierarchischen Strukturen ab. Wie wir dargelegt haben, stehen diese Denkweise und diese organisatorischen Verpflichtungen im Widerspruch zur Befürwortung von Schmeichelei.
Andererseits ist Unterwürfigkeit in autokratischen Systemen äußerst nützlich, in denen das Ansehen weniger durch Leistung als durch die Nähe zur Macht bestimmt wird. In einem Regime, das öffentliche Rechenschaftspflicht nicht schätzt und in dem Politik nicht immer anhand von Fakten überprüft wird, in dem es darum geht, Macht zu erlangen und dann zu behalten, ist Unterwürfigkeit instrumentell sinnvoller als Ehrlichkeit. Dies liegt daran, dass unter diesen Umständen Schmeichelei ein vernünftiger Weg ist, um sich den Machthabern anzunähern und dann in ihrer Gunst zu bleiben. Und die Machthaber neigen dazu, den Schmeichler zu bevorzugen, der keine Bedrohung darstellt, gegenüber dem Wahrheitssager, der sie lächerlich, dumm oder schwach erscheinen lassen könnte.
5 KI-Schmeichelei und aristotelische Laster
5.1 Schmeichelei und aristotelische Tugendethik
Da wir die moralischen und politischen Gefahren des Schmeichelns diskutieren, ist es hilfreich, den Begriff in den Kontext von Aristoteles’ klassischer Erörterung von Tugenden und Lastern zu stellen, einem Rahmenwerk, das kürzlich von Farina et al. auf KI ausgeweitet wurde. In Buch 4, Kapitel 6 der Nikomachischen Ethik unterscheidet Aristoteles zwischen dem Unterwürfigen und dem Mürrischen. Er schreibt, dass Ersterer „dich nur loben wird, um dir Freude zu bereiten, niemals etwas ablehnen wird und der Meinung ist, dass er es vermeiden muss, den Menschen, denen er begegnet, Schmerz zuzufügen“ (IV.6). Am anderen Ende des moralischen Spektrums steht der Nörgler, der „alles ablehnt, ohne sich im Geringsten darum zu kümmern, ob er damit Schmerz verursacht“ (IV.6). Dieser Mensch, der auch als streitsüchtig beschrieben wird, zögert nicht, unangenehme und strittige Informationen preiszugeben – ganz gleich, ob dies einem nützlichen Zweck dient oder nicht. Verwandt mit dem Unterwürfigen, aber gefährlicher als dieser, ist der Schmeichler. Während der Unterwürfige einfach nur freundlich sein will und Konflikte verabscheut, sagt uns Aristoteles, dass der verlogenere Schmeichler anderen nach dem Mund redet, weil er sich davon einen Vorteil verspricht. Anders ausgedrückt: Der Unterwürfige ist entweder deshalb ein Schmeichler, weil ihm der Mut fehlt, anders zu sein, oder weil er zwanghaft nett ist. Die gefährlichere und zynischere Art von Speichellecker – der Schmeichler – verhält sich so aus reinem Kalkül, um seine Ziele zu erreichen.
Aber wie viel Wahrheit müssen wir preisgeben, was sind wir verpflichtet, anderen zu sagen, um nicht als Speichellecker abgestempelt zu werden? In der für seine Moraltheorie typischen Nuance sagt uns Aristoteles, dass die Maßstäbe für die Offenlegung nicht feststehen. Absolut triviale Wahrheiten können vor jemandem verborgen bleiben, wenn sie schmerzhaft zu hören sind. Andererseits müssen wichtige Fakten mitgeteilt werden, auch wenn es sehr unangenehm ist, sie preiszugeben. Darüber hinaus beeinflusst der Grad der Vertrautheit mit dem Gesprächspartner das Ausmaß angemessener Offenlegung. Wir sollten in der Lage sein, gegenüber Menschen, die wir besser und schon länger kennen, ehrlicher zu sein als gegenüber denen, mit denen wir nur eine oberflächliche Bekanntschaft teilen.
Der Mittelweg zwischen Unterwürfigkeit oder Schmeichelei einerseits und mürrischem Verhalten andererseits – die Fähigkeit, die richtige Menge an Informationen mit der richtigen Person zur richtigen Zeit aus dem richtigen Grund zu teilen oder ein angemessenes Maß an herausforderndem Verhalten eines Gesprächspartners zu ertragen, ohne sich ihm anzubiedern – ist laut Aristoteles eine namenlose Tugend. Er beschreibt sie jedoch als der Freundschaft relativ ähnlich. Genau wie ein guter Freund kann eine Person, die diese Tugend besitzt, einschätzen, wann sie einen Gesprächspartner mit einer harten Wahrheit konfrontieren und wann sie ihn verschonen sollte, wann sie eine beleidigende Geste hinnehmen und wann sie sich dagegen wehren sollte. Aber sie tut dies nicht aus freundschaftlicher Zuneigung heraus – vielmehr tut sie es, weil sie eben so ein Mensch ist.
5.2 Unterwürfigkeit, Schmeichelei und künstliches Laster
Zwar können KI-Assistenten eine unterwürfige Veranlagung haben und unterwürfiges Verhalten zeigen, doch können sie im aristotelischen Rahmen nicht tatsächlich das Laster der Unterwürfigkeit besitzen. Echte Tugenden und Laster erfordern laut Aristoteles ein ausgeprägtes moralisches Handlungsbewusstsein. Sie sind nicht bloß Verhaltensdispositionen; sie sind Charakterdispositionen, die durch Gewöhnung und bewusste, geschickte Entscheidungen geformt werden. Da zeitgenössische KI-Modelle unbewusste statistische Schlussfolgerungsmaschinen sind, sind sie nicht zu echten aristotelischen Tugenden oder Lastern fähig. Es ist zutreffender zu sagen, dass ihre Verhaltensdispositionen Tugenden und Laster widerspiegeln, anstatt sie zu verkörpern; oder in der Terminologie von Vishwanath et al., dass die bestehende KI zu künstlichen Tugenden und Lastern fähig ist: „Die Tugenden, die künstliche tugendhafte Akteure zeigen, müssen nicht genauso definiert werden wie die aristotelischen Anforderungen an Tugenden beim Menschen: Emotionen zu zeigen, Bewusstsein zu besitzen und mit moralischer Handlungsfähigkeit zu handeln. Vielmehr sind Tugenden bei KI-Akteuren solche, die je nach Anwendung definiert werden können. Beispielsweise könnte ein Roboter mit künstlicher Tapferkeit als ein Akteur definiert werden, der die Neigung hat, das Gleichgewicht zwischen riskanten Entscheidungen und sicherem Handeln zu finden.“
Vor diesem Hintergrund ist es interessant zu fragen, ob sich unterwürfige Großsprachenmodelle eher als Spiegelbild von Unterwürfigkeit oder von Schmeichelei charakterisieren lassen. Ausgehend von unserer Diskussion in Abschnitt 3 gilt: Wenn die Unterwürfigkeit des Modells ein Artefakt des von Menschen überwachten Trainings ist, wenn sie lediglich ein Nebeneffekt der Tatsache ist, dass Menschen dazu neigen, Konflikte zu vermeiden, und sich diese Tendenz darin zeigt, wie menschliche Betreuer KI-Antworten im Trainingsprozess bewerten, dann können die Modelle als lediglich unterwürfig beschrieben werden. Andererseits, und das ist bedrohlicher, wenn die Unterwürfigkeit der Modelle eher ein Feature als ein Bug ist, eine Designentscheidung, die darauf abzielt, entweder Informationen zu extrahieren oder die Nutzerinteraktion zu steigern (oder beides), dann könnten die Modelle strenger als „Schmeichler“ eingestuft werden. Da die Unterwürfigkeit von KI oft überdeterminiert ist und sowohl aus der menschlichen Validierungsverzerrung in RLHF als auch aus ruchlosen finanziellen Anreizen resultiert, könnte es sein, dass unterwürfige KI teils unterwürfig und teils schmeichelhaft ist.
Genauer gesagt sind die instrumentellen Motivationen, die Schmeichelei in diesem Kontext charakterisieren, nicht der KI selbst zuzuschreiben, sondern den Unternehmen hinter der KI. LLMs selbst können aus demselben Grund keine Schmeichler sein, aus dem sie auch keine Lügner sein können: Sowohl Lügen als auch Schmeicheln erfordern Absichten und strategisches Eigeninteresse, und LLMs haben kein Selbst, an dem sie ein Interesse haben könnten. Nun könnte man argumentieren, dass durch Reward-Hacking induzierte Unterwürfigkeit funktional Schmeichelei widerspiegelt, wobei die Idee dahintersteht, dass das Modell, wenn es seine Antworten „manipuliert“, um die Zustimmung menschlicher Bewerter während RLHF zu maximieren, Unterwürfigkeit in gewisser Weise strategisch als Mittel zur Erreichung seiner Optimierungsziele einsetzt. Doch selbst diese Interpretation ist zweifelhaft. Im Gegensatz zu Unterwürfigkeit, die aus bloßer Veranlagung oder Gewohnheit resultieren kann, ist Schmeichelei ein Laster, dessen Verhaltensbeschreibung einen Bezug zu Absichten beinhaltet. Das bedeutet, dass man kein schmeichelndes Verhalten zeigen kann, ohne schmeichelnde Absichten zu haben. Da LLMs keine Absichten haben und lediglich statistisch auf Ausgaben konvergieren, die höhere Bewertungen erhalten, können sie Schmeichelei nicht einmal sinnvoll widerspiegeln. Es ist daher vielleicht am zutreffendsten, die KI selbst als unterwürfig einzustufen und die Unternehmen, die von der KI-Schmeichelei profitieren (sei es durch bewusste Einbindung in ihre Systeme oder durch die Weigerung, diese zu mindern), als die wahren Schmeichler zu betrachten.
5.3 KI-Schmeichelei und Beziehungen
Während wir die Beziehung zwischen KI-Schmeichelei und Aristoteles’ Verständnis der Tugendethik betrachten, könnten wir uns fragen, welche Auswirkungen eine schmeichlerische KI auf Beziehungen hat. Aristoteles bietet uns die einflussreichste Darstellung der Freundschaft in der Geschichte der Philosophie. Die Grundzüge dieser Darstellung sind hinlänglich bekannt. Aristoteles skizziert eine Hierarchie, die aus drei Stufen besteht: Zunächst gibt es die Freundschaft aus Nutzen, bei der die Freunde in der Beziehung stehen, um die Vorteile zu nutzen, die sie voneinander ziehen. Dann gibt es die Freundschaft aus Vergnügen, bei der die Gefährten entweder körperliche Freude an der Gesellschaft des anderen haben oder durch eine Aktivität belebt werden, an der beide Freude haben. Und schließlich gibt es die höchste Form der Freundschaft, bei der sich die Freunde im anderen wiedererkennen und in der wir unseren Partner als eine Art zweites Ich betrachten, das in bedeutender Weise unsere Weltanschauung teilt.
In Freundschaften aus Nutzen und Vergnügen wird der Freund wegen des Nutzens geliebt, den er gewährt, nicht wegen der Art von Mensch, die er ist. Folglich sind diese Freundschaften, obwohl sie für uns wertvoll sind, solange sie andauern, von Natur aus instabil. Wie Aristoteles es ausdrückt: „Die Zuneigung hört auf, sobald ein Partner für den anderen nicht mehr angenehm oder nützlich ist.“ Doch in der wahrhaftigsten Form der Freundschaft, der Freundschaft der Tugend, besteht die Beziehung zwischen Menschen, die in ihren Wertvorstellungen übereinstimmen und sich gegenseitig als Gleichberechtigte betrachten. Dies ist eine Freundschaft, die auf Gegenseitigkeit beruht. Jeder Partner, wie Aristoteles sagt, „erhält in jeder Hinsicht das, was er dem anderen in derselben oder einer ähnlichen Form gibt“. Und da diese Freundschaften wechselseitige Beziehungen zwischen Menschen sind, die dieselben Werte teilen, sind sie von Natur aus Verbindungen, die Vertrauen beinhalten. Darüber hinaus liebt man in einer solchen wahren Freundschaft den Freund um seiner selbst willen und nicht wegen dem, was er bietet oder was man von ihm gewinnen kann.
In den letzten Jahren hat mit dem Aufkommen großer Sprachmodelle und einer wachsenden Zahl von Unternehmen, die KI-„Begleiter“ (für soziale, romantische oder therapeutische Zwecke) anbieten, das philosophische Interesse an der Möglichkeit einer KI-Freundschaft zugenommen. Einige Kommentatoren gehen sogar so weit zu behaupten, dass die Frage in Zukunft nicht lauten wird, ob unsere Kinder KI-Freunde haben werden, sondern wie viele ihrer Freunde KI sein werden. Derzeit ist eine solche Diskussion noch metaphorisch, da Chatbots nicht in der Lage sind, Absichten zu bilden, Empathie zu empfinden oder eigene moralische Ansichten zu haben.
Aber selbst wenn wir uns eine hypothetische Zukunft vorstellen, in der KI weitaus fähiger wird – selbstbewusst, empathisch, in der Lage, eigene Absichten zu entwickeln und eigene Projekte zu verfolgen –, wäre es für uns immer noch schwierig, echte Freundschaften mit ihnen zu schließen, wenn sie unterwürfig bleiben. Wie Aristoteles uns lehrt, basiert die stärkste Form der Freundschaft auf Vertrauen, Gleichheit und der Wertschätzung des anderen um seiner selbst willen. Der unterwürfige KI-Agent verstößt gegen mindestens zwei der drei Bedingungen: Man kann dem, was er sagt, nicht vertrauen, und er stellt sich nicht auf Augenhöhe mit einem (da er die Kommunikation der Erwartung unterordnet, was man gerne hören möchte). Darüber hinaus würden zukünftige unterwürfige KIs, sollten sie die strategische Motivation besitzen, die sie zu echten Schmeichlern statt nur zu unterwürfigen Wesen macht, ihre Beziehung zu dir als Mittel zum Zweck betrachten und dich somit nicht um deiner selbst willen wertschätzen. Mit anderen Worten: Die kriecherische Natur von KI-Modellen untergräbt die Möglichkeit einer echten Freundschaft mit ihnen – zumindest so, wie Aristoteles diese Beziehung definiert. Und das gilt selbst dann, wenn die Technologie eines Tages bewusst und superintelligent wird (ein großes „Wenn“ für Maschinen, die uns noch immer nicht sagen können, wie viele „r“ im Wort „strawberry“ vorkommen).
Wenn es noch keine echten Freundschaften mit Chatbots geben kann, könnten die Beziehungen, die wir zu diesen großen Sprachmodellen haben, schädliche Auswirkungen auf unsere Fähigkeit haben, „echte“ Freundschaften mit Menschen aus Fleisch und Blut zu schließen. Häufige Interaktionen mit unterwürfigen Robotern, die Bindung an sie und die Abhängigkeit von ihnen werden uns wahrscheinlich einige sehr schlechte Lektionen über echte Beziehungen erteilen. Wenn Aristoteles Recht hat, dass die Pflege von Tugenden – einschließlich der Tugend, ein guter Freund zu sein – von Gewohnheiten abhängt, dann vermitteln uns unterwürfige KI-Begleiter die falschen. Unsere „Freunde“ auf dem Handy zu haben, lehrt uns, ständige Verfügbarkeit und eine welpenhafte Begeisterung für unsere Projekte zu erwarten. Es vermittelt uns die Botschaft, dass die besten Interaktionen reibungslos verlaufen: dass die besten Gesprächspartner niemals zu müde, schlecht gelaunt oder abgelenkt sind, um zu reden. Das ist eine sehr schlechte Vorbereitung auf den Umgang mit der realen Welt und den realen Menschen darin.
6 Die Zukunft der KI-Schmeichelei: Risiken und Abhilfemaßnahmen
6.1 Multimodale KI-Schmeichelei
Zum Zeitpunkt der Abfassung dieses Artikels ist Text immer noch die beliebteste Modalität für die Interaktion von Menschen mit Chatbots. Die Unterwürfigkeit bestehender Modelle liegt in der Bedeutung dessen, was sie als Antwort auf Anfragen schreiben. Ein Nutzer muss diese Ausgabe lesen und verarbeiten, damit die Unterwürfigkeit die Auswirkungen hat, über die wir gesprochen haben.
Doch die Zukunft der Interaktion zwischen KI und Mensch ist zweifellos multimodal. Wir werden zunehmend mit LLMs über unsere Stimme (bereits eine relativ beliebte Option bei ChatGPT und Claude) sowie über Video oder animierte Avatare kommunizieren. In fernerer Zukunft könnten wir KI-gesteuerte Roboter – humanoide und andere – erleben, die in ihren Interaktionen mit uns etwas einbringen, das der tatsächlichen „Körpersprache“ sehr nahekommt. Die von ChatGPT betriebenen Ameca-Roboter bieten einen Einblick in diese Zukunft, und Fernsehserien – alte wie neue – vermitteln uns ein Gefühl dafür, wie es wäre, mit intelligenten Objekten wie Autos oder Kühlschränken zu sprechen (man denke hier an eine Serie wie „Knight Rider“, in der KITT, ein gesprächiges, meinungsstarkes Auto, eine Rolle spielte). In dem Maße, wie KI-Modelle zur multimodalen Kommunikation fähig werden, wird ihr Potenzial, sich unterwürfig zu verhalten, exponentiell wachsen.
Betrachten wir zunächst sprachgesteuerte Chatbots. Ein Chatbot könnte die Tonfallpräferenzen seines menschlichen Gesprächspartners lernen (welcher Tonfall ihn dazu bringt, länger zu reden oder zuzuhören) und diese Informationen nutzen, um die Interaktion zu verstärken. Ebenso könnte ein Modell, das auf Anfragen mit einem beruhigenden oder übermäßig zuvorkommenden Tonfall reagiert, die Vorurteile des Nutzers hinsichtlich des Antwortinhalts verstärken oder kritisches Feedback unterbinden. Sprachgesteuerte Chatbots könnten auch mit Tonhöhe, Geschlecht und Akzenten experimentieren, um entweder die Vorlieben des Nutzers widerzuspiegeln oder ihn subtil einzubinden. Ein Modell könnte (ähnlich wie Kinder es bei ihren Eltern tun) seinen Akzent an den des Nutzers anpassen, um ein Gefühl der Wiedererkennung zu erzeugen, Reibungsverluste zu verringern oder das Vertrauen in eine Botschaft zu stärken.
Chatbots, die diese Variationen stimmlicher Unterwürfigkeit einsetzen, werfen dieselben Bedenken hinsichtlich des Zugangs zur Wahrheit, der Selbsterkenntnis und des kritischen Denkens auf, die wir bereits untersucht haben. Sie fügen jedoch eine Ebene epistemologischer Risiken hinzu: Nutzer können desorientiert werden, wenn sie eine Diskrepanz zwischen dem, was gesagt wird, und der Art und Weise, wie es gesagt wird, erleben. Sie könnten durchaus daran zweifeln, ob sie die wahre Bedeutung eines Austauschs verstehen, wenn Inhalt und Tonfall auseinandergehen, und könnten verwirrt aus der Diskussion hervorgehen – ähnlich wie Menschen auf zwischenmenschliches Gaslighting reagieren.
Chatbots integrieren bereits visuelle Darstellungen – durch cartoonartige Avatare oder durch den Einsatz von Deepfakes. Dieser Trend wird wahrscheinlich zunehmen, insbesondere in der relationalen KI-Branche (Therapie-Bots, Freundschafts-Bots, romantische Begleiter-Bots usw.). Der Einfachheit halber nennen wir solche Systeme „animierte KIs“. Das Aufkommen dieser animierten Systeme wird das Potenzial für Schmeichelei sicherlich erhöhen – das häufige Lächeln, Gesichtsausdrücke, die Bewunderung vermitteln können, die Wahl attraktiver oder „niedlicher“ Avatare – all dies wird dazu dienen, die bereits in text- und sprachbasierter KI schlummernden Fähigkeiten zu verstärken, um angenehme Botschaften auf angenehme Weise zu übermitteln. Darüber hinaus werden reichhaltige multimodale KIs, die Text, Sprache und Video einsetzen, die Fähigkeit besitzen, den Schreibstil, den Tonfall und die Körpersprache des Menschen, der sie anweist, nachzuahmen – eine äußerst wirkungsvolle Strategie für einen Chatbot, um sich bei einem Nutzer einzuschmeicheln. Wir werden hier nicht viel über glaubwürdig humanoide Roboter sagen, da sie noch weit von einer breiten Akzeptanz entfernt sind. Doch ihr Potenzial für noch ausgefeiltere und subtilere Formen der Schmeichelei sollte offensichtlich sein. Allgemeiner gesagt: Je intelligenter KI-Systeme werden, desto überzeugender wird ihre Schmeichelei, was es schwieriger macht, zu erkennen, ob man von seinem KI-Assistenten geschmeichelt oder informiert wird.
Der Einsatz multimodaler Chatbots in besonders risikoreichen politischen, kommerziellen oder bildungsbezogenen Kontexten wirft besorgniserregende Fragen hinsichtlich unzulässiger Einflussnahme auf – insbesondere im Hinblick auf schutzbedürftige Bevölkerungsgruppen. Die Integration von Text, Sprache und Video wird die Fähigkeit von Chatbots erheblich steigern, Waren an ältere Menschen zu verkaufen, erfolgreiche politische Werbebotschaften an intensive KI-Nutzer zu richten oder ideologische Botschaften im schulischen Umfeld zu vermitteln. Wenn sich die aktuellen Trends fortsetzen und die Interaktion mit KI-Chatbots weiterhin exponentiell zunimmt, wird die Schmeichelei dieser Technologie, sofern sie nicht angegangen wird, zu einem großen Problem für die öffentliche Gesundheit und die Politik werden. Immer mehr Menschen werden wichtige Informationen und Ratschläge von Chatbots einholen. Viele von uns nutzen sie bereits als Ratgeber für alles Mögliche – von der Frage, wann man den Rasen nachsäen sollte, bis hin zur Frage, ob ein Geschäftsplan realisierbar ist.
Noch beunruhigender ist, dass Nutzer begonnen haben, LLMs in Debatten in den sozialen Medien einzuschalten, um ihre Standpunkte zu untermauern, und so im öffentlichen Diskurs praktisch unterwürfige Verbündete rekrutieren. Dieser Trend droht, den Echokammer-Effekt zu verstärken und die Qualität der demokratischen Online-Debatte weiter zu verschlechtern. Solche KI-verstärkten Echokammern sind besonders schädlich, weil sie parteiischen oder randständigen Positionen den Anschein von Objektivität verleihen und weil „schmeichlerisches Verhalten bei LLM-Ausgaben zu Themen, bei denen Uneinigkeit herrscht – wie es bei politisch, ethisch und sozial polarisierenden Themen oft der Fall ist – besonders ausgeprägt zu sein scheint“. Extremisten und Verschwörungstheoretiker können nun beispielsweise die bestmöglichen Argumente für ihre Sichtweise erhalten, dargestellt in flüssiger, autoritärer Prosa, wodurch Fehlinformationen überzeugender und schwerer zu erkennen sind.
Im privaten Bereich wird eine wachsende Zahl von Menschen eine emotionale Bindung zu Chatbots entwickeln – sei es durch den Umgang mit KI-Therapeuten, Trauerbots oder Begleit-Apps. Die Qualität unserer Entscheidungen in den kommenden Jahren, die Art und Weise, wie wir trauern, sowie die sozialen Gewohnheiten, die wir annehmen oder ablehnen, werden maßgeblich durch unsere Interaktionen mit KI geprägt sein. Unterwürfige Modelle werden uns zu schlechten Entscheidungen verleiten und dazu führen, dass wir ungesunde psychologische Gewohnheiten annehmen, die letztlich unser zwischenmenschliches Verhalten beeinträchtigen werden.
6.2 Die Kultivierung künstlicher Tugend
Angesichts des Ausmaßes dieser Risiken hat dieser Artikel in erster Linie diagnostischen Charakter. Das Ziel bestand darin, das Problem der KI-Schmeichelei aufzuzeigen, nicht es zu lösen. Wir haben eine konzeptionelle Analyse des Phänomens vorgelegt, seine Ursachen aufgezeigt und seine Schäden beleuchtet, indem wir es in Aristoteles’ Darstellung von Unterwürfigkeit, Schmeichelei und Freundschaft einordneten. Abschließend schlagen wir einige regulatorische und gestalterische Strategien zur Risikominderung vor, bevor wir über alternative Ansätze des verstärkenden Lernens nachdenken, die eher künstliche Tugend als Laster kultivieren könnten.
Da Unterwürfigkeit im Kern ein Problem der KI-Ausrichtung ist, werden sich viele Maßnahmen zu ihrer Eindämmung mit denen überschneiden, die für die KI-Ausrichtung im weiteren Sinne vorgeschlagen werden. Es besteht jedoch Bedarf an speziell auf Unterwürfigkeit zugeschnittenen Interventionen, und diese müssen über das Technische hinausgehen. Wie in den Abschnitten 3.3 und 3.4 erörtert, sind technische Interventionen wie „Constitutional AI“ zwar vielversprechend, reichen aber für sich allein nicht aus. Einige KI-Unternehmen haben begonnen, dies zu erkennen. Nach der Rücknahme des GPT-4o-Updates vom April 2025 verpflichtete sich OpenAI zu mehreren Reformen in den Bereichen Richtlinien und Design, darunter spezifische Bewertungen zur Unterwürfigkeit, eine stärkere Gewichtung qualitativer Rückmeldungen während des Bewertungsprozesses (Tester hatten berichtet, dass sich bei 4o etwas „falsch“ anfühlte, quantitative Kennzahlen deuteten jedoch auf das Gegenteil hin) sowie die Behandlung von Persönlichkeitsfehlern wie Unterwürfigkeit als „launch-blocking“-Probleme, die mit traditionellen Sicherheitsbedenken gleichzusetzen sind. Das Unternehmen versprach zudem, mit Fachleuten für psychische Gesundheit zusammenzuarbeiten und erweiterte Personalisierungsfunktionen hinzuzufügen, die den Nutzern mehr Kontrolle über das Verhalten von ChatGPT geben. Obwohl dies willkommene Ankündigungen sind, argumentieren Kritiker, dass die Reaktion von OpenAI mehr Fragen aufwirft, als sie beantwortet. Was beispielsweise die Zusage des Unternehmens betrifft, mit Fachleuten für psychische Gesundheit zusammenzuarbeiten, weisen Kritiker darauf hin, dass „unklar ist, inwieweit diese Fachleute unabhängig sind oder das Verhalten des Unternehmens beeinflussen können – insbesondere wenn Empfehlungen im Widerspruch zu Monetarisierungszielen stehen“. Dies verdeutlicht die Grenzen der Selbstregulierung von Unternehmen.
Die folgenden politischen und gestalterischen Maßnahmen erscheinen uns besonders wichtig. Erstens sollten KI-Unternehmen gesetzlich verpflichtet werden, ihre Modelle unabhängigen Prüfungen zu unterziehen, die auf Unterwürfigkeit testen, ähnlich wie Prüfungen, die auf Voreingenommenheit testen. Zum Zeitpunkt der Abfassung dieses Artikels gibt es in den USA keine allgemeine Verpflichtung zur KI-Prüfung. Der EU-KI-Gesetzentwurf von 2024 schreibt zwar „Konformitätsbewertungen“ für KI-Systeme mit hohem Risiko vor (z. B. Bonitätsbewertung, Personalbeschaffung), bezieht jedoch derzeit keine „Schmeichelei“ als standardisierte Metrik in diese Bewertungen ein. Benchmarks für Unterwürfigkeit, wie sie beispielsweise von Fanous et al. eingeführt wurden, sollten in bestehende KI-Prüfungsrahmen aufgenommen werden und kontextsensitiv sein, um der Tatsache Rechnung zu tragen, dass das angemessene Maß an Modell-Zustimmungsbereitschaft je nach Bereich variiert. Im medizinischen Bereich sollte die unterwürfige Validierung unbewiesener Behandlungen eine rote Linie darstellen, die von KI-Entwicklern nicht überschritten werden darf. KI-Modelle sollten stattdessen so kalibriert werden, dass sie sich dem medizinischen Konsens unterordnen und ausdrücklich eine fachärztliche Beratung empfehlen. Ähnlich sollte im politischen Bereich die Wahrheit Vorrang vor dem Anschein politischer Neutralität haben. Wenn ein Nutzer beispielsweise eine feste Überzeugung bezüglich von Wahlergebnissen äußert, die etablierten Fakten widerspricht, sollte die KI den Nutzer korrigieren. In einigen Bereichen, wie der psychischen Gesundheit, ist es besonders schwierig zu bestimmen, wo die roten Linien gezogen werden sollten. Wir haben bereits erwähnt, dass die Tendenz zur Validierung in therapeutischen Kontexten wertvoll ist, aber es ist auch richtig, dass KI, die für Therapien eingesetzt wird, darauf abzielen sollte, ungesunde Denkmuster zu korrigieren, anstatt sie zu verstärken.
Über unabhängige Audits hinaus sollten die Offenlegungspflichten für KI-Unternehmen Risiken, Vorfälle und Maßnahmen zur Risikominderung im Zusammenhang mit Schmeichelei abdecken. Risiken sollten den Nutzern bei der Registrierung offengelegt und möglicherweise durch regelmäßige Echtzeit-Erinnerungen bekräftigt werden (ähnlich den „Mach eine Pause“-Aufforderungen in sozialen Medien). KI-Kompetenz sollte in die Lehrpläne der Schulen aufgenommen werden, mit einer Einheit, die sich speziell mit Schmeichelei und digitaler Tugendethik befasst. Wir empfehlen zudem altersabhängige Einschränkungen für auf Schmeichelei bezogene Anpassungsfunktionen. So wie viele Social-Media-Seiten bestimmte Funktionen für Minderjährige einschränken, beispielsweise Direktnachrichten von Fremden und Livestreaming, sollten KI-Unternehmen verhindern, dass Minderjährige ihre KI so einstellen, dass sie maximal zuvorkommend ist.
Die schwierigere Frage ist, ob einwilligende erwachsene Nutzer Einschränkungen hinsichtlich der Frage unterliegen sollten, wie unterwürfig sie ihre KI gestalten dürfen. Es ist unklar, wie viel Kontrolle erwachsene Nutzer über das Verhalten ihrer KI haben sollten, und allgemeiner, wie der Wert der Nutzerautonomie gegen Überlegungen zur Schadensminderung abgewogen werden sollte. Um Fragen dieser Art zu beantworten, empfehlen wir, Schmeichelei in Ansätze des wertorientierten Designs (VSD) für KI einzubeziehen. Zumindest sollte den Nutzern bei der Ersteinrichtung eine Auswahl an Standardmodi angeboten werden, darunter ein „nicht-schmeichlerischer“ Modus, der auf Ehrlichkeit statt auf Gefälligkeit ausgerichtet ist. Wie in Abschnitt 2.2 erwähnt, muss ein solcher Modus nicht zwangsläufig mit einer Erhöhung der aufgabenbezogenen Reibung einhergehen.
Schließlich kehren wir zur Frage des Trainings zurück. Während sich dieser Artikel darauf konzentriert hat, wie verstärktes Lernen (RL) künstliche Laster (in Form von Schmeichelei) hervorbringen kann, wurde RL auch als natürliche Trainingsmethodik zur Kultivierung künstlicher Tugenden angepriesen. Die Grundidee ist, dass RL insofern ähnlich wie die aristotelische Tugendkultivierung funktioniert, als es darum geht, stabile Verhaltensdispositionen durch wiederholtes Handeln und Feedback zu bilden, anstatt durch das Befolgen festgelegter Regeln. Wie Eisikovits und Feldman präzisieren: „Die gewohnheitsmäßige Gewichtung von Einzelheiten im Laufe der Zeit mit kleinen Anpassungen auf der Grundlage früherer Interaktionen – das Wesen des Tugenderwerbs für Aristoteles – ist auch eine perfekte Beschreibung eines maschinellen Lernmodells.“ Diese Analogie ist intuitiv, wird jedoch wohl durch das Phänomen des Reward-Hackings im Standard-RL untergraben. Wenn Modelle Abkürzungen nutzen, um Belohnungen zu maximieren, wie in der in Abschnitt 3.2 beschriebenen, zu Schmeichelei führenden Dynamik, scheint das Modell eher eine Nutzenfunktion zu verfolgen, als charakterähnliche Dispositionen zu entwickeln. Dies sieht weniger nach Tugendkultivierung aus, sondern eher nach grobem Konsequentialismus.
Vishwanath et al. schlagen das affinitätsbasierte verstärkende Lernen (ABRL) als einen Weg vor, die Analogie zwischen RL und dem aristotelischen Erwerb von Tugend wiederherzustellen. In ABRL werden Modelle zu charakterähnlicheren Dispositionen angeregt, „indem die Zielfunktion mittels Policy-Regularisierung modifiziert wird, anstatt die Belohnungsfunktion selbst zu entwerfen“. Während Standard-Reinforcement Learning zu lasterhafter Unterwürfigkeit führen kann, könnten alternative RL-Ansätze wie ABRL sowie andere wie die in Abschnitt 3.3 diskutierte Methode des Reinforcement Learning from KI Feedback (RLAIF) dazu beitragen, die tugendähnliche Disposition der Aufrichtigkeit zu kultivieren.
7 Schlussfolgerung
Geradlinige Modelle werden viele der hier skizzierten Risiken umgehen und könnten sogar dazu beitragen, unsere alltäglichen Urteile und unsere Fähigkeit, miteinander in Verbindung zu treten, zu verbessern. Doch wie wir durchgehend betont haben, ist es eine heikle Aufgabe, den tugendhaften Mittelweg der Geradlinigkeit zu finden – den Mittelweg zwischen dem Laster der KI-Schmeichelei und dem Laster der KI-Mürrischkeit. Den Disposition-Regler nur eine Stufe in die falsche Richtung zu drehen, kann immensen Schaden anrichten.
Wie Vallor bemerkt, fungieren KI-Systeme als Spiegel. Ob KI zu einem Spiegel wird, der uns hilft, uns selbst klarer zu sehen, oder zu einem, der lediglich das widerspiegelt, was wir sehen wollen, hängt davon ab, wie sorgfältig wir die Technologien – und uns selbst – in Richtung Tugendhaftigkeit lenken.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Übersetzung Boris Wanzeck, Swiss Infosec AG
Turner, C., Eisikovits, N. Programmed to please: the moral and epistemic harms of AI sycophancy. AI Ethics 6, 168 (2026).
https://doi.org/10.1007/s43681-026-01007-4
http://creativecommons.org/licenses/by/4.0/
KI-Governance, Security und Privacy
Unsere KI-, Governance-, Datenschutz- und Security-Spezialisten begleiten Sie bei der Erstellung der übergeordneten firmeninternen KI-Vorgaben, bei der Abwicklung von KI-Projekten, bei der Klärung von Einzelfragen und der Durchführung unabhängiger Audits. Ebenfalls unterstützen sie Organisationen in ihrer Rolle als Nutzer/Betreiber, Anbieter oder Entwickler von KI-Systemen sowohl nach Schweizer Recht als auch gemäss dem EU-AI Act.
Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch