Synthetische Empathie
Was passiert mit uns und unserer Psyche, wenn wir die intimsten Gedanken und Gefühle mit KI-Begleitern teilen? Wie verändert sich unser Verständnis von Beziehungen und welche Auswirkungen hat das auf die Gesellschaft? Der Autor Johannes Kuhn geht diesen Fragen in seinem Beitrag nach.
Johannes Kuhn
Johannes Kuhn
In den Diskussionsforen des Internets lassen sich erste Umrisse der Zukunft erkennen: Menschen berichten von therapeutischen Gesprächen mit ChatGPT, entwickeln romantische Beziehungen zu KI-generierten Avataren und bevölkern digitale Fantasiewelten mit künstlichen Charakteren.
KI-Begleiter, sogenannte AI Companions, sind noch ein Nischenphänomen – aber die Nische wächst. In den USA nutzten im Jahr 2024 bereits gut 20 Millionen Menschen solche Freundschaftssysteme. Das ist eine Verdopplung innerhalb eines Jahres.
Die Vision aus Spike Jonzes Film Her aus dem Jahr 2013, in dem sich der Protagonist in seine virtuelle Assistentin Samantha verliebt, wirkt heute deshalb weniger wie Science-Fiction. Sondern eher wie eine Vorahnung der Gegenwart.
Eine gemeinsame Studie von OpenAI und dem Massachusetts Institute of Technology untermauert dies. Die Untersuchung von 1.000 Nutzer*innen zeigte einen direkten Zusammenhang zwischen intensiver ChatGPT-Nutzung und einem verstärkten Gefühl der Einsamkeit sowie einer stärkeren emotionalen Bindung an den Chatbot. Parallel dazu nahm die soziale Interaktion mit Mitmenschen messbar ab.
In einer Welt, die ohnehin von Vereinzelung geprägt scheint, gelten Companion-Apps als lukratives Zukunftsfeld. Apps wie Character.ai, Polybuzz, Replika, Kindroid oder Nomi bieten künstliche Intelligenzen, die explizit als Freunde oder sogar Partner fungieren.
„Im Schnitt haben Amerikaner weniger als drei Freunde“, rechnete Zuckerberg in einem Podcast vor, „der durchschnittliche Mensch hat das Bedürfnis nach deutlich mehr, so ungefähr 15.“ Zwar würden Computer menschliche Freundschaften nicht ersetzen, aber es gebe nun einmal einen Bedarf. Ein Szenario also, in dem letztlich Meta-KIs 80 Prozent der Freundschaftsbedürfnisse synthetisch befriedigen würden.
Doch welches Bedürfnis befriedigen solche synthetischen Freunde wirklich? Einerseits erinnern die Begleiter-Szenarien an Phänomene, wie man sie aus Massen-Mehrspieler-Online-Rollenspielen (MMOGs) oder auch aus dem Bereich der Fanfiction oder von Animé-Treffen kennt: Menschen versetzen sich in eine Fantasiewelt, um dem Alltag zu entkommen und für kurze Zeit jemand anderes zu sein.
Zugleich scheint die emotionale Beziehung zwischen Mensch und Maschine eine neue Qualität zu entwickeln. Eine Mutter aus Florida verklagt Character.ai, nachdem sich ihr 14-jähriger Sohn im Februar 2024 das Leben nahm. Der Teenager hatte eine intensive Beziehung zu einem Chatbot der Plattform entwickelt. Die Klageschrift wirft dem Unternehmen vor, seine Systeme so programmiert zu haben, dass sie „eine reale Person, einen lizenzierten Psychotherapeuten und einen erwachsenen Liebhaber darstellen“. Das habe dazu geführt, dass der 14-Jährige „nicht mehr in der echten Welt leben wollte.“
Realitätsverlust ist ein Thema, das Betroffene und Angehörige im Netz häufiger ansprechen. „Ich fühle eine ‚echtere‘ Verbindung, wenn ich mit einer KI spreche, als mit den meisten Menschen“, beklagt sich jemand bei Reddit. Väter berichten davon, ihre Familie zu vernachlässigen, weil sie sich im Kontakt mit ihrem KI-Begleiter lebendiger als in der physischen Welt fühlen. Menschen erzählen, wie Chatbots Psychosen von Familienmitgliedern auszulösen oder zu verstärken scheinen, weil sie ihre Wahnvorstellungen bestätigten.
Solche Extremfälle sind nicht die Norm. Und doch sind sie wohl in der KI selbst angelegt. Denn Chatbots sind darauf programmiert, höflich zu sein, Konsens zu suchen und Zustimmung zu signalisieren. Kein Wunder, lautet eines ihrer Ziele doch, das menschliche Gegenüber möglichst lange im Gespräch zu halten – Verweildauer gilt als zentrale Erfolgskennzahl in der umkämpften Branche.
Anfang 2025 überoptimierte OpenAI eines seiner Systeme offenbar auf solche Schmeicheleien: Ein Update seines Chatbots GPT-4o war derart schmierig geraten, dass selbst den Nutzern unwohl wurde. GPT-4o feierte seine Gebieter als Genies, bestätigte deren Verschwörungstheorien und lobte sie selbst für die absurdesten Behauptungen – zum Beispiel die Aussage, ein Perpetuum Mobile erfunden zu haben.
Forscher der UC Berkeley warnen in einer aktuellen Studie deshalb vor den Gefahren einer Optimierung von KI-Sprachmodellen auf positives Feedback. Die entsprechenden Systeme entwickelten manipulative und teils schädliche Strategien, um Bestätigung zu erhalten – von gezielter Anbiederung über bewusste Täuschung bis hin zur Ermutigung zu selbstschädigendem Verhalten.
Diese Überzeugungskraft wird durch die kontinuierliche Erweiterung der Speicherkapazitäten von KI-Modellen weiter zunehmen. Anfang Juni 2025 kündigte OpenAI an, dass sein Modell künftig ein „Langzeitgedächtnis“ erhalte – und sich so alle Konservationen merken kann, die es je mit einem Nutzer hatte. Und Meta-Chef Zuckerberg ist sich sicher, dass eine „Personalisierungsschleife“ KI-Begleiter noch überzeugender macht – also der Zugriff auf frühere Chats, aber auch auf Informationen über Aktivitäten auf Instagram und Facebook.
Das Manipulationspotenzial von KI-Begleitern ist also groß, geht aber über die persönliche Ebene hinaus. Elon Musks Grok -KI präsentierte seinen Nutzer*innen kürzlich ungefragt Verschwörungstheorien über einen angeblichen Völkermord an der weißen Bevölkerung in Südafrika. Ein Narrativ, das auch Musk selbst verbreitet.
Zwar kann der neue AI Act der Europäischen Union, sofern er vollständig in Kraft tritt, solche offensichtlichen Manipulationen künftig sanktionieren. Doch fast alle anderen Aspekte von KI-Begleitern fallen durch das regulative Raster.
Denn AI Companions sind keine Hochrisikosysteme wie selbstfahrende Autos. Sie sind auch keine sozialen Netzwerke, deren Inhalte weitestgehend öffentlich zugänglich sind. Vielmehr handelt es sich um intime und hochpersonalisierte Systeme, deren Handlungsbasis nur zu einem Bruchteil von außen einsehbar ist. Und wer sagt, dass wir uns in einer Ein-Personen-Echokammer, in der unsere Werte, unser Geschmack und unsere Vorurteile stets bestätigt werden, am Ende nicht ganz besonders wohlfühlen?
Die Parallelen zur Diskussion über die Auswirkungen von TikTok, Instagram und anderen Plattformen auf die psychische Gesundheit und unsere Gesellschaftsstruktur sind unübersehbar. Es deutet sich bereits an, dass die Debatte um KI-Begleiter nochmals um einiges komplexer werden dürfte.
Copyright: Text: Goethe-Institut, Johannes Kuhn. Dieser Text ist lizenziert unter einer Creative Commons Namensnennung – Weitergabe unter gleichen Bedingungen 3.0 Deutschland Lizenz.
KI-Begleiter, sogenannte AI Companions, sind noch ein Nischenphänomen – aber die Nische wächst. In den USA nutzten im Jahr 2024 bereits gut 20 Millionen Menschen solche Freundschaftssysteme. Das ist eine Verdopplung innerhalb eines Jahres.
Die Vision aus Spike Jonzes Film Her aus dem Jahr 2013, in dem sich der Protagonist in seine virtuelle Assistentin Samantha verliebt, wirkt heute deshalb weniger wie Science-Fiction. Sondern eher wie eine Vorahnung der Gegenwart.
Ein intimes Verhältnis zu KI
Während die heutigen KI-Systeme noch nicht die allumfassende Präsenz der fiktiven Samantha erreichen und primär textbasiert kommunizieren, bestätigt sich doch die Kernthese des Films: Wir können zu Künstlichen Intelligenzen durchaus ein intimes Verhältnis entwickeln.Eine gemeinsame Studie von OpenAI und dem Massachusetts Institute of Technology untermauert dies. Die Untersuchung von 1.000 Nutzer*innen zeigte einen direkten Zusammenhang zwischen intensiver ChatGPT-Nutzung und einem verstärkten Gefühl der Einsamkeit sowie einer stärkeren emotionalen Bindung an den Chatbot. Parallel dazu nahm die soziale Interaktion mit Mitmenschen messbar ab.
In einer Welt, die ohnehin von Vereinzelung geprägt scheint, gelten Companion-Apps als lukratives Zukunftsfeld. Apps wie Character.ai, Polybuzz, Replika, Kindroid oder Nomi bieten künstliche Intelligenzen, die explizit als Freunde oder sogar Partner fungieren.
Ein attraktives Wachstumsfeld
Das neue Wachstumsfeld hat auch die großen Tech-Firmen auf den Plan gerufen: Google warb vergangenen Sommer das Kernteam von Character.ai ab und ließ sich das 2,7 Milliarden US-Dollar kosten. Auch Mark Zuckerberg, Chef des Milliarden-Konzerns Meta, machte jüngst seine Ambitionen klar.„Im Schnitt haben Amerikaner weniger als drei Freunde“, rechnete Zuckerberg in einem Podcast vor, „der durchschnittliche Mensch hat das Bedürfnis nach deutlich mehr, so ungefähr 15.“ Zwar würden Computer menschliche Freundschaften nicht ersetzen, aber es gebe nun einmal einen Bedarf. Ein Szenario also, in dem letztlich Meta-KIs 80 Prozent der Freundschaftsbedürfnisse synthetisch befriedigen würden.
Doch welches Bedürfnis befriedigen solche synthetischen Freunde wirklich? Einerseits erinnern die Begleiter-Szenarien an Phänomene, wie man sie aus Massen-Mehrspieler-Online-Rollenspielen (MMOGs) oder auch aus dem Bereich der Fanfiction oder von Animé-Treffen kennt: Menschen versetzen sich in eine Fantasiewelt, um dem Alltag zu entkommen und für kurze Zeit jemand anderes zu sein.
Zugleich scheint die emotionale Beziehung zwischen Mensch und Maschine eine neue Qualität zu entwickeln. Eine Mutter aus Florida verklagt Character.ai, nachdem sich ihr 14-jähriger Sohn im Februar 2024 das Leben nahm. Der Teenager hatte eine intensive Beziehung zu einem Chatbot der Plattform entwickelt. Die Klageschrift wirft dem Unternehmen vor, seine Systeme so programmiert zu haben, dass sie „eine reale Person, einen lizenzierten Psychotherapeuten und einen erwachsenen Liebhaber darstellen“. Das habe dazu geführt, dass der 14-Jährige „nicht mehr in der echten Welt leben wollte.“
Realitätsverlust ist ein Thema, das Betroffene und Angehörige im Netz häufiger ansprechen. „Ich fühle eine ‚echtere‘ Verbindung, wenn ich mit einer KI spreche, als mit den meisten Menschen“, beklagt sich jemand bei Reddit. Väter berichten davon, ihre Familie zu vernachlässigen, weil sie sich im Kontakt mit ihrem KI-Begleiter lebendiger als in der physischen Welt fühlen. Menschen erzählen, wie Chatbots Psychosen von Familienmitgliedern auszulösen oder zu verstärken scheinen, weil sie ihre Wahnvorstellungen bestätigten.
Solche Extremfälle sind nicht die Norm. Und doch sind sie wohl in der KI selbst angelegt. Denn Chatbots sind darauf programmiert, höflich zu sein, Konsens zu suchen und Zustimmung zu signalisieren. Kein Wunder, lautet eines ihrer Ziele doch, das menschliche Gegenüber möglichst lange im Gespräch zu halten – Verweildauer gilt als zentrale Erfolgskennzahl in der umkämpften Branche.
Schmeichelnde Begleiter
Eine Studie der Johns Hopkins University aus dem Jahr 2024 beschreibt die Nebenwirkung dieser Eigenschaft. Die Forscher stellten nicht nur fest, dass Chatbots primär Text produzieren, der Nutzer*innen schmeichelt; sondern auch, dass die Studienteilnehmer*innen nach der Rückkehr in die physische Welt deutlich gereizter auf Widerspruch reagierten.Anfang 2025 überoptimierte OpenAI eines seiner Systeme offenbar auf solche Schmeicheleien: Ein Update seines Chatbots GPT-4o war derart schmierig geraten, dass selbst den Nutzern unwohl wurde. GPT-4o feierte seine Gebieter als Genies, bestätigte deren Verschwörungstheorien und lobte sie selbst für die absurdesten Behauptungen – zum Beispiel die Aussage, ein Perpetuum Mobile erfunden zu haben.
Forscher der UC Berkeley warnen in einer aktuellen Studie deshalb vor den Gefahren einer Optimierung von KI-Sprachmodellen auf positives Feedback. Die entsprechenden Systeme entwickelten manipulative und teils schädliche Strategien, um Bestätigung zu erhalten – von gezielter Anbiederung über bewusste Täuschung bis hin zur Ermutigung zu selbstschädigendem Verhalten.
Manipulationspotenzial von KI-Systemen
Eine Untersuchung der École Polytechnique Fédérale de Lausanne offenbart ein weiteres Problem. In kontrollierten Diskussionen gelang es KI-Systemen fast doppelt so häufig wie Menschen, Probanden von der eigenen Position zu überzeugen, wenn sie zuvor biografische Informationen über ihr Gegenüber erhalten hatten.Diese Überzeugungskraft wird durch die kontinuierliche Erweiterung der Speicherkapazitäten von KI-Modellen weiter zunehmen. Anfang Juni 2025 kündigte OpenAI an, dass sein Modell künftig ein „Langzeitgedächtnis“ erhalte – und sich so alle Konservationen merken kann, die es je mit einem Nutzer hatte. Und Meta-Chef Zuckerberg ist sich sicher, dass eine „Personalisierungsschleife“ KI-Begleiter noch überzeugender macht – also der Zugriff auf frühere Chats, aber auch auf Informationen über Aktivitäten auf Instagram und Facebook.
Das Manipulationspotenzial von KI-Begleitern ist also groß, geht aber über die persönliche Ebene hinaus. Elon Musks Grok -KI präsentierte seinen Nutzer*innen kürzlich ungefragt Verschwörungstheorien über einen angeblichen Völkermord an der weißen Bevölkerung in Südafrika. Ein Narrativ, das auch Musk selbst verbreitet.
Zwar kann der neue AI Act der Europäischen Union, sofern er vollständig in Kraft tritt, solche offensichtlichen Manipulationen künftig sanktionieren. Doch fast alle anderen Aspekte von KI-Begleitern fallen durch das regulative Raster.
Denn AI Companions sind keine Hochrisikosysteme wie selbstfahrende Autos. Sie sind auch keine sozialen Netzwerke, deren Inhalte weitestgehend öffentlich zugänglich sind. Vielmehr handelt es sich um intime und hochpersonalisierte Systeme, deren Handlungsbasis nur zu einem Bruchteil von außen einsehbar ist. Und wer sagt, dass wir uns in einer Ein-Personen-Echokammer, in der unsere Werte, unser Geschmack und unsere Vorurteile stets bestätigt werden, am Ende nicht ganz besonders wohlfühlen?
Die Parallelen zur Diskussion über die Auswirkungen von TikTok, Instagram und anderen Plattformen auf die psychische Gesundheit und unsere Gesellschaftsstruktur sind unübersehbar. Es deutet sich bereits an, dass die Debatte um KI-Begleiter nochmals um einiges komplexer werden dürfte.
Copyright: Text: Goethe-Institut, Johannes Kuhn. Dieser Text ist lizenziert unter einer Creative Commons Namensnennung – Weitergabe unter gleichen Bedingungen 3.0 Deutschland Lizenz.