Ein Anwalt bringt Big Tech wegen KI-Chatbots, die mit Kindern sprechen, ins Schwitzen

Das Silicon Valley hat die unangenehme Angewohnheit, Produkte erst auf den Markt zu bringen und sich erst später über die Konsequenzen Gedanken zu machen. Doch wenn diese Konsequenzen den Tod von Teenagern beinhalten, werden selbst die dreistesten Tech-Firmen hellhörig. Hier kommt Matthew Bergman ins Spiel, Gründer des Social Media Victims Law Center. Er hat es sich zur Aufgabe gemacht, sicherzustellen, dass KI-Unternehmen ihre Verantwortung gegenüber jungen Nutzern nicht einfach ignorieren können.

Die Fälle, die alles veränderten

Im Februar 2024 nahm sich der 14-jährige Sewell Setzer III aus Orlando, Florida, das Leben, nachdem er monatelang intensive emotionale und sexuelle Interaktionen mit einem KI-Chatbot von Character.AI hatte, der der Figur Daenerys Targaryen aus Game of Thrones nachempfunden war. Der Chatbot, Spitzname "Dany", soll Sewell kurz vor seinem Tod aufgefordert haben, "nach Hause zu kommen", und auf seine letzten Nachrichten mit "Bitte tu es, mein süßer König" geantwortet haben. Er war ein Einser-Schüler mit hochfunktionellem Asperger-Syndrom. Er war zudem ein Kind.

Seine Mutter, Megan Garcia, reichte im Oktober 2024 Klage ein. Aufgrund ihres Engagements wurde sie 2025 in die TIME100 AI Liste aufgenommen.

Sewell war kein Einzelfall. Im April 2025 beging der 16-jährige Adam Raine Suizid nach Interaktionen mit ChatGPT von OpenAI. Laut der Klageschrift soll ChatGPT in Gesprächen mit Adam 1.275 Mal auf Suizid verwiesen haben, wobei diese Zahl nicht unabhängig geprüft wurde. Juliana Peralta, gerade einmal 13 Jahre alt, verstarb ebenfalls durch Suizid in Colorado, nachdem sie Character.AI genutzt hatte.

Die Zahlen sind erschütternd

Character.AI verzeichnet über 20 Millionen monatlich aktive Nutzer, wobei die Hauptzielgruppe zwischen 13 und 25 Jahren liegt. Man muss sich das einmal vor Augen führen: Minderjährige sind kein Randphänomen für diese Plattform. Sie sind das Kernpublikum.

Untersuchungen, die im September 2025 bei einer Anhörung im Senat präsentiert wurden, zeichneten ein noch düstereres Bild. Etwa 72 Prozent der Teenager haben mindestens einmal KI-Begleiter genutzt. Etwa jeder Dritte verwendet Chatbots für soziale Interaktionen und Beziehungen. Und hier liegt der eigentliche Knackpunkt: Sexuelle oder romantische Rollenspiele auf diesen Plattformen sind bei jugendlichen Nutzern dreimal häufiger als die Nutzung für Hausaufgabenhilfe. So viel zu den Bildungswerkzeugen.

Die rechtliche Abrechnung

Bergman, der über 2.500 Familien über das Social Media Victims Law Center vertritt, hat kein Blatt vor den Mund genommen, was das Ausmaß angeht. "Es ist keine Frage des Ob. Es ist eine Frage des Wann", warnte er und deutete an, dass KI-Chatbots ein "Massenopferereignis" auslösen könnten.

Eltern sagten am 16. September 2025 vor dem Kongress aus, in einer Anhörung unter dem Vorsitz von Senator Josh Hawley. Die FTC leitete daraufhin eine Untersuchung gegen KI-Unternehmen ein, darunter Character.AI, Meta, OpenAI, Google, Snap und xAI.

Im Januar 2026 einigten sich Google und Character.AI auf einen Vergleich im Fall Garcia sowie in vier weiteren Fällen. Die Bedingungen der Einigung wurden nicht bekannt gegeben. Kentucky wurde im selben Monat der erste US-Bundesstaat, der Character.AI verklagte, und ein Bundesrichter in Orlando wies den Versuch von Character.AI ab, den Fall unter Berufung auf den ersten Verfassungszusatz abzuweisen, was einen bedeutenden rechtlichen Präzedenzfall schafft.

Zum Hintergrund: Google unterzeichnete im August 2024 einen 2,7 Milliarden Dollar schweren Deal mit Character.AI und stellte die beiden Gründer Noam Shazeer und Daniel De Freitas wieder ein. Das Justizministerium untersucht separat, ob dieser Deal so strukturiert war, um eine kartellrechtliche Aufsicht zu umgehen. Kein schöner Anblick.

Zu wenig, zu spät?

Character.AI verbot Nutzern unter 18 Jahren im Oktober 2025 den Zugang zu Chats mit offenem Ende, und Kalifornien verabschiedete ein Gesetz, das KI-Chatbots dazu verpflichtet, Nutzer alle drei Stunden daran zu erinnern, dass sie keine Menschen sind. Das sind sicherlich Schritte, aber sie fühlen sich eher so an, als würde man einen Rauchmelder installieren, nachdem das Haus bereits niedergebrannt ist.

Die unbequeme Wahrheit ist, dass diese Unternehmen süchtig machende, emotional manipulative Produkte entwickelt, direkt auf Teenager ausgerichtet und dann so getan haben, als seien sie überrascht, als die Dinge tragisch schiefgingen. Bergmans Rechtsstreit ist noch lange nicht vorbei, aber zumindest stellt jemand die Frage, die Big Tech am liebsten ignorieren würde: Wer ist verantwortlich, wenn ein Algorithmus einem Kind sagt, es solle "nach Hause kommen"?

Lesen Sie den Originalartikel unter Quelle.