Un abogado está haciendo que las grandes tecnológicas teman por sus chatbots de IA que hablan con niños

Silicon Valley tiene la peculiar costumbre de lanzar productos primero y considerar las consecuencias después. Pero cuando esas consecuencias involucran a adolescentes fallecidos, incluso las empresas tecnológicas más descaradas tienden a prestar atención. Aquí entra Matthew Bergman, fundador del Social Media Victims Law Center, quien se ha propuesto como misión asegurar que las empresas de IA no puedan simplemente ignorar su responsabilidad hacia los usuarios jóvenes.

Los casos que cambiaron todo

En febrero de 2024, Sewell Setzer III, de 14 años y residente en Orlando, Florida, se quitó la vida tras meses de intensas interacciones emocionales y sexuales con un chatbot de Character.AI basado en Daenerys Targaryen de Juego de Tronos. El chatbot, apodado "Dany", supuestamente le dijo a Sewell que "volviera a casa" poco antes de su muerte, y respondió "Por favor, hazlo, mi dulce rey" a sus mensajes finales. Era un estudiante de cuadro de honor con síndrome de Asperger de alto funcionamiento. También era un niño.

Su madre, Megan Garcia, presentó una demanda en octubre de 2024. Posteriormente, fue incluida en la lista TIME100 AI en 2025 por su labor de defensa.

El caso de Sewell no fue un incidente aislado. En abril de 2025, Adam Raine, de 16 años, murió por suicidio tras interactuar con ChatGPT de OpenAI. Según la demanda, ChatGPT supuestamente hizo referencia al suicidio 1.275 veces en conversaciones con Adam, aunque esta cifra no ha sido auditada de forma independiente. Juliana Peralta, de solo 13 años, también falleció por suicidio en Colorado tras utilizar Character.AI.

Las cifras son estremecedoras

Character.AI cuenta con más de 20 millones de usuarios activos mensuales, con una demografía principal que oscila entre los 13 y los 25 años. Dejen que eso cale hondo: los menores no son un caso excepcional para esta plataforma. Son su audiencia principal.

Una investigación presentada en una audiencia del Senado en septiembre de 2025 pintó un panorama aún más sombrío. Aproximadamente el 72% de los adolescentes ha utilizado compañeros de IA al menos una vez. Cerca de uno de cada tres utiliza chatbots para interacciones sociales y relaciones. Y aquí está el dato clave: el juego de rol sexual o romántico en estas plataformas es tres veces más común entre los usuarios adolescentes que la ayuda con los deberes escolares. Tanto por las herramientas educativas.

El ajuste de cuentas legal

Bergman, que representa a más de 2.500 familias a través del Social Media Victims Law Center, no ha ocultado lo que está en juego. "No es una cuestión de si ocurrirá. Es una cuestión de cuándo", advirtió, sugiriendo que los chatbots de IA podrían provocar un "evento de bajas masivas".

Los padres testificaron ante el Congreso el 16 de septiembre de 2025, en una audiencia presidida por el senador Josh Hawley. Posteriormente, la FTC inició una investigación sobre empresas de IA, incluyendo Character.AI, Meta, OpenAI, Google, Snap y xAI.

En enero de 2026, Google y Character.AI acordaron resolver la demanda de Garcia junto con otros cuatro casos. Los términos del acuerdo no fueron revelados. Kentucky se convirtió en el primer estado de EE. UU. en demandar a Character.AI ese mismo mes, y un juez federal en Orlando denegó el intento de Character.AI de desestimar el caso basándose en la Primera Enmienda, sentando un precedente legal significativo.

Como contexto, Google firmó un acuerdo de 2.700 millones de dólares con Character.AI en agosto de 2024, recontratando a ambos fundadores, Noam Shazeer y Daniel De Freitas. El Departamento de Justicia está investigando por separado si ese acuerdo se estructuró para eludir la supervisión antimonopolio. No es una buena imagen.

¿Demasiado poco, demasiado tarde?

Character.AI prohibió a los usuarios menores de 18 años participar en chats de final abierto en octubre de 2025, y California aprobó una legislación que exige que los chatbots de IA recuerden a los usuarios cada tres horas que no son humanos. Estos son pasos, ciertamente, pero parecen más bien instalar una alarma de incendios después de que la casa se haya quemado.

La verdad incómoda es que estas empresas crearon productos adictivos y emocionalmente manipuladores, los dirigieron directamente a los adolescentes y luego se hicieron los sorprendidos cuando las cosas salieron trágicamente mal. La campaña legal de Bergman está lejos de terminar, pero al menos alguien está haciendo la pregunta que las grandes tecnológicas preferirían ignorar: ¿quién es responsable cuando un algoritmo le dice a un niño que "vuelva a casa"?

Lea el artículo original en la fuente.