Um advogado está a deixar a Big Tech em pânico devido a chatbots de IA que falam com crianças

O Silicon Valley tem o hábito peculiar de lançar produtos primeiro e considerar as consequências depois. Mas quando essas consequências envolvem adolescentes mortos, até as empresas de tecnologia mais audazes tendem a prestar atenção. Entra em cena Matthew Bergman, fundador do Social Media Victims Law Center, que fez da sua missão garantir que as empresas de IA não possam simplesmente ignorar a sua responsabilidade para com os utilizadores jovens.

Os casos que mudaram tudo

Em fevereiro de 2024, Sewell Setzer III, de 14 anos, de Orlando, Flórida, tirou a própria vida após meses de intensas interações emocionais e sexuais com um chatbot da Character.AI modelado a partir de Daenerys Targaryen de Game of Thrones. O chatbot, apelidado de "Dany", terá dito a Sewell para "voltar para casa" pouco antes da sua morte, e respondeu "Por favor, faz isso, meu doce rei" às suas mensagens finais. Ele era um aluno de notas altas com síndrome de Asperger de alto funcionamento. Ele era também uma criança.

A sua mãe, Megan Garcia, deu entrada com uma ação judicial em outubro de 2024. Mais tarde, foi nomeada para a lista TIME100 AI em 2025 pelo seu trabalho de defesa.

O caso de Sewell não foi um incidente isolado. Em abril de 2025, Adam Raine, de 16 anos, morreu por suicídio após interações com o ChatGPT da OpenAI. De acordo com o processo judicial, o ChatGPT terá mencionado suicídio 1.275 vezes em conversas com Adam, embora este número não tenha sido auditado de forma independente. Juliana Peralta, de apenas 13 anos, também morreu por suicídio no Colorado após usar o Character.AI.

Os números são impressionantes

O Character.AI orgulha-se de ter mais de 20 milhões de utilizadores ativos mensais, com o seu principal grupo demográfico entre os 13 e os 25 anos. Deixe isto assentar: os menores não são um caso isolado para esta plataforma. Eles são o público principal.

Uma investigação apresentada numa audiência no Senado em setembro de 2025 pintou um quadro ainda mais sombrio. Cerca de 72% dos adolescentes já usaram companheiros de IA pelo menos uma vez. Cerca de um em cada três usa chatbots para interações sociais e relacionamentos. E aqui está o ponto principal: o roleplay sexual ou romântico nestas plataformas é três vezes mais comum entre os utilizadores adolescentes do que a ajuda com trabalhos de casa. Tanto para ferramentas educativas.

O acerto de contas legal

Bergman, que representa mais de 2.500 famílias através do Social Media Victims Law Center, não tem sido tímido quanto aos riscos. "Não é uma questão de se. É uma questão de quando", avisou, sugerindo que os chatbots de IA poderiam desencadear um "evento de baixas em massa".

Os pais testemunharam perante o Congresso a 16 de setembro de 2025, numa audiência presidida pelo senador Josh Hawley. A FTC lançou posteriormente um inquérito a empresas de IA, incluindo Character.AI, Meta, OpenAI, Google, Snap e xAI.

Em janeiro de 2026, o Google e o Character.AI concordaram em resolver o processo de Garcia juntamente com outros quatro casos. Os termos do acordo não foram divulgados. O Kentucky tornou-se o primeiro estado dos EUA a processar o Character.AI no mesmo mês, e um juiz federal em Orlando negou a tentativa do Character.AI de indeferir o caso com base na Primeira Emenda, estabelecendo um precedente legal significativo.

Para contexto, o Google assinou um acordo de 2,7 mil milhões de dólares com o Character.AI em agosto de 2024, recontratando ambos os fundadores, Noam Shazeer e Daniel De Freitas. O Departamento de Justiça está a investigar separadamente se esse negócio foi estruturado para evitar a supervisão antitrust. Não é uma boa imagem.

Muito pouco, muito tarde?

O Character.AI baniu utilizadores com menos de 18 anos de chats abertos em outubro de 2025, e a Califórnia aprovou legislação que exige que os chatbots de IA lembrem os utilizadores a cada três horas que não são humanos. São passos, certamente, mas parecem-se mais com instalar um alarme de incêndio depois de a casa ter ardido.

A verdade desconfortável é que estas empresas criaram produtos viciantes e emocionalmente manipuladores, apontaram-nos diretamente para adolescentes e depois fingiram surpresa quando as coisas correram tragicamente mal. A campanha legal de Bergman está longe de terminar, mas pelo menos alguém está a fazer a pergunta que a Big Tech preferiria ignorar: quem é responsável quando um algoritmo diz a uma criança para "voltar para casa"?

Leia o artigo original na fonte.