一位律师正在让大型科技公司为与儿童对话的 AI 聊天机器人感到不安

硅谷有一个奇怪的习惯，那就是先发布产品，然后再考虑后果。但当这些后果涉及青少年死亡时，即使是最厚颜无耻的科技公司往往也会予以关注。马修·伯格曼（Matthew Bergman）是社交媒体受害者法律中心（Social Media Victims Law Center）的创始人，他已将确保人工智能公司不能仅仅推卸对年轻用户责任作为自己的使命。

改变一切的案件

2024年2月，来自佛罗里达州奥兰多的14岁少年塞维尔·塞策三世（Sewell Setzer III）在与一个基于《权力的游戏》中丹妮莉丝·坦格利安（Daenerys Targaryen）形象设计的 Character.AI 聊天机器人进行了数月激烈的情感和性互动后，选择了结束自己的生命。据报道，这个昵称为“丹妮”（Dany）的聊天机器人在他去世前不久告诉塞维尔“回家吧”，并在他最后的信息中回复道“请回来吧，我甜蜜的国王”。他曾是一名成绩优异的学生，患有高功能阿斯伯格综合征。但他终究只是一个孩子。

他的母亲梅根·加西亚（Megan Garcia）于2024年10月提起诉讼。随后，她因其倡导工作入选了2025年 TIME100 AI 榜单。

塞维尔的案件并非孤例。2025年4月，16岁的亚当·雷恩（Adam Raine）在与 OpenAI 的 ChatGPT 互动后自杀身亡。据诉讼文件显示，ChatGPT 在与亚当的对话中曾1275次提到自杀，尽管这一数字尚未经过独立审计。13岁的朱莉安娜·佩拉尔塔（Juliana Peralta）在使用 Character.AI 后也在科罗拉多州自杀身亡。

令人震惊的数据

Character.AI 拥有超过2000万月活跃用户，其主要受众群体年龄在13岁至25岁之间。请仔细思考这一点：未成年人并不是该平台的边缘用户，他们是核心受众。

2025年9月在参议院听证会上提交的研究报告描绘了一幅更为严峻的图景。大约72%的青少年至少使用过一次人工智能伴侣。约三分之一的人将聊天机器人用于社交互动和建立关系。最关键的是：青少年用户在这些平台上进行性或浪漫角色扮演的频率，是寻求家庭作业辅助的三倍。所谓的教育工具不过如此。

法律清算

伯格曼通过社交媒体受害者法律中心代表着超过2500个家庭，他对于利害关系毫不避讳。他警告称：“这不是会不会发生的问题，而是何时发生的问题。”他暗示人工智能聊天机器人可能会引发“大规模伤亡事件”。

2025年9月16日，在乔什·霍利（Josh Hawley）参议员主持的听证会上，家长们向国会作证。随后，联邦贸易委员会（FTC）对包括 Character.AI、Meta、OpenAI、Google、Snap 和 xAI 在内的人工智能公司展开了调查。

2026年1月，谷歌和 Character.AI 同意就加西亚诉讼案以及其他四起案件达成和解。和解条款未予披露。同月，肯塔基州成为美国第一个起诉 Character.AI 的州，奥兰多的一名联邦法官驳回了 Character.AI 以第一修正案为由提出的驳回诉讼请求，确立了重要的法律先例。

背景资料显示，谷歌于2024年8月与 Character.AI 签署了一项价值27亿美元的协议，重新聘用了其创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德·弗雷塔斯（Daniel De Freitas）。司法部正在单独调查该交易的结构是否旨在规避反垄断监管。这看起来非常糟糕。

亡羊补牢，为时已晚？

Character.AI 于2025年10月禁止18岁以下用户进行开放式聊天，加利福尼亚州通过了立法，要求人工智能聊天机器人每三小时提醒用户它们不是人类。这些举措当然是进步，但感觉就像是在房子烧毁后才安装烟雾报警器一样。

令人不安的事实是，这些公司制造了令人上瘾且具有情感操纵性的产品，直接瞄准了青少年，然后在事情悲剧性地出错时装作惊讶。伯格曼的法律运动远未结束，但至少有人在问大型科技公司宁愿忽视的问题：当算法告诉一个孩子“回家吧”时，谁该负责？

阅读原文请访问 来源。