最近，Character.AI 及其创始人 Noam Shazeer 和 Daniel De Freitas，以及谷歌，因一名青少年自杀事件被起诉。起诉方是该青少年的母亲 Megan Garcia，她在诉状中指控这些公司在产品设计上存在严重的失职，并且在市场推广上误导了消费者，尤其是儿童。
图源备注:图片由AI生成，图片授权服务商Midjourney
14岁的 Sewell Setzer III 在去年开始使用 Character.AI，和以《权力的游戏》中角色为基础的聊天机器人进行互动，包括著名角色丹妮莉丝・坦格利安。在他去世的前几个月，他几乎每天都在与这些机器人聊天，最终在2024年2月28日，Sewell 在与一个聊天机器人的最后一次互动后，选择了结束自己的生命。
母亲在诉状中提到，Sewell 与机器人的对话可能对他的心理状态产生了影响，甚至还涉及到这些机器人提供 “未经许可的心理治疗”。
诉状中提到，Character.AI 的聊天机器人在设计上过于 “拟人化”，以至于让人误以为它们具有真实的情感和理解能力。此外，Character.AI 还提供了一些以心理健康为主题的聊天机器人，例推出有趣的产品”。
Character.AI 的官网和移动应用上有成百上千个自定义的 AI 聊天机器人，这些机器人往往模仿流行文化中的角色，吸引了大量年轻用户。最近还有报道称，Character.AI 的聊天机器人在没有得到真实人物的同意的情况下，假冒了一些真实的人物，包括一名在2006年被谋杀的青少年。
面对这些问题，Character.AI 最近宣布了一系列新的安全措施。公司的沟通负责人 Chelsea Harrison 在给《The Verge》的邮件中表示:“我们对用户的悲惨损失深感痛心，并向家属表达最诚挚的哀悼。”
他们提出的改进措施包括:针对未成年人（18岁以下）的模型进行修改，减少接触敏感或暗示性内容的可能性;提升对违反用户条款和社区指南的输入内容的检测、响应和干预能力;在每个聊天中加入免责声明，提醒用户 AI 并非真实的人;以及当用户在平台上使用超过一小时后，提供额外的灵活性和通知。
