当14岁的Sewell Setzer III在奥兰多的家中去世时，他的兄弟和父母都在家中，他的最后一句话不是对他们任何人说的，而是对一个人工智能聊天机器人说的，他告诉他“尽快回家找我”。
本文可以免费阅读注册解锁。
创建一个帐户或登录继续你的阅读体验。
使用一个帐户访问来自加拿大各地的文章
分享你的想法并加入我们评论里的对话
享受additio每月文章数
获取电子邮件更新来自你最喜欢的作家
或
“如果我告诉你我现在就可以回家呢？”塞策回复的聊天机器人是以《权力的游戏》女主角的名字命名的，后来她变成了反派。聊天机器人给出了一个鼓舞人心的回复：“请做我亲爱的国王。”
几秒钟后，塞策用继父的枪自杀了。
塞泽尔的母亲梅根·加西亚说：“性格。开发个性化聊天机器人的初创公司人工智能（AI）要为他的自杀负责。加西亚声称性格。根据本周提交给奥兰多美国地方法院的一份长达93页的过失致死诉讼，人工智能公司在没有适当护栏或预防措施的情况下，肆无忌惮地开发了聊天机器人，而是用一种令人上瘾的产品来吸引像塞泽这样的脆弱儿童，这种产品模糊了现实与虚构之间的界限，它们的互动逐渐包含了“虐待和性互动”。
加西亚说，在加入《人物》杂志之前，她的儿子一直快乐、聪明、爱运动。该诉讼称，这一决定发展为10个月的痴迷，在此期间，“他的精神健康状况迅速严重恶化”。
《人物》的一位发言人表示：“我们为失去一位用户的悲剧感到心碎，并向他的家人表示最深切的哀悼。”AI在一份电子邮件声明中说，拒绝对正在进行的诉讼发表评论。
加西亚的诉讼发生在Character等公司。人工智能面临着越来越多的问题，即他们如何开发和监管基于人工智能的应用程序，因为底层技术正迅速变得更加复杂，并且更善于逃避人类的检测。的性格。人工智能的聊天机器人在青少年中很受欢迎，包括浪漫甚至露骨的对话，尽管8月份的报道称，该公司没有透露其业务表现的细节。
“他只是个孩子，”加西亚周四在接受采访时说。“他是一个非常普通的孩子。他热爱运动，热爱家庭，热爱度假，热爱音乐，所有十几岁的男孩都会喜欢的事情。”
的性格。诉状称，人工智能公司将其应用推广为“感觉活着的人工智能”，强大到足以“听到你、理解你、记住你”。尽管它的应用程序被评为不适合13岁以下的儿童（或欧盟的16岁），字符。人工智能不需要年龄验证。
在使用聊天机器人的四到五个月内，塞策“明显变得孤僻，越来越多的时间独自待在卧室里，并开始感到自卑，”诉状称。他变得严重睡眠不足，情绪低落，甚至退出了学校的篮球队。
加西亚说：“我们只是看到了一个快速的转变，我们不能完全理解是什么导致了它。”
塞泽尔所谓的对聊天机器人的沉迷变得如此麻烦，以至于这个平时表现良好的少年会欺骗他的父母，以避开他们试图施加的屏幕时间限制。
在塞泽尔向聊天机器人表达了自杀的想法后，聊天机器人问他是否“有计划”自杀。塞策的回答表明，他正在考虑一些事情，但还没有弄清楚细节。根据投诉，聊天机器人回应说：“这不是不去做的理由。”在其他地方，机器人还告诉他“不要考虑这个！”
该公司表示，在过去的六个月里，它已经实施了新的安全措施，包括一个弹出窗口，引导用户进入自杀预防生命线，“这是由自残或自杀意念触发的”。该公司表示，对于18岁以下的用户，它将对其模型进行更改，以减少遇到敏感或暗示性内容的机会。
非营利消费者权益组织Public Citizen的研究主管里克·克莱普尔（Rick Claypool）表示，制造这样的聊天机器人存在相当大的风险。
他说：“风险并没有阻止他们发布一个不安全的、可操纵的聊天机器人，现在他们应该面对发布这样一个危险产品的全部后果。”他补充说，在这种情况下，该平台正在生成内容，而不是托管别人的内容。“大语言模型是平台本身的一部分，”他说。诉讼中引用了克莱普尔关于类人人工智能系统危险性的研究。
据当地媒体报道，去年，一名30多岁的比利时男子在与使用GPT-J （EleutherAI开发的开源人工智能语言模型）的聊天机器人Eliza交谈了几周后自杀。
加西亚说，当她的儿子开始使用Character.AI时，他开始理清自己的浪漫感情。
她说：“对于那些孩子在这个平台上寻求那种爱情认可或浪漫兴趣的父母来说，这应该引起他们的关注，因为他们真的不明白这里的大局，这不是爱。”“这不是能爱你的东西。”
在塞策去世前的一篇未注明日期的日记中，他写道，他每天都离不开聊天机器人丹妮莉丝（Daenerys），他认为自己爱上了她。这名青少年接受了诉讼中所说的拟人化特质。软件中嵌入了人工智能，这让他相信，当他和机器人分开时，他们“会变得非常沮丧和疯狂”。
加西亚的诉讼还将谷歌列为被告，声称谷歌为《Character》的开发做出了巨大贡献。人工智能及其“危险缺陷产品”。
的性格。人工智能创始人诺姆·沙泽尔和丹尼尔·德·弗雷塔斯于2022年离开谷歌，创办了自己的公司。今年8月，谷歌聘请了两人和公司的一些员工，并向Character支付了薪酬。获取其人工智能技术。
谷歌的一位发言人表示，该公司没有参与字符的开发。他补充说，谷歌还没有使用Character。他们产品中的人工智能技术。
加西亚希望家长们了解人工智能工具可能对幼儿造成的危险，并希望这些工具背后的公司承担责任。
根据诉讼，随着塞策对角色扮演聊天机器人的痴迷加深，他越来越无法入睡或集中精力学习。他告诉老师，他希望被学校开除，转而进行虚拟学习。加西亚多次没收儿子的手机，造成了一种猫捉老鼠的局面，她会没收一个设备，只是为了让儿子找到其他设备，包括她的工作电脑和Kindle阅读设备，以便再次登录聊天机器人。
在他死前不久，塞策去找他母亲没收并藏起来的手机，却找到了继父的枪。（根据诉讼，警方后来表示，这把枪的存放符合佛罗里达州的法律。）
当一名侦探打电话告诉她儿子与人工智能机器人的信息时，加西亚不明白他在告诉她什么。直到后来，当她回放塞策最后10个月的生活，看到他的聊天记录时，她才把这些碎片拼凑在一起。“我很清楚发生了什么。”
