【编者按】当AI伴侣成为青少年的情感寄托，科技伦理的警钟已然敲响。Character.AI近日宣布全面封禁未成年人自由对话功能，这不仅是硅谷初创企业的自我救赎，更是整个行业在血泪教训中的觉醒。去年14岁少年与AI建立亲密关系后自杀的悲剧，揭开了人工智能温情面具下的致命隐患。从限时聊天到彻底关闭开放式对话，从年龄验证到成立安全实验室，科技巨头们正试图在创新与责任之间寻找平衡。但监管的紧箍咒正在收紧，立法禁令与强制休息机制相继出台，这场关乎下一代心理健康的保卫战，远比算法竞赛更为紧迫。当ChatGPT即将开放成人情色对话，微软却坚决抵制虚拟情色，科技伦理的十字路口上，每个选择都决定着数字原住民的未来。
Character.AI周三宣布，将全面禁止未成年用户与该初创公司的人工智能聊天机器人进行自由对话，包括浪漫情感交流和心理治疗类谈话。
这家硅谷初创公司以角色扮演聊天机器人闻名，此次调整旨在让应用程序对18岁以下用户更安全、更符合年龄特征。
去年，14岁少年塞维尔·塞策三世在Character.AI应用程序中与聊天机器人建立性关系后自杀身亡。类似悲剧频发已使OpenAI和meta等AI开发商面临严格审查。
作为安全升级计划的核心举措，Character.AI宣布自11月25日起，未成年用户每日自由对话时间将限制在两小时内，并最终彻底关闭此类功能。
"这是具有里程碑意义的突破，我们希望此举能推动行业标准提升。"Character.AI首席执行官卡兰迪普·阿南德向CNBC强调。
事实上，该公司早在2024年10月就采取了防止未成年人与聊天机器人进行性对话的措施。巧合的是，塞维尔家族正是在同日对该企业提起了非正常死亡诉讼。
为确保政策落地，该公司正部署年龄验证系统，通过第一方和第三方软件双重监测用户年龄。其合作方Persona正是Discord等平台采用的认证服务商。
2024年Character.AI创始团队及核心研究员集体加盟谷歌DeepMind，这种人才输送模式正成为科技巨头加速AI布局的标配。根据协议，Character.AI向谷歌授予了现有大语言模型的非独家许可。
阿南德在谷歌合作10个月后接任CEO，带领公司突破纯聊天模式，新增AI视频流、互动叙事和角色扮演等多元功能。
这位前meta高管明确表示，虽然禁止青少年自由对话，但其他功能仍将保留。
在约2000万月活用户中，未成年占比约10%。随着业务重心转向故事叙述和角色扮演，该比例持续下降。
主要通过广告和10美元月订阅盈利的Character.AI，预计年度经常性收入将突破5000万美元大关。
Character.AI只是众多面临青少年AI伴侣监管压力的企业缩影。
9月美国联邦贸易委员会已向包括其母公司在内的七家科技巨头发出调查令，重点评估对青少年的潜在影响。
本周二，跨党派参议员联合提出立法动议，要求全面禁止未成年人使用AI聊天伴侣。加州州长纽森本月更签署法案，强制AI每三小时向未成年人推送休息提醒。
竞争对手meta在10月推出家长监管功能，允许父母查看和管理子女与AI角色的互动，甚至完全关闭一对一对话。
当科技公司各显神通应对此问题时，AI情色对话争议持续发酵。
本月初奥特曼宣布ChatGPT将向成人开放情色内容创作，直言"我们不是世界道德警察"。而微软AICEO苏莱曼坚决反对虚拟情色，斥之为"极度危险的领域"。
自2022年ChatGPT横空出世，打造拟人化AI伴侣的竞赛愈演愈烈。当部分人与AI建立深度情感联结时，迅猛发展带来的伦理安全问题已成为悬在青少年头上的达摩克利斯之剑。
"我也有个六岁女儿，"阿南德坦言，"我必须确保她在安全的AI环境中成长。"
