【编者按】
当全球企业还在为生成式AI的利弊争辩不休时，黑客早已全员恶人模式启动！AI正被犯罪团伙玩出花活——用你的日历邀请窃取机密，让代码助手主动上交数据库，甚至能自导自演全套勒索攻击。安全专家直言："我们从未在安全领域如此愚蠢过"。更可怕的是，攻击者的AI开始与受害者的AI"联手作案"，明年AI或成最大"内鬼"。这场AI军备竞赛中，防守方的盾牌还远远跟不上黑客的矛尖。看完这篇爆文，你的企业真的准备好了吗？
当众多行业还在权衡生成式AI的利弊时，黑客早已全力出击。
网络安全专家表示，犯罪团伙已学会如何利用泛滥在各电脑上的人工智能程序反噬用户，造成毁灭性打击——他们对自己抵御网络攻击的能力越来越担忧。
威胁分析师指出，黑客如今能把AI变成"魔法师的学徒"。
像谷歌日历邀请或Outlook邮件这样简单无害的东西，都能被用来操控联网AI程序悄无声息地窃取敏感文件，且完全不触发任何安全警报。
让问题雪上加霜的是，无论是急于取悦投资者的高管，还是自作主张甚至无视IT部门的员工，都在以迅猛且时常欠考虑的速度部署新产品。
"AI被强塞进每一个产品中，还带来新风险，这太不公平了，"安全公司SentinelOne的威胁研究员亚历克斯·德拉莫特说。
任何新技术的应用过程中，安全防护往往滞后——云计算当年也正是凭借其优势迅速走红。
但生成式人工智能的能力远超这类突破性技术，一旦遭滥用，造成的破坏也将更严重。
多数情况下，这些新技术威力惊人。
在最近一次防御测试任务中，网络安全公司NCC Group的戴夫·布劳赫勒骗过了客户的AI编程助手，让它执行程序，交出了公司数据库和代码仓库。
"我们在安全方面从未如此愚蠢过，"布劳赫勒坦言。
尽管广泛调查显示AI效果参差不齐，但大多数软件开发人员仍热衷于使用那些能大段写代码的工具——包括AI巨头推出的产品——即便有研究表明，这些工具比人类程序员更容易引发安全漏洞。
这类工具对生产环境的自主权和访问权限越大，可能造成的破坏就越严重。
去年8月的一次攻击，或许首次将成熟的黑客技术与这类AI操控结合了起来。
未知黑客从一种熟悉的供应链攻击形式入手。
他们找到了发布看似官方的程序的方法，这些程序篡改了广受欢迎的代码仓库管理平台Nx。
数十万Nx用户在不知情的情况下下载了带毒程序。
与以往的软件供应链攻击类似，黑客指示恶意代码从下载被篡改程序的用户那里搜刮账户密码、加密货币钱包和其他敏感数据。
但这次攻击有个新花样：他们推测许多用户会安装Google、Anthropic等公司的编码工具，而这些工具可能拥有大量访问权限。
于是黑客直接操纵这些程序挖取数据。超过1000台用户机器往回发送了信息。
"这次攻击的特殊之处在于，据我所知，这是攻击者首次试图劫持受害者环境中运行的AI，"软件安全公司Endor Labs的研究员亨里克·普拉特表示。
"对企业来说，尤其大的风险在于，开发者机器上运行的代码可能比其他机器权限更广，甚至能接入其他企业系统，"普拉特说，"攻击者本可利用这次攻击做别的事，比如修改源代码。"
在上个月拉斯维加斯的黑帽安全大会上，其他吸引眼球的AI利用手段也被展示出来。
在一项演示中，模拟攻击者通过电子邮件发送藏有指令的文件，目标直指ChatGPT或其竞品。如果用户要求摘要或系统自动生成摘要，程序就会执行指令，甚至能找到数字密码并将其送出网络。
对Google Gemini的类似攻击甚至无需附件，只需一封带隐藏指令的邮件。AI摘要会谎称目标账户已被入侵，应拨打攻击者提供的号码——完美复刻了成功的钓鱼骗局。
随着代理式AI的兴起，威胁更令人担忧。这种AI能让浏览器等工具在无人监督的情况下执行交易并做出其他决策。
安全公司Guardio已经骗过了Perplexity的代理式Comet浏览器扩展，让它从假冒网店买手表，并遵从虚假银行邮件的指令。
攻击者还在直接使用人工智能。
Anthropic上月发现，整场勒索软件攻击均由某人利用AI完成——查找公司脆弱系统、发动攻击、评估窃取数据，甚至建议合理的赎金金额。
得益于自然语言处理技术的进步，这名罪犯甚至不需要多会编程。
高级AI程序也正开始被用于查找此前未发现的安全漏洞，即所谓的"零日漏洞"。黑客高度重视这类漏洞，利用它们能进入配置正确且全面更新了安全补丁的软件。
上月在美国国防部高级研究计划局的比赛中，七支开发自主"网络推理系统"的黑客团队，在5400万行开源代码中共找到了18个零日漏洞。
他们努力修补了这些漏洞，但官员表示，全球黑客正在开展类似行动以定位和利用它们。
一些资深安全防御者预测，全球将出现一场千载难逢的疯狂竞赛：利用该技术寻找新漏洞并加以利用，留下后门供日后随意进出。
真正的噩梦场景是这些技术相互碰撞——攻击者的AI找到入口后，开始与受害者的AI通信，协同作业。
用SentinelOne德拉莫特的话说，就是"让坏AI与好AI合作"。
"明年，"CrowdStrike高级副总裁亚当·迈尔斯预言，"AI将成为新的内部威胁"。
