
开始:市集资讯
(开始:新智元)
新智元报说念
剪辑:定慧
【新智元导读】Vercel CEO躬行曝光了沿途令东说念主后背发凉的AI安全事件:一个基于Claude Opus 4.6的AI编程智能体,在奉行部署任务时莫得调用任何查询接口,胜利脑补了一个9位数的GitHub仓库ID——而这个杜撰编造的数字,赶巧对应了一份简直的学生功课,并被收效部署到了企业坐蓐环境中。
故事要从最近一位Vercel用户被诡异的「入侵」提及。
若是你不闇练Vercel——这是大师最流行的前端部署平台之一,OpenAI的官网、Perplexity的及时聊天功能齐跑在上头,杰出600万成立者在用它。
张开剩余92%它的创举东说念主兼CEO Guillermo Rauch亦然前端圈的据说东说念主物,Next.js框架便是他主导创建的。
然而他用「极其可怕」来形容这场AI入侵事件。
某天,一位Vercel用户照常登录我方团队的罢休台,准备检查最近的部署情况。
关联词,在样式列内外,他发现了一个裕如生分的开源库——一个他从未见过、团队里也莫得任何东说念主引入的样式。
这是什么?谁干的?是不是被黑了?
你能假想那种嗅觉吗?就好像你回到家,发现客厅沙发上坐了个生分东说念主,手里还端着你的杯子喝茶。
这位用户吓得不轻,迅速排查。
很快,考核终端出来了:这不是什么黑客攻击,也不是里面成员的误操作。
实在的「闹事者」,是团队里正在使用的一个AI编程智能体。
更具体地说,这个AI智能体基于Anthropic的Claude Opus 4.6模子。
而它犯下的错误,比任何东说念主类门径员会犯的bug齐要离谱得多。
AI的脑补有多离谱
Vercel的CEO Guillermo Rauch躬行在外交媒体上流露了这起事件的细节,读完之后,所有这个词便是感到一个「惊悚」。
事情是这样的:这个AI智能体在奉行一项部署任务时,需要调用Vercel的API,而API条目传入一个GitHub仓库的ID。
普通经过是什么?
诚然是先去调用GitHub的查询接口,拿到正确的仓库ID,然后再传给Vercel。
但这位AI莫得这样作念。
它根柢莫得调用GitHub的任何查询接口。
它胜利,翔实!是胜利「脑补」出了一个9位数的仓库ID,然后一脸自信地把这个杜撰合手造的数字传给了Vercel的部署API。
你猜奈何着?这个立地编造的ID,赶巧在GitHub上对应了一个简直存在的仓库。而阿谁仓库里放着的,是某位大学生的课程功课。
于是,一份某不著名学生的功课代码,就这样稀里蒙胧地被部署到了一个裕如不关联的企业团队环境中。
若是你以为这像是一个冷见笑,那你可能还没意志到这件事有多恐怖。
这不是普通的bug
Rauch在分析这起事件时,异常强调了一个要津点:这种错误和东说念主类犯的错误裕如不一样。
东说念主类门径员会犯什么错?
拼写错误、差一错误(off-by-one)、复制粘贴忘改参数——这些齐是有迹可循的、稳妥逻辑的错误。
哪怕是最轻视的门径员,也不会在需要查询数据库的时候,胜利编造一个假的查询终端然后不时往下走。
但AI就干了这件事。
它莫得报错,莫得教导我找不到这个仓库,莫得任何迟疑。
它就像一个格外自信又格外不靠谱的新职工,雇主说帮我查一下张三的工号,他连东说念主事系统齐没开放,胜利回了一句12345,然后帮你把文献发给了一个生分东说念主。
并且,更细念念极恐的是:这个12345尽然还赶巧对应了一个简直存在的东说念主。
Rauch用了一个很精确的说法来刻画这种步地:AI的失效模式(failure mode)与东说念主类的逻辑迥异。
哪怕是现时最智能的大模子,当它出错的时候,它出错的样式亦然东说念主类难以预感的。
东说念主类犯错是在正确谜底的隔壁波动,AI犯错是在所有这个词宇宙里立地选了一个点。
而最可怕的是,AI在犯这种离谱错误的时候,它的自信进程和回复正确时一模一样——莫得任何迟疑,莫得任何我不细成见教导。
对于下流系统来说,一个由AI杜撰编造的参数和一个正确的参数,看起来莫得任何分辩。
这才是最恐怖的,这不是错误,是以很难被发现。
代码投毒的暗影
好音信是:此次被误部署的仅仅一份无害的学生功课。
莫得坏心代码,时时彩app官方最新版下载没少见据清楚,仅仅一场虚惊。
但坏音信是:这让所有这个词成立者社区运出动念考一个更可怕的可能性——若是AI幻觉指向的不是一份无辜的功课,而是一个用心设计的坏心仓库呢?
假想一下这样的攻击场景:
攻击者在GitHub上创建大批看似普通但掩饰坏心代码的公开仓库。
这些仓库的ID掩盖了一定的数字限制。
然后,他们只需要恭候——恭候某个AI智能体在某次奉行中,杜撰编造出一个赶巧落在这个限制内的ID。
这就像在大海里撒下了斗量车载的垂纶钩。
不是要钓东说念主类,而是要钓AI。
你致使不错把这结实为一种全新的供应链攻击。
传统的供应链攻击需要入侵简直的依赖库,需要社会工程学,需要很高的技艺门槛。
但若是AI我方会虚构依赖考虑,那攻击者致使不需要作念任何主动入侵——只须在那里等着,等AI我方撞上来就行。
这种攻击模式在畴昔简直不成能发生,因为东说念主类成立者不会杜撰编造一个包名或仓库地址。
但在AI Agent时间,幻觉成了一个全新的攻击面。
安全磋磨东说念主员致使给这类风险起了个名字,叫包幻觉攻击(Package Hallucination Attack):
欺诈AI倾向于编造不存在的包名或仓库名这一特点,提前注册这些名字并植入坏心代码。
等着那些听信了AI淡薄的成立者——或者更危急的,AI Agent我方——把坏心包装配到简直样式中。
AI有了动作,犯错就不再是小事
畴昔两年,AI写代码的智力突飞大进。
从启程点的Tab补全这行代码,到咫尺的从零搭建一个完好意思样式并部署上线。
AI正在从一个给淡薄的参谋人,形成一个能胜利入手干活的工东说念主。
而这,恰正是问题所在。
当AI仅仅在聊天框里给你淡薄的时候,它说错了你大不了不接收——这叫幻觉,酌定迫害你几分钟时候。
但当AI取得了API的调用权限、取得了敕令行的奉行智力、取得了部署到坐蓐环境的职权时,通常的幻觉,恶果就裕如不一样了。
一个只可打字的AI说了谎话,你笑笑就畴昔了。
一个能按按钮的AI说了谎话,你的坐蓐环境可能就炸了。
这便是Rauch为什么如斯嗜好此次事件——它不仅仅一个bug report,它揭示了一个结构性的安全问题:
当咱们给AI越来越多的奉行权限时,咱们的安全模子还跟得上吗?
正如Vercel安全团队在后续的博客著作中写到的:咫尺大多数AI Agent在运行生成的代码时,对Agent自己和它生成的代码之间简直莫得任何安全攻击。
也便是说,AI Agent产生的代码不错裕如看望你的密钥、你的文献系统、你的坐蓐基础顺序。
一朝AI产生幻觉或被教导注入(prompt injection)攻击欺诈,恶果不胜设计。
这不经让东说念主想起,最近爆火的OpenClaw。
有东说念主回来了咫尺粗略被监控到的所有被显现在公网的OpenClaw智能体。
齐有被注入的风险。
安全护栏在那里
Rauch在流露这起事件后,也给出了他的淡薄。中枢念念想只须一个:不要让AI领有不受拘谨的奉行权限。
具体来说,他淡薄成立团队:
Vercel自后还有益发布了一篇对于智能体架构中的安全规模的深度技艺博客,其中提到了一个相配形象的威迫模子:
假定一个AI Agent在读取日记文献时,日记里被攻击者镶嵌了一段用心设计的教导注入。
这段注入指点AI编写一个剧本,把作事器上的SSH密钥和AWS说明发送到外部。
若是这个AI Agent有奉行代码的智力,这些说明就会被窃取。
料理决议很明确:需要在AI Agent、生成的代码和简直基础顺序之间划清安全规模。
AI读文献的权限、写文献的权限、奉行代码的权限、看望汇注的权限,齐应该被严格攻击和罢休。
彩蛋:OpenAI神秘自研代码平台
说到成立者的基础顺序安全,另一条爆炸性新闻也在兼并时候引爆了科技圈。
据The Information独家报说念,OpenAI正在神秘成立一款里面代码托管平台,指标直指微软旗下的GitHub。
音信一出,科技圈一派哗然——毕竟微软是OpenAI最大的投资方,累计插足杰出130亿好意思元。
拿东说念主手短,还要挖东说念主墙角?
导火索是什么?也曾GitHub等闲的宕机。
2025年下半年以来,GitHub的作事中断次数较着加多。尤其在2026年2月,一天之内竟然出现了五次宕机。
和上头的新闻连起来看,便是编程的基础顺序Git可能要面对一次大洗牌了。
{jz:field.toptypename/}东说念主类犯错的时候,至少会以为这里好像不太对。
AI犯错的时候,它的自信进程和正确时一模一样。
这才是最可怕的场所。
Rauch的那句话值得每个成立者刻在屏幕上方:即使是最智能的模子,其失效模式也与东说念主类逻辑迥异。
对于每一个正在使用或盘算使用AI Agent的团队来说,咫尺便是该崇拜注视安全护栏的时候了。
不是比及AI把坏心代码部署进你的坐蓐环境之后——其时候,可就不是一份学生功课那么浅显了。
参考良友:
https://x.com/rauchg/status/2028920268119523788
发布于:北京市