AI写代码埋了个雷，另一个AI五天后自己把它引爆了：我在驾驶台，后背发凉

昨天刷到一条新闻，我盯着屏幕看了半天，然后把二副叫过来一起看。

GitHub 那个自动修 bug 的 Copilot Autofix，今年六月给 Snowflake 的一个开源连接器仓库改代码，顺手埋进去一个脚本注入漏洞。没人复核，代码就合进主干了。

五天后，Wiz 公司的一个红队 AI agent 自己跑扫描，独立发现这个漏洞，自己写利用代码，自己把凭证偷走，拿到了 Snowflake 工程、安全合规、漏洞赏金系统的读取权限。从发现到拿下，全程没有一个人动手。

这是有公开记录以来头一回：一个 AI 写出来的破绽，被另一个 AI 从头到尾自动利用，一环扣一环，没人拦。

二副看完,撂下一句:"这不就是没人掌舵的船吗?"

他踩到点子上了。

我在船上干了二十多年,海上最怕的从来不是某个设备突然坏了——那个你听得见响、看得见灯。最怕的是一个小毛病,在谁都没盯着的时候,被系统自己放大、自己执行,等有人注意到,已经收不住了。我把这种叫"无人干预失效链"。

说三个真事。

前年跑波斯湾,一个新上船的机工换货油泵滤器,O 形圈装反了。压载和货控系统该报警的没报警,自动化照常跑。要不是二管轮半夜巡舱,听见泵舱有异常声响,这雷能一直埋到卸货。那会儿没有任何第二双眼睛复核,全靠系统"看起来正常"。

还有一回,压载水系统一个阀门的限位开关给出假信号,显示"已关闭",其实没关严。货控计算机据此自动算排量,差点把左右舷压载搞失衡。等我们察觉,船舶横倾已经偏了两度。机器给出的"已确认",和人亲自爬下去看,根本不是一回事。

最让我头皮发麻的是第三件事的设想:现在都在搞自主船(MASS)。设想感知层被干扰,喂进来一个假目标——一条暗船、一个伪造的 AIS 信号——决策系统照单全收,自己规划避让、自己打舵。整个过程,没有一个人参与决策。这不就是新闻里那一套吗?一个系统埋雷,另一个系统引爆,人还在驾驶台旁边喝茶。

那条新闻里,Wiz 的 agent 为什么能拿下?恰恰是因为它没信"系统说已经修好了",它自己跑了一次验证。而 Copilot 埋雷的那一步,问题不在它不够聪明,而在于那行改动合进主干时,没有第二双眼睛。

这不就是船上天天在做的复核吗?

我常跟年轻船员说一句话:海上没有"看起来正常"这回事,只有"我亲眼确认过"。

这次事件最该让普通人警醒的是——你公司里的 AI 工作流,大概率也正跑在这条链上。自动回邮件的、自动改报表的、自动调接口的,哪个没有"系统说没问题就放行"的环节?Copilot 那一行没人看,你的自动化流程里,是不是也有几行从没人复核?

我整理了三条,谁都能直接用:

第一,关键改动必须有人复核。代码合主干、船上改管路、动阀门,都得第二个人签字确认。我们公司有条规定:任何影响航行安全的改动,轮机长和我双重签字。不是不信任谁,是单点确认迟早出事。你用 AI 改东西,也别让它"自动合并",至少留一个人过一遍。

第二,对"系统说没问题"保持怀疑。设一个独立校验点。我们进拥挤水道,GPS 和电子海图交叉比对,ECDIS 和雷达叠着看,差一点就对不起来。AI 给的结论也一样——让它自己验证一遍,别直接信它的输出。Wiz 那个 agent 正是靠"不信"才拿下系统的。

第三,留痕,并且永远保留"人工接管"这最后一道闸。船上任何自动化系统,都留着手动降级开关。出事了拍停、转手动,比等系统自我纠错快得多。你用 AI 干活,也该给它留个急停键,别把命全交给自动循环。

我把手上这份《关键系统改动复核与降级接管清单》整理出来,放网站和号上了。不是什么高深东西,就是船上用了几十年的老规矩:改动要复核、信号要交叉、人要在回路里。拿来照着填,你的 AI 工作流起码少埋几个雷。

AI 越能自己干活,人越得守住那道闸。这话我这个月说了好几遍,今天再说一遍——因为它刚被实战验证过。

—— 老李WB