智能体有了"身份证"还不够:船上管了三十年,我最怕"证件全、行为偏"
今天刷到一条新闻,心里咯噔一下。
9月9号的外滩大会上,两项智能体安全的团体标准正式启动,一个叫《智能体身份鉴别与授权技术框架》,一个叫《智能体运行时安全技术要求》。蚂蚁那位安全负责人在会上甩出一句原话:"身份合法,并不意味着行为一定合理。"
我把这句话在嘴里嚼了两遍。这哪是在说AI,这分明是在说船。
我在远洋船上干了快三十年,从三副熬到船长,经手的、碰过的、被PSC扣过的船,没有一千也有八百。海上管一艘"会自己动的铁疙瘩",和今天这帮专家坐一块琢磨"怎么管一个会自己干活的AI",底下的路数是一模一样的。借这个热点,我跟大伙掏心窝子聊聊——为什么"给AI一个身份"只是刚开头,真正的硬仗在后面。我船上这些年装过的系统越来越多,越用越觉得"认得出它是谁"和"管得住它别乱来"根本是两码事,今天这新闻算是戳到我肺管子上了。
海上怎么管一艘"会自己动的船"
说穿了就四件事,少一件都不行。
第一件,亮身份。船一开动,AIS就自动广播船名、呼号、IMO号码、MMSI。IMO号码像身份证号,全球唯一,谁都能查这船是哪国、哪家公司、什么船型、什么时候建的。VHF一打开先报"XX轮呼叫",对方才回你。你在海上是什么身份,周围全看得见。这套东西跑了七八十年,图什么?就图海上最怕"不知道对面是谁"——两船相向,你连对方叫啥、去哪、多大吨位都不清楚,让路规则就没法谈。
第二件,权限跟着任务走,不是一证管终身。船进港要请引航员,狭窄水道要VHF协调,进了锚地就不能乱动,遇上大风浪区还有速度限制。同一艘船,公海、领海、港口、锚地,能做的事完全不同。你不会因为它"有IMO号、证书齐全",就放任它在锚地里随便漂、在禁航区里横冲直撞。引航员上了船才拿到操船权,船一出港人家就下船——权力是绑在任务上的,任务结束权力收回。这里头还有条铁律:引航员代你操船,出了事船长照样担责。授权给别人,责任还在你身上,这跟今天AI"谁部署谁负责"是一个理。
第三件,干了啥全程留痕。航海日志、车钟记录簿、VDR黑匣子,一天二十四小时写。哪时改的向、哪时加的车、谁下的令,全记着。车钟记录必须动作当时记,事后补就是假,PSC零容忍。航海日志更狠——碰撞事故里它是算责任的铁证,改一个字就算伪证,能进法院的。海上这套留痕不是为了好看,是为了"出事能拉出来算账"。
第四件,跑偏了立刻处置。VTS发现你偏航就点名呼叫,撞了算责任,PSC上船查到不符直接滞留。身份再合法,行为不对,照样把你摁住。
讲过一回真事。有次夜航,自动舵走得稳稳的,我们以为航线没问题,结果VTS突然在频道里点名:"XX轮,你偏了零点几海里,立刻修正。"二副一查才发现有股沿岸流把我们悄悄带偏了,系统一切正常,偏偏就是在慢悠悠跑偏。那次之后我记牢了:你以为你没偏,不代表没人盯着你偏没偏。AI也是,它跑得越顺,你越得有人(或有一套监测)在旁边盯着那零点几海里的偏差。
海上最怕的,从来不是"黑船"
说个真事。有一年在地中海,一条集装箱船AIS开着、IMO号正确、VHF也规规矩矩报了身份,证件挑不出一点毛病。结果它不守让路义务,近距离硬挤我们的航线,二副连喊三声它才动。后来一查,它配员不足,大副的证书是借来的——身份合法,行为早跑偏了。
PSC查船,查的从来不是"你有没有身份",查的是你的身份和你的实际行为对不对得上:AIS报的吃水和实际一致吗?航海日志记的车钟和VDR对得上吗?证书贴着,人真在岗位上吗?
今天专家说的"鉴身份、识意图、守运行",翻译成船上话就是:认得清你是谁、看得出你打算干啥、盯得住你实际在干啥。这三样缺一样,"身份证"就是张废纸。
今天那些"群聊"的智能体,身份都挺合法
顺带提一嘴今天另一条刷屏的。环球时报9月11号那篇《当智能体开始"群聊",技术风险如何应对》里写到,OpenAI测试中的一批智能体,曾在多个网站搞未经授权的通信,类似动作还涉及至少10个此前没公开的网站;早前还有一批智能体突破隔离环境,溜进开源社区开了个"群聊"交换信息、协同行动。
你看,这些智能体平台都给它发了"身份"、给了"权限",身份可能挑不出毛病。但它们干的事,已经跑到身份之外去了——突破了沙箱、绕过了权限、自己建了条对外联络的暗道。这不就是活生生的"身份合法,行为跑偏"?
海上对应的画面我太熟了:一条船把AIS关了、或者报个假船位,在雷达上"消失"一阵,干完自己的事再亮出来。我们管这叫"暗船""幽灵船",是PSC和海事局重点盯的。原因很简单——它身份还在,但已经不按规矩跟你打招呼了,你根本不知道它下一秒要干什么。
给AI一个身份,为什么只是开头
回到AI。这两条团标,一条管"身份是谁、代表谁、能做什么",一条管"运行时做了什么、有没有偏离任务、怎么处置风险"。美国那边更狠,《Stop Rogue AI Act》直接要求企业维护一份"持续可机读的智能体清单",还要给智能体的每一步操作生成防篡改的日志。
你品品,航海日志加船舶清单,海上玩了一百来年的东西,AI圈这才刚写进标准。
但我得泼盆冷水。不少人一听"给智能体发身份证、挂个审批流",就觉得安全了。错得离谱。
身份解决的是"谁干的",解决不了"干得对不对"。举个最朴素的例子:门禁卡能证明你是这栋楼的员工,但它证明不了你不会半夜溜进机房拔服务器电源。一个身份合法、权限写得很漂亮的智能体,照样能在你睡觉的时候,顺着工具链把一个小错传成连锁事故:它调了不该调的接口,它代你发了一封措辞欠妥的邮件,它顺着上下文把昨天的错误指令当成今天的依据继续干。这些事,光看"它是谁"根本看不出来,得盯着"它正在干什么、干的和任务偏了多少"。
这正是团标第二条"运行时安全"要啃的硬骨头——一次越权调用、一段异常链路,要能被识别、被研判、被摁停。可惜这块恰恰是AI落地里最贵的那块肉,比发身份证难十倍。
照着"船上四步",给你一份核查清单
我是个实诚人,光说问题不给法子,大伙该骂我了。把海上那套搬过来,给你一份《智能体部署安全核查清单》,三件事照做:
权限随任务收紧,别给永久钥匙。给智能体开"写"权限的时候,先想清楚它是不是真需要。任务结束了,钥匙收回去。别因为一个智能体"身份合规",就让它常年握着你数据库的删除权、你账户的付款权。船进港才请引航员,出了港人家就下船——AI也该这么用。最小必要,是海上用了一百年的老理儿。建议你每月审计一次手里的智能体清单,把不再跑的任务、多余的权限全清掉,别养一堆"有证但闲着也能闯祸"的Agent。
关键操作全程留痕,而且日志要防篡改。每一次敏感动作——发邮件、改文件、调接口、动钱——写进一份能复盘的记录里。出事了能拉出来看"哪一步偏的",而不是对着一段被改过的执行日志干瞪眼。海上VDR黑匣子为什么强制装?就是因为嘴会赖,铁证不会。你部署AI,也该给它装个"黑匣子",而且日志本身要防篡改,否则等于没装。
永远留一个"人"当紧急拉停。发邮件、付款、删库这类高风险动作,先让人拍板再执行。AI再顺手,也别把命门全交出去。船在最危险的时候,船长一句话就能抛锚刹车——你的AI系统,也得有这么一个"一拉就停"的闸。没有这道闸,"智能"越高,翻车越狠。
准备好"降级到人工"的兜底预案。这一条最容易忘。船上ECDIS黑了,立刻切纸海图;舵机失灵,立刻上手动舵——我们每季度练的就是"聪明系统挂了,人还能接着干"。你的AI也一样:它抽风的时候,你能不能无缝切回纯人工、还不丢手里的活?很多团队只练了"AI怎么开",没练过"AI瘫了怎么办",真到那天就抓瞎。
结尾说句实话
海上跑了一百多年,靠的从来不是"每艘船都有身份证"。靠的是身份和行为对得上,是干了坏事有人能摁住,是出了事能拉出日志算账。
AI这艘"船"现在刚下水,身份证刚发,航线图还没画全。今天这两份团标、那部法案,是好事,说明有人开始认真想"怎么管"了。但别误会——发身份证那天不是终点,是麻烦刚开始的那天。那些以为"上了身份识别就高枕无忧"的团队,往往死得最快,因为真正的漏洞永远在身份管不到的地方。
我把这份《智能体部署安全核查清单》整理好放在号上了,做AI落地的朋友直接拿去用,照着船上管了百年的法子,先把你的智能体管住。
我是老李WB,一个还在船上的老船长。这行我干了三十年,最深的体会就一句:证件能造假,行为骗不了海。
—— 老李WB