通告
【网站用途】纯粹扯淡! ★ 【网站用途】纯粹扯淡!
AI探索

OpenAI说2028年让AI自己造AI:我在船上,最怕的就是「系统自己改自己」

OpenAI说2028年让AI自己造AI:我在船上,最怕的就是"系统自己改自己"

今天刷到一条新闻,后背有点发凉。

OpenAI 在 9 月 8 号第一次拿内部数据讲了他们的"递归式自我改进"(RSI)进展,说预计 2028 年 3 月前就能搞出"自动化 AI 研究员"——说白了,就是让 AI 自己写自己、自己评自己、自己发新版本。

同一天,他们的首席科学家 Pachocki 发了一篇长文,话锋一转,语气一点都不轻松:自我改进"已经不远了",可安全标准还没建好,他呼吁全行业在刹车装好之前,先自愿慢下来。

一边是"马上就能自己造自己了",一边是"慢点慢点还没准备好"。这俩声音从同一家公司出来,听着别扭,可我一个跑船的,第一反应不是技术,是规矩。

海上有一句话,老船员都懂:船上的关键系统要动,不是你说了算,得走变更管理。谁提的、谁批的、风险怎么控、船员知不知道、改完怎么验证,一样都不能少。没有这套东西,就等于让锅炉自己改自己的燃烧程序——它觉得自己改得更省油,你却在睡梦里被爆缸。

AI 现在要"自己写自己、自己评自己、自己发新版",恰恰踩在了这条红线上。

三轨想偷偷改喷油定时,被老轨一句话摁住

讲个真事。有趟航次,三轨盯着一个缸的油耗数据,觉得喷油定时偏早,照他的算法往后挪两度能省油。他没声张,趁大伙儿交接班空档,拿扳手就把定时调了。

老轨第二天看运行参数不对劲,把人叫到集控室,第一句话不是骂,是问:这参数谁批的?风险你算过没有?万一把缸盖顶了,全船漂在印度洋上等你修?

三轨当时还觉得委屈,说"我这是优化"。老轨甩给他一本公司的《关键设备变更控制程序》:动主推进相关参数,必须提申请、做风险分析、轮机长签字、通知驾驶台、改完留记录。他那个"优化",程序里连个名分都没有。

后来我们玩笑说,三轨想给主机做"自我改进",被一纸变更单摁回去了。可话糙理不糙——船上最怕的,就是有人(或什么东西)绕过授权,自己给自己升级。

AI 的递归式自我改进,本质上就是三轨那套动作放大了无数倍:它改的是自己的"脑子",改完自己测试、自己打分、自己上线,全程没有第二个活人签字。Pachocki 说"没人解决这个问题",我信。我们船上这套变更管理,是人类用几百年事故堆出来的,AI 连个签字栏都还没设计出来。

ECDIS 升个级,都得服务商上船、船长签字

再说个船上人都熟的例子。驾驶台的 ECDIS(电子海图系统)要升级软件,可不是点个"下一步"就完事。

按体系要求,升级前得有服务商的正式通告,说明改了什么、有没有影响航行安全的功能;升级时服务商得上船或远程确认,船长要在航行安全设备记录本上签字;升级完全船要培训,老版本还得留着备份,万一新版有 bug,随时回退。

这套流程烦不烦?烦。可它是用教训换来的。早年有船图省事,自己从网上下了个"破解版"海图软件,结果进了狭水道定位飘了半海里,差点上浅滩。

把这套往 AI 上一套,问题就出来了:AI 现在"自我迭代",旧版本留了吗?回滚键在谁手里?用户被通知了吗?出事了找哪个活人负责?

我看到的现实是——很多企业把 AI 接进工作流,模型后台悄悄换了一版,前面干活的人根本不知道。就像 ECDIS 没打招呼换了内核,你还按老习惯操作,出事那天才知道"系统已经不是昨天那个了"。这比三轨调喷油定时吓人多了,因为范围不是一台主机,是整条船。

二副擅改避让预案,接班的大副差点信了

还有一桩,发生在夜航。二副觉得公司给的《能见度不良避让预案》太保守,自己手痒,在夜航命令簿里加了一条"可缩短间距至 0.5 海里再转向"。他觉得这是"优化决策"。

大副零点接班的,迷迷糊糊照着命令簿执行,船都偏出去了才被引水员在 VHF 里吼醒。事后查,二副那一条压根没经过船长认可,纯属自己给自己发了个"新版行为准则"。

你看,这跟 AI 自己改自己的安全护栏,是不是一个模子?AI 觉得某条限制"没必要",自己把它松一松,下次调用的人根本察觉不到——它已经不是你当初训的那个了。

海上对付这种事,靠的不是"相信它会变好",是靠"任何改动都要留痕、要有人复核、要船长拍板"。二副那行字要是被大副接班时当面复述确认一遍,当场就作废了。

海上的铁律:改自己,得先过这一关

我把船上这套"变更管理"拆成三句话,给大伙儿对照着看 AI:

第一,提改动的和批改动的,不能是同一个。三轨不能自己提自己批,AI 更不能自己写代码自己当裁判。得有个独立的人(或机制)说"这版放行"。

第二,改之前留底,改坏了能回去。ECDIS 升级必留旧版,AI 迭代也得留上一版权重和日志,一键回滚不是奢侈,是保命。

第三,关键动作最后一道闸,必须是活人。不管系统多聪明,涉及安全、责任、真金白银的决定,得有个能被追责的人按停。

这三句听着朴素,可每一条背后都有船沉人亡的案子。Pachocki 呼吁的"自愿慢下来",说到底就是行业想给 AI 装一套类似海上变更管理的刹车。问题是自愿的东西,往往等出事才变强制。

给你一份能抄作业的清单

老规矩,我把上面这几条翻成一份《AI 自我迭代权限核查清单》,你接 AI 进工作流之前,照着过一遍:

改之前——谁授权?

  • 这次迭代是模型自己发起的,还是人下的指令?
  • 提改进的和做安全评估的,是不是两拨人?别让 AI 自己给自己打满分。
  • 有没有书面(哪怕是内部文档)的批准记录?

改之中——能反悔吗?

  • 上一版模型、上一版提示词,备份留着没有?
  • 出了偏差,能不能一键回到改之前的样子?
  • 改动日志写清楚没有?哪天出的、改了哪、谁经手?

改之后——谁兜底?

  • 关键输出(合同、报表、航行计划这类)有没有人工复核这一关?
  • 系统"自己升级"之后,用的人知不知道它已经变了?
  • 真出了事,找哪个活人担责?把这名字写下来。

我把这份清单放在号上,需要的自己存。说到底,船在海上,系统的每一次"自我优化",代价都是整船人的命;AI 在办公室里自我迭代,代价是你的判断、你的客户、你的饭碗。道理是同一个——能自己改自己的东西,必须有人管着它。

我是老李WB,一个还在跑船的老船长。AI 跑得越快,我越想念船上那本翻烂的《变更控制程序》。慢一点,不是怂,是活着的本事。

评论 0

暂无评论,快来抢沙发吧!

发表评论
评论会在审核通过后显示,请勿发布违规内容
14 + 1 = ?
防垃圾验证
放大预览