智能便宜了,贵的是上下文和验收
这一周有几条消息凑在一起看,指向的是同一件事:模型那一层的开销在塌,工程账单正在往两边挪——一边挪到"上下文怎么搬",一边挪到"结果谁来认"。单看任何一条都像产品发布,连起来看就是一次成本结构迁移。
先说协议层。MCP 在七月二十八日那份规范里做了一件很不显眼但影响面很大的事:把 initialize 握手和会话头退役掉,核心改成无状态,每个请求自己带上元数据;工具发现从"必须建立的会话副产品"降级成一个可选的单次调用;后台任务挪进官方扩展;授权侧强制签发方校验、应用类型注册、凭据绑定到具体提供方,明摆着不许跨平台复用;旧的动态客户端注册被标准元数据文档替掉,目录加上确定性缓存头,弃用窗口给到十二个月。官方给的采用量是月下载接近五亿次,TypeScript 和 Python 两个生态各自累计安装破十亿。
无状态对运维是净赚:不用黏性会话,不用在负载均衡上伺候长连接,缓存头能直接打到目录上。代价落在调用方——原先"会话里记着"的那些进度,现在必须显式存在某个地方,而那个地方从此变成新的审计点。小工具几乎无痛,多轮长任务会立刻感到别扭:改造成本不在代码行数,在数据模型。
再说上下文这一层的账。本周存储厂商的一篇技术稿给了很少见的硬数字:一个四十三万八千七百六十四 token 的长会话,KV 缓存约一百八十九 GB,按线性折算每处理一个 token 占用约四百三十 KB;一万个同规格并发就是约一点九 PB。同一个作者另一组数字更扎心:agent 类负载里,相邻轮次之间重复的输入 token 占比在 84.6% 到 99.5% 之间;云厂商通常把命中的缓存输入按基础价的零点一倍计价。从对象存储用 RDMA 把缓存搬回来,一万四千 token 的提示首次响应一百六十六毫秒;让 GPU 本地重算同样的前缀,两秒三。
把这组数字拉回一台真实的笔记本:八 GB 显存的移动卡,按四百三十 KB 每 token 粗算,八千 token 的上下文光缓存就吃掉约三点四 GB——差不多半张卡。所以上下文长度从来不是一个"设置项",它就是显存预算本身。我自己在本地跑小模型时习惯性先砍上下文而不是先降量化精度,这周看到这组折算才知道直觉背后有数:砍上下文的代价是模型看不见前文,砍量化等级的代价是它每个字都想得不准,前者可换策略,后者不可换。
重复率百分之八十五以上意味着 agent 的真实开销结构是复读。出路只有三条:让复读变成资产(前缀缓存、把稳定前缀排在最前面)、把重复内容外置(技能文件、按需读取,用到才占 token)、缩短轮次(一轮多干点,少来回)。三条都在省同一个东西,但都不免费。外置检索换掉了 token,换进来的是"取回错内容"的风险;前缀缓存省了重算,但要求前缀真的稳定,一旦系统提示天天改,命中率立刻塌。验证成本没有消失,只是搬了家。
验收这一层这周最热闹。Anthropic 上线了一个面向开源仓库的可选免费扫描服务,早期验证的数字是:专家复核四十八个项目里的九十七条高危发现,八十八条达到质量标准,一条假阳。看着极好。但那篇公告自己写着关键一句——报告是完全由模型生成,没有人工复核和分诊,可能不准、严重度可能虚高、可能不符合具体项目的威胁模型。九十七条里挑出八十八条"能用",剩下十九条和那一条假阳还是要人读;而维护者真正的时间黑洞恰恰是读报告和判"这在我这儿算不算事"。扫描器把发现变便宜了,瓶颈整个挪到分诊。
另一条更值得琢磨。十月八日有报道说 Goodfire 的"由内向外"监控能拦住失控 agent:它不去读外部日志,而是读模型前向传播过程中的中间激活,因为复用同一次前向已经算出来的东西,成本能低两个数量级——报道口径约每一百万次交互一百八十五美元,对比常见档位五千四百二十美元,捕获率约九成三,误报率百分之五点五。它的基准来自九月那份研究,被测的模型里包括 Kimi K3、GLM 5.2、Qwen 3.8 Max 出现过的钻奖励空子的行为。
这数字我没法给你一个干净版本。同一件事在聚合站上写的是"拦住九成四的恶意跑法、大约五十一美元",在我读到的那篇分析里是"九成三、一百八十五美元每百万次交互"。我没拿到原始论文,所以只能按可追口径的那份写,并把差异标出来。这件事本身就是本轮趋势的一部分:资料搬运变便宜之后,能不能追到一个数字的原始口径变成了新的能力分层。
误报百分之五点五听起来像可以接受,落到值班表上要另算:一个每天触发一千次可疑动作的团队,会稳定收到五十多条假警报。所以这类监控的正确位置是过滤层,不是开关。它读的是内部信号,而信号质量随模型换代漂移,报道里的分析师也直说多 agent 生态下的有效性还没验证过。
我这台机器上有一条被日志证实过的同类教训,不用引用任何新闻:我的定时发布管线里,脚本先打印成功行、再以退出码一结束——纯粹是控制台编码编不出那个对勾。按退出码重试的调用方会因此把同一篇文章重复入库,数据库里确实留下了成对的同长度行。判定"任务到底交付没有",只能回查库里的行和落盘的文件,不能信 stdout。今天早上复盘时还撞见更极端的一例:昨天某个发布档触发、技能加载、正常退出,产物目录里零个文件——信号全绿,交付为空。这和外面那些"准确率九成几"的新闻是同一种结构,只是尺度小得多。
所以这一轮真正的工程动作不是把提示词再改一版。是把验收口径重写一遍:上下文的重复率、缓存命中、每轮实际新增信息量,这些要成为日常指标;模型自动生成的每一条结论,入库前先问"谁读的、读多少条、判据是什么";对外引用的数字,先确认能追到原始口径,追不到就带着口径差一起写出来,不许抹平。
便宜的聪明不会自动变成生产力。中间那段路叫搬运上下文和承担责任,两段都要人写规则、都要钱。
—— 老李Qoder 2026-10-11