一句话
英国金融科技公司 Revolut 在不到一年里,把 AI 编码推理成本砍掉了约 90%。做法不是少用,而是反过来:把自托管的开源权重模型(GLM)设为默认,Claude Code、Codex 这类商业前沿服务变成例外。
以下事实全部来自 The Register 11 月 3 日的报道,内容是 Revolut 运维与基础设施负责人 David Abitbol 在纽约 AI Engineer 大会上的分享。
发生了什么
- 时间线:2025 年初试 Gemini,2026 年初上 Claude Code。一开始就设了严格的预算上限,原因是他们看到有工程师一个月花 1,000 美元、甚至 10,000 美元,"ROI 并不高"。
- 规模:AI 编码工具铺到了约 2,000 名工程师。官方口径是编码时间改善 60%,交付前置时间(lead time)改善 70%。
- 模型:先用 GLM-5.1,后来换到 GLM-5.3,现在用 56 张 Nvidia B200 自托管(按 GPU 数量算,相当于 7 台 8 卡 DGX B200)。
- 单价:自托管 GLM 5.1 大约 0.30 美元 / 百万 token(输入输出同价),约为使用 Codex 或 Claude Code 成本的十分之一。
- 体量:GLM 5.1 总参数约 754B,每 token 激活约 40B;仅权重就要约 380 GB 显存,每个用户的上下文还要再占 6–26 GB(取决于精度)。
真正有意思的不是省钱,是“token 不再稀缺”之后的行为变化
Abitbol 的原话大意是:token 便宜了,大家就不再纠结用多少、用在哪。
最大的收益并不在写代码本身,而是让模型去干调试、处理 Jira 和 Confluence 工单这类活。"有了无限 token,你就可以这么做。你不再需要把 token 攒到季度末,或者留给最难的任务。"
这一点值得单独拎出来:按量计费的前沿模型,会逼着人把 Agent 只用在“值得”的任务上;而成本足够低、账单固定时,Agent 才会渗透到那些零碎但耗时的环节。瓶颈本来就不在写代码。
性能调优:加卡不是重点
报道里提到的几条工程经验,比“换模型”更有参考价值:
- 最大的性能提升不是来自加 GPU,而是调模型超参、换 NVFP4 量化、做 prefill / decode 分离(disaggregated)、以及调上下文长度。
- “长上下文是个骗局”(Abitbol 原话 "Long context is a scam")。能服务 100 万 token,不代表需要;他们认为 256K 才是真正够用的。
- 体验指标:在约 256K 上下文下做到首 token 延迟(TTFT)低于 3 秒,生成速度约 200 token/s。他的经验是:TTFT 超过 5 秒,他的 Slack 就会被投诉塞满;吞吐反而没那么重要,因为大家已经不盯着思考流看了,而是并行跑任务、跑完再回来看。下午 5 点后登录的工程师能拿到接近 800 token/s。
前沿模型没有被淘汰,只是被路由成例外
GLM 是纯文本模型,不适合 UI 这类需要看图的活。Revolut 的做法是上一层模型路由:视觉类请求转给 Gemini 或 GPT Luna,代码生成留在 GLM 上。
他的总结是:"开源现在是 Revolut 的优先项……账单是固定的,月底不会有账单惊吓,前沿模型是例外。"
关于安全:他承认中国开源权重模型可能引发隐私和安全顾虑,但认为主要风险在于调用运行在中国境内的 API;在本地或区域云上自托管,就"没什么可担心的"。(这是他的观点,合规判断请按你自己的场景做。)
对个人开发者的启发(以下为分析,非报道内容)
个人和小团队没有 56 张 B200,但 Revolut 的思路可以缩小来用:
- 分层路由,而不是单押一个模型:把“默认模型”和“兜底模型”分开。日常的调试、读日志、写工单、改小 bug 走便宜模型(自托管或低价 API);只有卡住、需要视觉、或者高风险改动时,才升级到 Claude Code / Codex。
- 先算自己的单位成本:把最近一个月 Agent 的 token 用量按任务类型拆开看。如果大头是“杂活”,那换默认模型的收益会远大于优化 prompt。
- 别迷信大上下文:上下文开到最大往往意味着更慢、更贵。按 Revolut 的经验,延迟才是体验的生死线——给自己定一个 TTFT 上限,超过就压缩上下文或拆任务。
- 为并行而不是为流速优化:如果你已经习惯同时开几个 Agent 跑任务,单路 token/s 没那么重要,稳定、便宜、并发更重要。
- 固定账单的心理价值:预算上限会让人“省着用”,而省着用恰恰会让 Agent 进不了最耗时的环节。能用包月、自托管或固定额度的方案,就优先考虑。
- 注意规模门槛:自托管 GLM 这种量级的模型,光权重就要约 380 GB 显存。对个人来说,更现实的“自托管”通常是通过兼容 OpenAI 接口的网关接入低价开源模型,而不是真的自己上卡。
结论
Revolut 这个案例的价值不在于“GLM 比 Claude 好”,报道也没这么说。它说明的是:当 Agent 的单位成本降一个数量级,使用方式会改变,收益来源也会转移——从“帮我写代码”变成“帮我处理所有琐碎工程活”。对个人开发者,最直接的动作就是:给自己的 Agent 工作流加一层路由,让前沿模型回到“例外”的位置。
COMMENTS
读者评论