一句话

MIT CSAIL 的一篇研究这两天在 X 上很火:GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动了 0.016%,MATH-500 从 7.9% 涨到 48.1%。

数字是真的,日志也公开了。但它不是「AI 看一眼权重就让小模型变聪明」。它更像是:一个很强的模型,在一套设计好的环境里,干了一件 ML 工程师也能干、但很费劲的活——找到小模型的一个毛病,把它拆掉。

我平时在 Codex 里就用 gpt-6-astra 做代码审查,所以对这件事比较好奇。下面把它拆开讲。

它到底做了什么

按论文作者公开的说明和日志:

  • 怎么调用:通过 Codex CLI 调用 GPT-6 Astra,关掉所有内置工具(shell、文件编辑、联网搜索)。在需要写代码的实验里,Astra 写的 Python 在作者自己的沙箱里执行,没有网络,有时间限制,输出作为下一条消息返回。
  • 找到了什么:Qwen3.5-0.8B 做数学题时容易陷入循环推理,Qwen 自己的模型卡也提到过这个问题。Astra 把循环追溯到第 15 层和第 19 层 MLP 写出的一个方向。
  • 怎么改的:在这两层 MLP 的 down_proj 里,各从 64 个输出列中减掉这个方向,一共改了 131,072 个权重,约占全部权重的 0.016%。没有梯度,没有训练。
  • 反馈预算:允许跑最多 50 批 前向推理,看改完之后的表现。

结果(同样的采样设置):

指标改之前改之后
MATH-5007.9%48.1%
GSM8K13.8%67.1%
IFEval21.0%62.3%
撞到 token 上限的比例93%33.1%

最后一行最关键:改之前,93% 的题是因为一直绕圈、撞到长度上限才结束的。 不是模型不会做,是它停不下来。

三个容易被忽略的细节

1. 反馈预算少了,几乎没用

前向推理预算只给 10 批或 25 批的时候,MATH-500 只到 12.3% 和 14.1%。给到 50 批才到 48.1%。

也就是说,结果高度依赖能不能反复试、看效果、再改。这跟我们写代码时「跑测试 → 看结果 → 改」是一回事。

2. 换个模型就不灵了

同样的方法用在 Gemma 3 270M 上,MATH-500 从 6.8% 最多到 7.7%,基本没提升。

作者自己的解读是:这种编辑能去掉障碍,但加不了模型本来就没有的能力。Qwen 本来会做题,只是被循环卡住了;Gemma 270M 是本来就不太会。

3. 「只看原始权重」只出现在小实验里

spaCy 作者 Matthew Honnibal 写了一篇文章,说这篇研究的摘要有误导性。他把 8 组实验列成表:只读原始权重、不用 Python、不跑网络的设置,只出现在 1.7 万到 17.2 万参数的小网络上;所有涉及真实语言模型的实验都用了 Python,Qwen 这个头条结果还用了 50 批前向推理。

他的结论是:Astra 能被引导去设计并完成「人类 ML 工程师也会做的任务」,这不简单,一两年前的模型做不到;但把这些实验和「只看权重」的实验放在一起讲,会让人以为是同一种能力。

我同意这个批评。读这类研究,先看它给了模型什么工具和多少反馈预算,再看结果。

对普通开发者有什么用

说实话,大部分人短期内用不上「让 AI 改权重」。但有三点可以直接拿走:

1. 小模型的问题,可能不是能力不够,是停不下来。 如果你在本地跑小模型,发现它总是撞上 max_tokens、输出越来越长、在同一个思路上绕圈,先统计一下有多少比例是因为撞到长度上限结束的。这个比例很高,问题可能就在循环上,而不是模型太笨。

2. 结果取决于 Harness,不只取决于模型。 同一个 Astra,10 批预算和 50 批预算差了好几倍。这跟我之前写的观点一致:模型是执行器,环境、工具和反馈回路决定上限。

3. 这是一条新的模型修复路线,但还在研究阶段。 作者说正在做基准和 Harness 来衡量这种能力,方向包括不跑推理就审计模型(比如找后门)、零数据调整能力、去学习等。离工程可用还有距离。

可以自己复核

作者公开了全部日志,包括提示词、Astra 的回复和推理摘要、它运行的代码和输出、每个数字背后的评测,脚本是 MIT 协议,日志和数据是 CC BY 4.0。修改后的 Qwen 权重也放在了 Hugging Face 上。

我没有自己重跑评测,上面所有数字都来自作者发布的材料和第三方报道,不是我的实测。


相关阅读:《Harness 才是真模型:我的 Claude Code / Codex 交接包模板》。

来源:作者日志仓库 RikiyaT/lm_understand-logs;Hugging Face 上的修改版权重;AI/TLDR 对研究的整理;Matthew Honnibal 2026-11-03 的批评文章;GIGAZINE 报道;X 热点汇总。数据截至 2026-11-04。