不训练、不调参：Astra 直接读写神经网络权重，把 Qwen 数学成绩从 7.9% 拉到 48.1%

过去我们让模型变强，路径基本固定：加数据、加算力、调超参，然后交给 Adam 或 Muon 这类优化器去磨。现在有一篇实验记录提出了另一种可能：让前沿大模型直接“读懂”神经网络的权重，然后像改代码一样，把权重改对。作者把这件事叫作 Weight-Space Programming（权重空间编程）。

一分钟速览

• 实验显示，前沿模型可以仅凭原始权重判断一个网络是为什么任务训练的，置信度达到 99%。
• 在不提供环境反馈的情况下，模型能从零写出小型游戏策略网络，表现超过用 PPO 训练一亿步的网络。
• 对 Qwen3.5-0.8B，模型定位导致推理循环的权重，修改 0.016% 的参数，MATH-500 从 7.9% 提升到 48.1%。
• 整个过程不允许模型编写训练循环，它靠推理判断每一部分权重“应该算什么”。

三个实验，一个共同点

第一个实验是“读”。给模型一份 17253 个权重的网络，不提供任何工具，问它这个网络是玩哪个游戏的。模型给出的答案是 Breakout，置信度 99%。对人类来说，这几乎不可能；对传统算法来说，也没有现成方法。

第二个实验是“写”。让模型从零构造一个小型游戏策略网络，不给环境反馈、不做强化学习。结果这个网络的表现超过了用 PPO 训练一亿步的版本。另一个例子更直观：一个训练好的策略始终无法让赛车越过障碍带，模型一次性修改 3.5% 的权重，成功率从 0% 变成 100%。

第三个实验是“修”。目标是 Qwen3.5-0.8B 的数学能力。模型在权重里找到了导致推理循环的问题——Qwen 自己的模型卡也提示过这个风险——然后原生编辑了 0.016% 的权重。在相同采样设置下，MATH-500 从 7.9% 升到 48.1%，并且开箱泛化到指令遵循，IFEval 提升约三倍。

它到底在做什么

关键限制是：不允许模型写训练循环。也就是说，它不是偷偷跑了一遍梯度下降，而是靠推理去理解“这一层在算什么、应该算什么”，再直接改数值。这更接近程序员读汇编、定位 bug、打补丁的过程，而不是调参。

这也解释了为什么结果让人意外。深度学习的传统做法，是把人类的归纳偏置压缩进一个很小的符号优化器里，让它机械地更新权重。权重空间编程的设想是：优化器本身也可以是一个会推理的模型，它能理解权重的语义，而不只是跟随梯度。

对 interpretability 的意义

如果模型能读出权重对应的行为，可解释性就有了一个新的切入口。过去我们靠探针、注意力可视化、稀疏自编码器去猜内部表征；现在可以直接问：“这段权重在做什么？”答案未必百分百可靠，但至少提供了一种可验证的假设生成方式。

对模型维护来说，这也意味着“模型手术”可能变得廉价。过去要修一个能力缺陷，得重新收集数据、再训练一轮；如果能在权重层面定点修改，成本会低一个数量级。对开源模型社区，这尤其有吸引力：没有算力，也可以做精细调整。

风险同样直接

能读写的另一面，是能破坏。直接编辑权重可以绕过微调阶段的安全对齐，也可能植入难以检测的行为偏移。更麻烦的是可审计性：传统微调至少留下数据记录，权重编辑却可能只留下一串数字变化，外部很难判断改了什么、为什么改。

还有能力评估的问题。如果模型能在没有环境反馈的情况下写出超过 PPO 的策略网络，那么“训练”和“推理”的边界会变得模糊。监管框架里按“训练算力”划分门槛的做法，可能需要重新考虑。

趋势洞察

这项实验目前还是研究记录，不是可复现的产品能力，样本也集中在很小的网络上。但它指出的方向值得重视：模型不再只是被优化的对象，也开始成为优化器。接下来要观察三件事——这套方法能否扩展到十亿级以上的网络，权重编辑能否被检测和审计，以及它会不会成为开源模型“低算力改进”的标准工具。如果答案都是肯定的，深度学习的工作流会被改写一大半。