跳到文章正文
大模型 编辑推荐

20GB 装进笔记本:Inkling 2 Mini 用“循环三层”换推理深度

Thinking Machines 发布的 Inkling 2 Mini 只有 264 亿总参数…

“小到能跑在笔记本上”,这句话这几年被说过很多次,但真正做到“跑得动”和“跑得好”同时成立的模型并不多。Thinking Machines 发布的 Inkling 2 Mini 想做的是后者:264 亿总参数、34 亿激活,权重文件约 20GB,却在中层做了三遍循环。

Inkling 2 Mini 发布页封面
Inkling 2 Mini 发布页封面

一分钟速览

  • 采用循环 Transformer 架构,每个 token 的中间层会重复运行三次
  • MoE 结构:264 亿总参数、34 亿激活,算上循环后每个 token 约 54 亿权重激活
  • 大部分权重以 NVFP4 训练和部署,最后四层用 MXFP8,整体内存占用约 20GB
  • DeepSWE v1.1 得分 48.2%、Vals Index v2.2 得分 46.5%,在 100B 以下开源模型中领先
  • 已开放权重,并在 Tinker 上提供推理与定制

循环带来的不是知识,是思考时间

循环架构的思路并不复杂:让同一组中间层在处理一个 token 时多跑几遍,模型就有更多“内部计算”的机会,而不用把每一步推理都写成文字。对智能体编程这类任务,这很关键——答案对不对,往往取决于模型在给出代码前想得够不够深。

Thinking Machines 给出的数据是,在控制链式思维(CoT)长度的条件下,循环三次让模型的“无 CoT 时间跨度”从 16 秒提升到 37 秒;在串行推理基准上,性能一直提升到十次循环,是训练时循环次数的两倍。同时 CoT 变得更短,但始终可读。

这一点被团队当作可监控性的证据:模型想得更多,却不需要把思考过程藏起来。他们还测了智能体破坏性行为的相关指标,随着循环次数增加,没有出现上升趋势。

知识的账,循环补不上

团队自己划了边界:循环提升的是推理,不是记忆。模型的 factual 知识主要由总参数量决定,Inkling 2 Mini 在 AA-Omniscience 这类事实性基准上的得分,和同尺寸模型差不多。

补这个短板靠的是工具。它在 BrowseComp、DeepSearchQA、MCP Atlas 这些需要搜索和工具调用的基准上,领先同尺寸开源模型;在长上下文任务上,更多循环次数也能带来提升。换句话说,它更像一个“会查资料的熟练工”,而不是“什么都记得的百科全书”。

能装进笔记本意味着什么

官方演示里,研究人员把模型带上飞机,在飞行模式下用一台 48GB 内存的 MacBook Pro 跑它,几分钟内搭出一个能玩的飞行模拟器。这个演示的重点不是游戏,而是“离线、本地、可交互”——没有网络,没有 API 账单,模型在本地完成从理解需求到写出可运行代码的全过程。

20GB 的占用也意味着它和一批消费级设备兼容。对开发者来说,本地模型的价值在于隐私和延迟:代码不出机器,改一行看一行,不用等请求往返。对做端侧产品的团队来说,这是一个可以认真评估的基座。

榜单之外

Inkling 2 Mini 在 SWE-bench Verified 上报告 79.2%、SWE-bench Pro v2 Hard 77.9%、Terminal Bench v2.1 71.6%。这些数字放在百亿级开源模型里确实扎眼,但评测环境各不相同,报告里也注明“评估设置因模型而异”。

真正值得关注的是架构方向:用循环换推理深度,用低精度量化换内存占用,用工具调用补知识短板。这条路线如果被更多团队验证,未来“小模型”的定义可能会变——不是参数更少,而是单位内存能榨出多少有效推理。

本文地址:https://www.163264.com/22295