1.09亿参数打赢720亿:LeCun新论文给「唯规模论」出了一道证明题
过去几年,AI 行业最省事的判断标准就是参数量:越大越强,越大越贵,越大越值得投。10 月 29…
文章目录
过去几年,AI 行业最省事的判断标准就是参数量:越大越强,越大越贵,越大越值得投。10 月 29 日,66 岁的 Yann LeCun 和布朗大学助理教授 Randall Balestriero 抛出一篇 37 页的论文,把这个标准撬开了一道缝。
论文标题很长:《Proving and Improving the Platonic Representation Hypothesis with JEPAs》。结论可以用一句话概括:在特定条件下,不同模态的模型即便各自独立训练,也能学到可以相互对齐的世界表征;而做到这一点,未必需要千亿参数。
一分钟速览
- LeCun 与 Balestriero 发表 37 页论文,为「柏拉图表征假说」补上数学证明。
- 1.09 亿参数的文本 JEPA,在跨模态表征对齐指标上以 0.184 超过 Qwen2.5-72B 的 0.154。
- 参数相差约 660 倍;另一组实验里样本效率提升约 42 倍(按 token 计约 14 倍)。
- 论文比的是「表征对齐」,不是数学、代码或知识问答能力,边界必须说清楚。
- 研究可落到应用:线性变换接上视觉编码器后,COCO 图像描述 CIDEr 达 0.838。
它到底证明了什么
起点是 2024 年 ICML 上的一篇假说:随着模型变强,图像模型和语言模型内部的表征结构会越来越像。猫趴在沙发上,可以用像素描述,也可以用文字描述;形式完全不同,指向的现实对象却是同一个。如果模型真的学到了背后的共享结构,它们的内部表示就应该趋同。
原论文只是「观察到」这种趋同,没有证明它一定发生,也没说哪种训练方法能更高效地实现。LeCun 这篇往前走了一步:把不同模态视为对同一个潜在世界状态的观察,建立一个数学框架,推导在什么条件下模型能学到只差一个旋转变换的表征空间。
关键变量是正样本对怎么构造。作者区分了「Good Views」和「Bad Views」:同一场景的两张照片、两段描述同一场景的文字,指向同一个现实状态,是 Good Views;而同一段文本的前缀与后续、对同一输入做遮挡得到的片段,容易让模型把容量花在单模态的细节上,属于 Bad Views。用 Good Views 训练,跨模态表征更容易对齐。
660 倍与 42 倍,怎么读
实验里,1.09 亿参数的文本 JEPA 在跨模态对齐指标上拿到 0.184,高于 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。参数差约 660 倍。
另一组实验更实用:在相同语料与比较设置下,Good Views 方案用约 2160 万个样本,就达到了下一 token 预测用 9 亿个样本才能获得的表征对齐水平。按样本算约 42 倍,按实际读取的文本 token 算约 14 倍。也就是说,让模型学「什么样的信息关系」比让它「读更多字」更划算。
必须讲清楚的边界
「1.09 亿打败 720 亿」这句话传播力很强,但它有严格前提:比较的是跨模态表征对齐指标,不是综合能力。JEPA 不会因此就会写代码、做数学题、答知识问答。把它理解成「小模型全面超越大模型」,是误读。
LeCun 自己在 X 上的回应反而很克制:大语言模型之所以能回答那么多问题,是因为训练中积累了海量陈述性知识;这也是它们需要那么多参数、占那么多内存的原因。他没有说大模型没用,他说的是「只靠预测下一个 token,不足以构建理解物理世界的智能」。
66 岁再出发
LeCun 1960 年出生,卷积神经网络先驱,2018 年图灵奖得主,在 Meta 工作约 12 年,一手创立 FAIR。2025 年 11 月他公开宣布准备离开 Meta 创业,推进 AMI(Advanced Machine Intelligence)计划;2026 年 3 月,AMI Labs 完成约 10 亿美元融资,方向就是世界模型。
所以这篇论文不只是一次学术发声,也是一家新公司的技术宣言:在资本和算力都在向更大模型集中的时候,他押的是另一条路——通过观察环境学习抽象结构,而不是把互联网文本背下来。
趋势洞察
2026 年的模型竞赛已经出现分层:一层继续堆参数、堆算力、堆上下文,比的是谁能把更多知识塞进权重;另一层开始比「单位算力换来多少世界理解」,JEPA、世界模型、具身仿真都属于后者。LeCun 的论文不会立刻改变产品格局,但它给了小团队一个正当理由:不必等到有万卡集群才能做研究。
真正需要跟踪的是复现。表征对齐指标能否在更多模态上稳定复现、Good Views 的构造能否工程化、这套方法在视频与机器人数据上是否同样有效——这三点决定它是「一篇漂亮的理论文章」,还是「下一代训练范式的起点」。
本文地址:https://www.163264.com/18853
