在微软干了 14 年的 AI 科学家走了：好想法没人认真考虑

在微软工作了 14 年多的 AI 科学家约翰·兰福德离职了。他是微软 AI Frontiers 实验室的联合创始人，给出的理由很直接：研究成果看不到实际应用的路径，创新想法甚至很难被认真考虑。

兰福德是机器学习领域资历很深的研究者，长期做机器学习和学习理论，最出名的工作是推动了上下文多臂老虎机方向，在探索算法、学习问题归约和离线策略评估上都有代表性成果。

他所在的约 50 人团队今年 9 月被并入苏莱曼领导的 Microsoft AI 部门。但在研究路线、创新怎么落地、团队怎么重组这几件事上，双方分歧比较大，兰福德最终选择离开。

他不否认扩大模型规模能改善预测效果，对企业来说这条路回报也更好预期。他反对的是把扩大规模当成唯一核心——那会让工作重心过度压在数据上，挤掉探索新方法的空间。

争议焦点之一，是他今年 8 月发布的“全带宽 Transformer”研究：模型生成下一个词元时，不只利用此前输出的词元，还会重新利用内部中间状态，减少信息浪费。实验里，10 亿参数的模型用更少的训练数据，就能接近常规模型用约 1.5 倍数据训练的效果，而每个词元的额外算力开销很小。字节跳动 Seed 团队 10 月发布的 Recycler 研究，思路与之类似。