日均 175 万亿词元:AI 推理数据量首次超过训练数据,产业从「造模型」转向「用模型」
过去几年,衡量一家公司 AI 实力最常用的指标是「训练了多少参数」。10 月 31 日发布的一份…
文章目录
过去几年,衡量一家公司 AI 实力最常用的指标是「训练了多少参数」。10 月 31 日发布的一份产业趋势报告,给出了另一个观察角度:真正跑起来的推理量,已经超过了训练量。
一分钟速览
- 中国电子信息产业发展研究院(赛迪研究院)在《新域新质创新发展十大趋势》中披露,人工智能推理数据量首次超过训练数据量。
- 截至 2026 年 6 月,日均词元调用量超过 175 万亿,相比 2024 年年初增长 1000 多倍。
- 顶尖大模型的迭代周期从过去的几个月压缩到几周甚至几天。
- 已累计建成 500 多家卓越级智能工厂,覆盖 31 个省区市、超过 80% 的制造业行业大类;国产算力与大模型在钢铁、汽车等 20 个行业落地 1000 多个应用场景。
这个交叉点意味着什么
训练和推理是 AI 的两笔账。训练是一次性的重投入:买卡、建集群、跑几周,产出是一个模型。推理是持续性的轻投入:每一次对话、每一次识别、每一次生成,都要消耗算力。训练量代表「造模型」的强度,推理量代表「用模型」的广度。
推理数据量超过训练数据量,说明重心已经从实验室转向生产线。这个判断并不新鲜,但这次有了一个可量化的坐标:日均 175 万亿词元。作为参照,2024 年年初这个数字还小两个数量级——两年多的时间,增长了一千倍以上。
增长的动力来自两端。一端是模型能力上来了,能干的活变多;另一端是调用成本下来了,同样的预算能跑更多的请求。两者叠加,才出现了这种斜率。
迭代周期被压缩到「周」
报告里另一个值得注意的数字是迭代周期。顶尖模型的版本更新,从过去的几个月,压缩到几周甚至几天。这背后是训练流程的工业化:数据管线、评测体系、蒸馏与对齐都变成了可复用的流水线,一次迭代的边际成本大幅下降。
但迭代快也带来新问题。版本更新太频繁,企业客户很难做长期规划;每一次升级都可能改变模型行为,原本调好的提示词和评测基线要重新跑一遍。对做产品的团队来说,「跟着模型版本跑」正在变成一项固定成本。
落地场景的分布
报告给出的落地图景是:500 多家卓越级智能工厂,覆盖 31 个省区市和超过 80% 的制造业行业大类;国产算力与大模型在钢铁、汽车等 20 个行业落地 1000 多个应用场景,推动个性化定制、全生命周期服务等新模式。
这个分布说明 AI 的落地并不均匀。制造业是主战场,原因很实际:流程标准化、数据可采集、效果可量化。钢铁行业的配料优化、汽车行业的质检和排产,都是「算得出来就能省钱」的场景,投入产出比容易算清楚。
相比之下,金融、医疗、法律这些知识密集型行业,落地速度受制于合规与责任划分。模型给错建议谁负责、数据能不能出域、审计留痕怎么做,这些问题不解决,推理量上不去。
推理时代的三个瓶颈
第一个是成本结构。训练是资本开支,推理是运营开支。当推理量涨一千倍,账单结构会彻底改变:从「买一次卡」变成「每个月交电费和算力费」。这也是为什么过去一年,行业里讨论最多的话题从「谁的模型强」变成了「谁的推理便宜」。
第二个是延迟。训练可以慢慢跑,推理必须实时。用户等三秒和等三百毫秒,体验完全不同。这推动了小模型、蒸馏、投机解码、边缘推理这一整套技术的繁荣。
第三个是能耗与散热。推理是 7×24 小时持续负载,对电力和冷却的要求比训练更刚性。数据中心的选址、供电、水冷方案,正在从工程问题变成商业问题。
趋势洞察
从「造模型」到「用模型」,改变的不只是算力账单,还有竞争格局。训练阶段的壁垒是资本和人才,赢家通吃;推理阶段的壁垒是成本、延迟和场景理解,市场会分层——头部模型做通用能力,中小模型在垂直场景里靠性价比活下去。
对普通用户来说,这个转折最直观的体现是:AI 不再是一个需要专门去「用一下」的产品,而是被塞进了搜索、办公、客服、质检这些日常流程里。当调用量增长到日均 175 万亿词元,它已经很难被称作「新技术」了,更像是水电一样的基础设施——而这,恰恰是产业真正开始的时候。
本文地址:https://www.163264.com/18819
