智驾快撑不住时怎么提醒人接管?索尼用视觉语言模型做了三级预警,还顺手解决坐车看视频头晕
索尼在进博会全球首发基于视觉语言模型的驾驶接管危险预警,按接近边界、超出范围、高风险三档提示驾驶…
文章目录
智能驾驶最容易被忽略的时刻,不是系统正常工作的那一段,而是它快要撑不住、需要人接手的那几秒。提示早了,驾驶员会烦;提示晚了,人来不及反应。11 月 5 日,索尼中国在第九届进博会上全球首发”基于视觉语言模型的驾驶接管危险预警”技术,想解决的正是这个交接问题。同一天发布的还有”融合双路视觉信息的车载乘客眩晕检测”,两件事看似不相关,指向的却是同一个命题:车里的 AI 要怎么和人相处。


一分钟速览
- 用视觉语言模型(VLM)分析车辆前方道路画面,判断路况是否接近或超出智能驾驶系统的设计运行范围(ODD)。
- 接管提示分三级:接近边界时提醒准备接管;超出范围但不紧急时引导主动接管;遇到突发障碍或感知失效等高风险情况时提示紧急接管。
- 训练数据来自数字孪生仿真环境,覆盖日间、夜间、大雨和高速行驶等工况。
- 目前已与清华汽车工程学院在苏州市相城区开展实际道路测试,可向车企和智驾方案商提供接管时机判断与人机交互设计支持。
为什么用 VLM,而不是再加一个规则表
传统做法是给 ODD 写规则:雨量超过多少、能见度低于多少、道路类型不属于白名单,就退出。但真实道路的边界往往是模糊的——一段没有标线的施工路段、被大车遮挡的匝道口、突然出现的异形障碍,规则表很难穷举,而人一眼就能看出”这里不太对”。
VLM 的价值就在这种”看懂场景”的能力上。它把前方画面当成一张图来理解,判断的是整体情境与系统能力之间的差距,而不是逐条匹配条件。三档提示的设计也很讲究:不是简单的”能开/不能开”二元判断,而是把风险程度和紧迫性分开——接近边界时给驾驶员留出准备时间,真正超出范围但暂时不危险时引导主动接管,只有突发障碍或感知失效才用紧急提示。分级的意义在于避免”狼来了”:如果每次提示都是最高级别,驾驶员很快就会麻木。
训练方式也值得一提。团队用数字孪生仿真生成日间、夜间、大雨、高速等工况数据,好处是能覆盖真实路采里很难批量获得的极端场景;风险则是仿真与现实的差距,所以最终还要靠实际道路测试校准。与清华汽车工程学院在苏州相城区的路测,就是这一步。
另一件事:晕车可以被”算”出来
索尼在第八届进博会上展示过车载娱乐体验,把”灵感之窗”、车载音频和 PS5 游戏搬进车里。观众的反馈很一致:行驶中看屏幕容易晕。于是今年索尼中国研究院做了车载乘客眩晕检测方案,并与北京交通大学合作。
方案的思路是同时看两路视频:一路是车前道路画面,反映加减速、转弯和颠簸;另一路是后排屏幕正在播放的内容,识别整体运动、旋转、闪烁等容易引发眩晕的视觉因素。基于公开医学数据训练的 AI 模型综合两路信息,预测乘客可能出现的眩晕程度,也能结合个人敏感度做评估。
评估结果有两个用途:提示驾驶员减少急刹、急转;也可以给内容平台做参考,在特定路况下推荐视觉变化更缓和的内容。工程上最聪明的一点是复用车辆原有的 ADAS 前视摄像头,不需要新增后排摄像头,成本几乎为零,相关技术已申请专利。
趋势:从”功能演示”到”交接设计”
这两项技术放在一起看,能看出智能汽车竞争的一个转向。前几年大家比的是接管里程、比的是城市 NOA 开城数量;现在系统能力接近瓶颈,体验的差距开始出现在”边界处”——系统什么时候该退、怎么退、退之前怎么告诉人。这是一个典型的人机交互问题,而不是纯粹的模型能力问题。
对车企来说,这类技术的价值在于可复用:VLM 的接管判断可以接到已有的提示系统上,眩晕检测可以直接跑在现有摄像头数据上。对索尼这样的供应商来说,卖的不是一颗芯片,而是一套”感知 + 判断 + 提示”的方法论。当智驾进入普及期,能把交接做平顺的厂商,才真正留得住用户。
本文地址:https://www.163264.com/19884


