IT之家
9 月 23 日消息,谷歌今日宣布,Gemini 家族新增两款全新文本转语音模型,将语音生成
从静态预设转变为动态创意工作室
,能够帮助创作者、开发者和企业打造更丰富、更具表现力的音频体验,同时为 Gemini Notebook 和 Google Vids 等产品改进用户体验。
两款新模型分别为
Gemini 3.8 Flash TTS
和
Gemini 3.8 Flash-Lite TTS
,定位各有不同:
Gemini 3.8 Flash TTS
:面向深度创意方向和角色设计,可通过自然语言提示从头创建全新语音,在游戏、沉浸式有声读物、播客和互动媒体中赋予角色生命力,还可对表演提示、节奏、方言转换等进行精细控制。
Gemini 3.8 Flash-Lite TTS
:面向大容量、高性价比规模场景,针对大容量配音、音频内容创作和富有表现力的语音代理进行了优化,可对音调、节奏和表现力细微差别进行精细控制。
据IT之家了解,用户可以
从原有 30 种原始语音扩展到无限语音库
。该模型的具体功能包括:
生成式语音设计:可通过自然语言提示,在 100 多种语言和方言中自定义角色、口音和语音特征,从头创建定制语音。
扩展语音库:可访问 2000 多种现成语音,覆盖广泛语言,包括墨西哥西班牙语、魁北克法语、苏格兰英语等区域变体。
语音复制:仅需 30 秒音频样本即可重现一致的声音特征,并内置同意验证、SynthID 水印和 C2PA 凭据,保护开发者和声音人才。
保存与扩展:可保存和管理自定义语音,确保在持续项目中保持一致性能,最小化漂移。
语音混音:即将推出,用户可从语音库中选择一种语音,对音色、音高、节奏和口音进行微调,还可使用提示调整特征。
选好声音后,两款 TTS 模型都能让
用户精确控制每一行台词的演绎方式
:
逐行指导表演:
用户可以编写自己的舞台指导,或让 Gemini 通过自然脚本提示引导交付,无论是平静的客服还是低声的悬疑场景,都能实现。
长篇生成:
在数小时的连续音频中保持高语音质量、自然节奏和角色音色,扬声器漂移极小,非常适合播客和有声读物。
原生双声音场景编排:
可从单个脚本中无缝指导多轮对话,同时保持两种声音清晰分离,实现自然的对话轮换。
脚本化声音爆发和背景反馈:
可添加非语言提示(如 <laughs>、<sigh>、<gasp>)和主动倾听插入语(如 mhm 或 yeah),实现精确的喜剧时机和反应节奏,增添逼真的对话质感。
性能方面,
Gemini 3.8 Flash TTS
在 Hume AI 的语音设计基准测试中(71.4 分)位居总体第一,在口音建模方面(60.8 分)也处于领先地位。
Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS
能够在不牺牲可靠性的情况下实现真正富有表现力的性能
,在 Hume AI 的整体质量指数中分别占据第一和第二的位置,与 Gemini 3.1 Flash TTS 相比,在长格式内容和双扬声器剧本控制等广泛用例中都有重大改进。
在 Voice Arena 的盲法人类偏好评估中,Gemini 3.8 Flash 和 Flash-Lite TTS 在全球主要语言(日语、巴西葡萄牙语、越南语、现代标准阿拉伯语、墨西哥西班牙语和印地语)竞争对手中占据领先地位。凭借对 100 多种语言的支持,这些模型能够帮助创作者、开发者和企业在全球范围内打造高质量的多语言语音体验。
谷歌在语音创建和复制功能中内置了严格的保护措施,以帮助保护语音人才、尊重身份并确保内容透明度。对于语音复制,系统会利用同意验证:
用户必须提供来自语音所有者的口头同意记录,与参考说话者匹配后才能创建语音
。
Gemini Audio 模型生成的每个音频片段
都带有 SynthID 水印
且难以察觉,并被直接编织到音频输出中,确保可以检测到 AI 生成的语音,帮助防止错误信息。
即日起,开发者就可以在 Google AI Studio 中体验这些新的语音生成功能。用户可以通过提示从头开始创建全新的声音身份,或者复制自己的声音,然后将它们直接带入双扬声器剧本编辑器,逐行指导交付。
两款模型均已向开发者推送,可在 Gemini API 和 Google AI Studio 中使用;面向企业用户,很快将通过 Gemini Enterprise 中的 API 推出;面向所有用户,Gemini 3.8 Flash TTS 可在 Gemini Notebook 中使用,Gemini 3.8 Flash-Lite TTS 可在 Google Vids 中使用。
需要注意的是,通过 AI Studio 进行的语音复制在伊利诺伊州、德克萨斯州…
来源:IT之家AI频道 | 原文链接:https://www.ithome.com/1/006/509.htm
本文地址:https://www.163264.com/15524


微信扫一扫,鼓励一下~