Microsoft AI 发布用于语音智能体的新转录与文本转语音模型
Microsoft AI 发布 MAI-Transcribe-2-Streaming 实时转录模型与 MAI-Voice-2.1 等文本转语音模型,面向语音智能体。
Microsoft AI 发布 MAI-Transcribe-2-Streaming 实时转录模型与 MAI-Voice-2.1 等文本转语音模型,面向语音智能体。
AI 音乐工具 Suno 在网页端和移动端公测 Speech 功能,可根据脚本或提示描述生成语音,并同时生成配乐,单次最长约八分钟。功能分 Simple 和 Advanced 两种模式,Advanced 可自定义脚本并调整音色性别、说话风格和每次生成的多样性,背景音乐可用开关关闭。
Google 在 Gemini Live 中推出 Guided Vision 功能,利用 AI 为 Android 用户提供实时音频描述,辅助阅读小字及识别物体。该功能同时集成于 Google TalkBack,并支持在 Android 9 及以上设备通过设置启用。此前该功能已在近期的 Pixel 更新中宣布。
Tavus 的 Griffin 模型在1分钟视频通话中让48%参与者误认为真人,此前系统最高仅2%。在 Tavus 所述的 Nvidia 独立音频视频对话拟人测试中 Griffin 获3.83分接近人类3.92分,预览版 Griffin-Lite 已开放给选定测试者。Tavus 成立于2020年,从营销视频扩展至实时对话。
Airbnb CEO Brian Chesky 在访谈中表示,行业缺乏为 AI 构建的真正操作系统,消费级 AI 尚未突破。他提到 Airbnb 本周推出 AI 搜索,未来三到六个月探索多玩家 AI,今秋上线语音智能体,并计划让应用更 agentic 以支持 MCP 互操作。
AI 语音初创公司 ElevenLabs 宣布允许员工在 220 亿美元估值下出售部分已归属股权,估值较今年 2 月融资时的 110 亿美元翻倍。此次 3 亿美元的要约收购由 Wellington 和 T. Rowe Price 共同主导,旨在通过员工流动性机制留住人才。
Hugging Face 发布 Open TTS Leaderboard,旨在解决开源 TTS 模型评测碎片化及竞技场模式难以覆盖长尾模型的问题。该基准使用 Qwen3 ASR 计算 WER/CER 评估可懂度,结合 H200 GPU 上的 RTFx 和 TTFA 衡量速度,并通过 WavLM 嵌入计算说话人相似度。
ElevenLabs 发布 Eleven v4 和 Eleven v4 Turbo 语音模型,分别面向高质量音频与实时语音代理。Eleven v4 支持超过90种语言、情绪标签与最长10000字符生成,Turbo 中位推理延迟约100ms、首语音延迟150ms,对比中优于 Cartesia Sonic 3.6 与 OpenAI GPT-4o mini TTS。
AWS 发布教程,演示如何用 vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS,通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出,并配 Gradio 应用试用。
Meta 正在为 Muse 准备屏幕查看与网页语音通话功能。屏幕查看功能允许用户在 Muse 执行任务时通过专用标签页实时观看其虚拟电脑屏幕,以便更轻松地跟踪长时计算机使用任务。此前 Meta 已在 Connect 2026 上正式发布了 Muse Voice Mode,并推出了 Muse Realtime Avatar 技术。
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 现已上线 Amazon SageMaker JumpStart,可部署到全托管实时推理端点,仅需几秒参考音频和对应文本即可克隆音色,无需重新训练。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。
推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。
Google 更新 Gemini 桌面应用,将 Computer Use 功能纳入 Task 模式测试,并新增从文件夹启动项目的选项。该模式集成 Gemini Live 入口,结合 9 月 15 日发布的 Gemini 3.8 Live 模型,支持通过实时语音异步执行任务。此前该 Windows 应用仅于本月早些时候公开上线。
Meta 在 Connect 2026 上把 Muse 个人智能体作为硬件加智能体战略的核心,发布语音与实时视频能力、多款眼镜硬件,并预告但未发布新的前沿模型。
Google 发布两款新的 Gemini 文本转语音模型 gemini-3.8-flash-tts 和 gemini-3.8-flash-lite-tts,提供超过 2000 种声音,并可用 30 秒音频样本创建自定义声音。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,支持通过自然语言提示创建自定义角色声音并逐行指导场景对话。
推荐理由:原文展示了从静态预设到动态创意工作室的转变,提供了多语言角色定制与场景对话控制的具体能力。
Ringg 基于 GPT-5.6 打造的多语言 AI 智能体可解决最多 65% 的客户来电,覆盖语音、聊天、WhatsApp 和网页渠道。相比 GPT-4.1,其成本降低 90%。
Meta 开发者平台出现 Video Playground、Voice Playground 和 Connectors 三个未发布板块,暗示将在 Meta Connect 上开放 Muse Video 等模型的 API 访问。
SpaceXAI 发布 Grok Voice Transcribe 2.0 语音转文本模型,准确率较 1.0 翻倍且价格不变。该模型支持数十种语言自动检测、实时流与批量转写,提供词级时间戳和免费说话人分离,现有 API 集成无需代码更改即可更新,而版本 1.0 将在未来几周弃用。
Gemini Notebook 新增实时语音对话、移动录音与交互式学习报告等功能,主要面向学生。移动端将支持近100种语言语音问答,录音与手写笔记同源管理;交互报告可生成测验与80多种语言的短视频概述。此前该笔记本已支持图片笔记,此次更新扩展了学习场景。
Google 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款多模态实时模型,面向生产级语音智能体,并在语音到语音评分中位列第一。
Google 推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款语音模型,面向近实时对话与任务执行。
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking,旨在提升实时语音对话的智能与并行推理能力。
推荐理由:原文给出了两款实时语音模型在推理与工具调用上的具体基准表现,读者可据此评估其在生产级语音智能体中的适用性。
ElevenLabs 把托管 MCP server 扩展到 ElevenCreative,AI 助手现在可以在对话中直接生成语音、音乐、音效、图像和视频。Claude、ChatGPT 和 Cursor 通过同一个连接器接入,一次登录即可调用 50 多个模型,安装改用 OAuth 而非 API key。
OpenAI 在 API 中发布 GPT-Live-1 全双工语音模型,可同时听说并处理中断与确认。该模型在 Full Duplex Bench 上比 GPT-Realtime-2.1 高30百分点,API 定价每分钟 $0.05。早期用户包括 Yelp Host、Speak 与 Cognition 的 Devin,适用于电话与客服工作流。
推荐理由:GPT-Live-1 将 ChatGPT 全双工语音开放至 API,相较级联方案可减少延迟与代码量,便于构建自然语音智能体。
Meta 于 9 月 8 日正式上线个人 AI 智能体 Muse,在美国支持 iOS、Android、网页和 WhatsApp。正在测试但尚未公开的能力包括带语音按钮与多语音选择器的语音模式,支持按需生成自定义语音并直接加入语音库;内部模型配置出现 Avocado 5.14 与 Avocado 5.16 v0 两个代号,后者可能对应即将更新的 Muse Spark。
OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色和电话(telephony)接入。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式。
Inception 发布扩散大模型 Mercury 2.5,生成速度达每秒 1,107 token 并支持 260K token 上下文。相比 Mercury 2 智能提升 40%,具备可调推理与并行工具调用能力,面向搜索语音编码等低延迟场景。该版本基于 Mercury 2 的生产反馈训练,是反馈循环的首个成果。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可直接把原始音频转成准确、格式化文本。据 Artificial Analysis 测量,流式场景平均 WER 为 4.0%,非流式为 2.6%,最终转写时间较前代 Chirp 3 改善 70%;模型支持 85 种以上语言自动检测、自定义词汇和最多三位说话人区分。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并列出两套 API 与产品落地入口,便于判断语音转写能力边界。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。
推荐理由:通过三项探针量化 ASR 模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。
推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言质量。
推荐理由:原文给出 364M 开源权重模型的多语言扩展与自部署延迟数据,可据此评估自建语音链路的成本与可行性。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并已在 Google Flow Music 上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升:旋律结构更丰富自然,歌词质量与提示词遵循度、结构感知更好,人声表达与情感更细腻且发音改善,同时可更便捷地控制输出节奏与时长。
推荐理由:官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进方向,可据此判断音乐生成能力的变化。
Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有与开源语音模型、15 个以上评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:Hume 用百万级人工评分构建语音评测基准,揭示现有基准高估真实表现的盲区。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 的推理,以降低语音对话的响应延迟。
推荐理由:原文给出可替换的语音到语音流水线与推理加速组合,读者可据此评估实时语音助手的搭建路径。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话者的语调、节奏和音高。
推荐理由:原文给出 70+ 语言、连续生成语音和几秒延迟等关键指标,读者可据此判断实时语音翻译的可用边界。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 个案例零关键错误,医生更偏好其回答而非主流证据综合工具;在 140 项问诊技能评估中,AI 在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体更优。
推荐理由:DeepMind 公开 AI co-clinician 研究计划,给出医生盲评与实时多模态模拟的对比数据,可了解医疗智能体当前能力边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS,称其在可控性、表现力和质量上均有提升,在 Artificial Analysis TTS 榜单上取得 1211 Elo 分数。
推荐理由:官方给出 Elo 1211 与音频标签控制方式,可据此判断语音生成在可控性上的进展。
Mistral AI 发布首款文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言,具备情感表达与零样本跨语言音色适配能力。
推荐理由:Mistral 首款 TTS 模型给出参数量、延迟与定价,并公开与 ElevenLabs 的对比评测,便于判断企业语音栈的选型空间。