Google 在 Gemini Live 推出 Guided Vision 功能
Google 在 Gemini Live 中推出 Guided Vision 功能,利用 AI 为 Android 用户提供实时音频描述,辅助阅读小字及识别物体。该功能同时集成于 Google TalkBack,并支持在 Android 9 及以上设备通过设置启用。此前该功能已在近期的 Pixel 更新中宣布。
Google 在 Gemini Live 中推出 Guided Vision 功能,利用 AI 为 Android 用户提供实时音频描述,辅助阅读小字及识别物体。该功能同时集成于 Google TalkBack,并支持在 Android 9 及以上设备通过设置启用。此前该功能已在近期的 Pixel 更新中宣布。
Tavus 的 Griffin 模型在1分钟视频通话中让48%参与者误认为真人,此前系统最高仅2%。在 Tavus 所述的 Nvidia 独立音频视频对话拟人测试中 Griffin 获3.83分接近人类3.92分,预览版 Griffin-Lite 已开放给选定测试者。Tavus 成立于2020年,从营销视频扩展至实时对话。
Airbnb CEO Brian Chesky 在访谈中表示,行业缺乏为 AI 构建的真正操作系统,消费级 AI 尚未突破。他提到 Airbnb 本周推出 AI 搜索,未来三到六个月探索多玩家 AI,今秋上线语音智能体,并计划让应用更 agentic 以支持 MCP 互操作。
AI 语音初创公司 ElevenLabs 宣布允许员工在 220 亿美元估值下出售部分已归属股权,估值较今年 2 月融资时的 110 亿美元翻倍。此次 3 亿美元的要约收购由 Wellington 和 T. Rowe Price 共同主导,旨在通过员工流动性机制留住人才。
Hugging Face 发布 Open TTS Leaderboard,旨在解决开源 TTS 模型评测碎片化及竞技场模式难以覆盖长尾模型的问题。该基准使用 Qwen3 ASR 计算 WER/CER 评估可懂度,结合 H200 GPU 上的 RTFx 和 TTFA 衡量速度,并通过 WavLM 嵌入计算说话人相似度。
AWS 发布教程,演示如何用 vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS,通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出,并配 Gradio 应用试用。
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 现已上线 Amazon SageMaker JumpStart,可部署到全托管实时推理端点,仅需几秒参考音频和对应文本即可克隆音色,无需重新训练。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。
推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。
Meta 在 Connect 2026 上把 Muse 个人智能体作为硬件加智能体战略的核心,发布语音与实时视频能力、多款眼镜硬件,并预告但未发布新的前沿模型。
Google 发布两款新的 Gemini 文本转语音模型 gemini-3.8-flash-tts 和 gemini-3.8-flash-lite-tts,提供超过 2000 种声音,并可用 30 秒音频样本创建自定义声音。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,支持通过自然语言提示创建自定义角色声音并逐行指导场景对话。
推荐理由:原文展示了从静态预设到动态创意工作室的转变,提供了多语言角色定制与场景对话控制的具体能力。
Ringg 基于 GPT-5.6 打造的多语言 AI 智能体可解决最多 65% 的客户来电,覆盖语音、聊天、WhatsApp 和网页渠道。相比 GPT-4.1,其成本降低 90%。
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking,旨在提升实时语音对话的智能与并行推理能力。
推荐理由:原文给出了两款实时语音模型在推理与工具调用上的具体基准表现,读者可据此评估其在生产级语音智能体中的适用性。
OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色和电话(telephony)接入。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可直接把原始音频转成准确、格式化文本。据 Artificial Analysis 测量,流式场景平均 WER 为 4.0%,非流式为 2.6%,最终转写时间较前代 Chirp 3 改善 70%;模型支持 85 种以上语言自动检测、自定义词汇和最多三位说话人区分。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并列出两套 API 与产品落地入口,便于判断语音转写能力边界。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。
推荐理由:通过三项探针量化 ASR 模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。
推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言质量。
推荐理由:原文给出 364M 开源权重模型的多语言扩展与自部署延迟数据,可据此评估自建语音链路的成本与可行性。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并已在 Google Flow Music 上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升:旋律结构更丰富自然,歌词质量与提示词遵循度、结构感知更好,人声表达与情感更细腻且发音改善,同时可更便捷地控制输出节奏与时长。
推荐理由:官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进方向,可据此判断音乐生成能力的变化。
Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有与开源语音模型、15 个以上评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:Hume 用百万级人工评分构建语音评测基准,揭示现有基准高估真实表现的盲区。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 的推理,以降低语音对话的响应延迟。
推荐理由:原文给出可替换的语音到语音流水线与推理加速组合,读者可据此评估实时语音助手的搭建路径。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话者的语调、节奏和音高。
推荐理由:原文给出 70+ 语言、连续生成语音和几秒延迟等关键指标,读者可据此判断实时语音翻译的可用边界。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 个案例零关键错误,医生更偏好其回答而非主流证据综合工具;在 140 项问诊技能评估中,AI 在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体更优。
推荐理由:DeepMind 公开 AI co-clinician 研究计划,给出医生盲评与实时多模态模拟的对比数据,可了解医疗智能体当前能力边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS,称其在可控性、表现力和质量上均有提升,在 Artificial Analysis TTS 榜单上取得 1211 Elo 分数。
推荐理由:官方给出 Elo 1211 与音频标签控制方式,可据此判断语音生成在可控性上的进展。
Mistral AI 发布首款文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言,具备情感表达与零样本跨语言音色适配能力。
推荐理由:Mistral 首款 TTS 模型给出参数量、延迟与定价,并公开与 ElevenLabs 的对比评测,便于判断企业语音栈的选型空间。
Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文本模型。
推荐理由:官方给出两款语音转写模型的延迟、错误率与价格对比,可据此判断实时语音应用的落地成本。
Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由:官方一次性放出深度研究、语音、推理与图像编辑多项能力,可据此判断 Le Chat 的助手定位走向。
Mistral 发布 Voxtral 语音理解模型,提供 24B 生产级和 3B 本地与端侧两个版本,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测以及从语音直接触发函数调用等能力。
推荐理由:Mistral 开源语音理解模型,给出两种尺寸、32k 上下文与 API 定价,可据此判断开源语音方案的落地成本。