跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

29 条精选近 30 天 8 条共收录 403 条

更新

语音与音频的精选

今天11月18日周三
  1. Testing Catalog76

    Microsoft 在 Ignite 2026 发布七个 MAI 模型

    Microsoft 在 Ignite 2026 发布七个新的 MAI 模型,覆盖编码、安全、图像生成、语音、转录和模型路由。Microsoft 称 MAI Code 2 在多项编码基准上达到 GPT-6.1 Sol 98% 的质量、约 40% 的价格,MAI Cyber 2 Flash 提供 100 万 token 上下文窗口。

    推荐理由:MAI 新模型覆盖编码、安全、图像和路由并给出多项价格与基准对照,便于判断企业AI落地的成本取舍。

11月13日周五
  1. DeepSeek API 更新日志64

    DeepSeek 开放全套应用 API 支持搜索与文件输入等能力

    DeepSeek 今日开放全套应用 API,开发者启用现有 API 参数即可获得 Web 搜索、文件输入和 URL 读取等对话能力。deepseek-flash 模型在 Messages、Responses 和 Chat Completions APIs 中支持上述功能,工具调用与上下文组装由服务处理。

    推荐理由:DeepSeek 开放全套应用 API,开发者通过现有接口启用参数便可获得搜索与文件输入等对话能力,由服务侧完成工具调用。

11月5日周四
  1. Hugging Face Blog62

    Phonon TTS 深度解析:设备端高质量语音模型登顶基准

    Gradium 解析其两周前开放的设备端 TTS 模型 Phonon,给出它在 Hugging Face Open TTS Leaderboard 的评测与离线演示。Phonon 31m 约 65MB 且 Apache 2.0 开源,在德语西班牙语 intelligibility 排名第一,CPU 流式延迟领先。这是 Phonon 首个开源发布,两周下载超 200,000 次。

    推荐理由:文章详细列出 Phonon 在 Hugging Face Open TTS Leaderboard 的多语种 intelligibility 排名与 CPU 流式延迟优势,便于评估小体积语音模型端侧落地可行性。

10月29日周四
  1. Hugging Face Blog63

    Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel:Apple 平台语音识别与决策 Swift 包

    Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,让 Apple 平台开发者用熟悉 API 在设备端运行开源语音识别和决策模型。

    推荐理由:这两个 Swift 包让 Apple 平台开发者用熟悉 API 在设备端运行多种开源语音与决策模型,扩展原生能力并支持说话人分离。

10月28日周三
  1. Hugging Face Blog63

    NVIDIA 发布 Nemotron 3.5 Transcribe 多语言语音转写模型与 Granary v2 数据管道

    NVIDIA 发布开放权重多语言语音转写模型 Nemotron 3.5 Transcribe 与 Granary v2 数据管道,支持40种语言转写、31种互译及13种语言说话人归属。

    推荐理由:NVIDIA开放权重多语言转写模型在多个基准领先,其开放的Granary v2数据管道和微调配方便于开发者适配领域词汇。

  2. NVIDIA Blog60

    NVIDIA RTX Spark 笔记本新增 Nemotron 3.5 Transcribe 语音模型、智能体工具与游戏

    NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重语音模型,单个提示词模型处理转录、说话人标注与翻译,登顶 Hugging Face Open ASR。该模型约43亿活跃参数,较头部开放模型少80%资源,便于本地硬件运行;RTX Spark 笔记本同步新增代理 GPU 资源分配及 Phantom Blade Zero 等游戏 RTX 支持。

    推荐理由:NVIDIA Nemotron 3.5 Transcribe 以约43亿活跃参数登顶 Hugging Face Open ASR,较榜首开放模型省八成参数,便于本地转录。

  3. Google DeepMind71

    Google DeepMind 发布 Genie 4 新一代世界模拟模型

    Google DeepMind 发布 Genie 4 世界模型,可原生生成多模态实时模拟,在物理、人类动作与音频写实度上实现显著提升。该模型借助 Gemini 家族提供推理以维持模拟连贯,目前已向受信测试者开放研究预览,后续将登陆 Google AI Ultra 等平台。

    推荐理由:Genie 4将实时世界模拟的写实度、物理与人类动作连贯性推进到新水平,当前仅以研究预览向受信测试者开放。

10月21日周三
  1. Mistral AI65

    Mistral发布Voxtral 3语音模型与智能体SDK

    Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。

    推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。

10月2日周五
  1. MiniMax 动态74

    MiniMax 发布全模态生成模型 H3

    MiniMax 正式发布全模态生成模型 H3,支持对文本、图像、视频、声音组成的多模态上下文统一理解,可输出原生双声道音视频,最高支持 15s 2K 分辨率。官方称在 2K 分辨率下每秒价格不到主流模型的 1/3,768P 下约为主流模型 720P 的 1/2。MiniMax 计划在未来几天内在符合相关法律法规的前提下开放模型权重,并称 H3 设计初期已考虑多款现有国产芯片的兼容性。

    推荐理由:官方给出全模态生成的预训练任务划分与三项关键技术取舍,可看清视频模型从专用走向任务统一的路线。

9月25日周五
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。

    推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。

9月23日周三
9月16日周三
9月11日周五
  1. Testing Catalog76

    OpenAI 发布 GPT-Live-1 全双工语音智能体模型

    OpenAI 在 API 中发布 GPT-Live-1 全双工语音模型,可同时听说并处理中断与确认。该模型在 Full Duplex Bench 上比 GPT-Realtime-2.1 高30百分点,API 定价每分钟 $0.05。早期用户包括 Yelp Host、Speak 与 Cognition 的 Devin,适用于电话与客服工作流。

    推荐理由:GPT-Live-1 将 ChatGPT 全双工语音开放至 API,相较级联方案可减少延迟与代码量,便于构建自然语音智能体。

9月10日周四
  1. OpenAI News70

    OpenAI 在 API 中上线 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色和电话(telephony)接入。

    推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式。

8月28日周五
  1. Hugging Face Blog62

    Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon

    Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。

    推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。

8月27日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可直接把原始音频转成准确、格式化文本。据 Artificial Analysis 测量,流式场景平均 WER 为 4.0%,非流式为 2.6%,最终转写时间较前代 Chirp 3 改善 70%;模型支持 85 种以上语言自动检测、自定义词汇和最多三位说话人区分。

    推荐理由:官方给出 WER、延迟与多语言等量化指标,并列出两套 API 与产品落地入口,便于判断语音转写能力边界。

8月21日周五
8月12日周三
  1. Google Research71

    Google 发布 AMIE (Video):实时视频问诊达到专家级水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开源权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言质量。

    推荐理由:原文给出 364M 开源权重模型的多语言扩展与自部署延迟数据,可据此评估自建语音链路的成本与可行性。

7月30日周四
  1. Google DeepMind62

    Google DeepMind 在 Google Flow Music 发布 Lyria 3.5 音乐生成模型

    Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并已在 Google Flow Music 上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升:旋律结构更丰富自然,歌词质量与提示词遵循度、结构感知更好,人声表达与情感更细腻且发音改善,同时可更便捷地控制输出节奏与时长。

    推荐理由:官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进方向,可据此判断音乐生成能力的变化。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有