AssemblyAI 在 AWS 上使用 Amazon EC2 Spot 优化语音转文本推理成本
AssemblyAI 利用 Amazon EC2 Spot 实例与 Amazon ECS 构建混合 GPU 集群,在保持 SLA 承诺的同时大幅降低大规模语音转文本推理成本。该架构通过混合 g4dn、g5 和 g6 实例族分散风险,并采用 Amazon SQS 队列机制实现中断后的任务自动重试。此方案部署于欧洲 AWS 区域,以满足医疗、金融等受监管行业的数据驻留合规要求。
AssemblyAI 利用 Amazon EC2 Spot 实例与 Amazon ECS 构建混合 GPU 集群,在保持 SLA 承诺的同时大幅降低大规模语音转文本推理成本。该架构通过混合 g4dn、g5 和 g6 实例族分散风险,并采用 Amazon SQS 队列机制实现中断后的任务自动重试。此方案部署于欧洲 AWS 区域,以满足医疗、金融等受监管行业的数据驻留合规要求。
DeepSeek 今日开放全套应用 API,开发者启用现有 API 参数即可获得 Web 搜索、文件输入和 URL 读取等对话能力。deepseek-flash 模型在 Messages、Responses 和 Chat Completions APIs 中支持上述功能,工具调用与上下文组装由服务处理。
推荐理由:DeepSeek 开放全套应用 API,开发者通过现有接口启用参数便可获得搜索与文件输入等对话能力,由服务侧完成工具调用。
AWS 于 2026 年 10 月推出多项 AI 更新,包括在 Amazon Bedrock 上线 OpenAI GPT-6.1 Terra 和 Claude Haiku 5.5。
AWS 宣布为 Amazon SageMaker AI 双向流式推理引入基于用量的计量功能,允许模型提供商在 AWS Marketplace 中按实际消耗报告费用。
Open ASR Leaderboard 与 Liva AI 合作新增埃及和尼日利亚英语私有数据集,时长分别为 1.34 小时和 1.55 小时。榜单现基于 Kachru 三圈模型报告美国与非美国、内圈与外圈及扩展圈的细分表现。此前该榜单已引入 Appen、DataOceanAI 及 Voice Arena 提供的多口音私有数据。
Gradium 解析其两周前开放的设备端 TTS 模型 Phonon,给出它在 Hugging Face Open TTS Leaderboard 的评测与离线演示。Phonon 31m 约 65MB 且 Apache 2.0 开源,在德语西班牙语 intelligibility 排名第一,CPU 流式延迟领先。这是 Phonon 首个开源发布,两周下载超 200,000 次。
推荐理由:文章详细列出 Phonon 在 Hugging Face Open TTS Leaderboard 的多语种 intelligibility 排名与 CPU 流式延迟优势,便于评估小体积语音模型端侧落地可行性。
Cartesia 利用 State Space Models 架构在 AWS 基础设施上实现全球范围内 sub-100ms 的文本转语音与语音转文本。其旗舰模型 Sonic 提供约 90ms 首字节延迟及 44 种语言支持,Ink 则具备原生轮次检测与流式转录能力。该方案旨在解决传统 Transformer 模型在流式处理中的延迟瓶颈,为实时语音交互提供低延迟基础设施。
NVIDIA员工使用Nemotron Voice Agent等开源模型搭建了语音驱动动画的万圣节鬼屋MonsterHouse,并公开构建教程。
IBM 发布 Granite Switch 4.1.1 补丁版本,该版本完全向后兼容 4.1,无需迁移即可部署。更新内容包括支持 10 种语言并原生处理标点符号的 Granite Speech ASR 模型,以及性能提升的 Decision 适配器。此次更新仅重训了适配器,基础模型保持不变,体现了模块化架构的高效性。
Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,让 Apple 平台开发者用熟悉 API 在设备端运行开源语音识别和决策模型。
推荐理由:这两个 Swift 包让 Apple 平台开发者用熟悉 API 在设备端运行多种开源语音与决策模型,扩展原生能力并支持说话人分离。
NVIDIA 发布开放权重多语言语音转写模型 Nemotron 3.5 Transcribe 与 Granary v2 数据管道,支持40种语言转写、31种互译及13种语言说话人归属。
推荐理由:NVIDIA开放权重多语言转写模型在多个基准领先,其开放的Granary v2数据管道和微调配方便于开发者适配领域词汇。
NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重语音模型,单个提示词模型处理转录、说话人标注与翻译,登顶 Hugging Face Open ASR。该模型约43亿活跃参数,较头部开放模型少80%资源,便于本地硬件运行;RTX Spark 笔记本同步新增代理 GPU 资源分配及 Phantom Blade Zero 等游戏 RTX 支持。
推荐理由:NVIDIA Nemotron 3.5 Transcribe 以约43亿活跃参数登顶 Hugging Face Open ASR,较榜首开放模型省八成参数,便于本地转录。
Retell 利用 OpenAI 模型支撑每月 1 亿次通话。GPT-6 Astra 在 Retell 语音智能体基准测试中表现领先,同时 Codex 助力其实现人均 160 万美元的年度收入运行率。
Google DeepMind 发布 Genie 4 世界模型,可原生生成多模态实时模拟,在物理、人类动作与音频写实度上实现显著提升。该模型借助 Gemini 家族提供推理以维持模拟连贯,目前已向受信测试者开放研究预览,后续将登陆 Google AI Ultra 等平台。
推荐理由:Genie 4将实时世界模拟的写实度、物理与人类动作连贯性推进到新水平,当前仅以研究预览向受信测试者开放。
Anima 利用 GPT-6 和 GPT-Live 帮助诊所将电话等待时间减少 75%。该方案扩展了护理团队使用 OpenAI 模型的能力,使其拥有更多响应患者的容量。
Amazon Polly 生成引擎升级现已正式可用,新增 14 种语音覆盖 9 个地区,并首次提供印地语和芬兰语生成语音。此次升级保持 API 调用和语音名称不变,现有应用无需修改代码即可直接享受更自然、低延迟的语音输出。
该方案在 Amazon SageMaker AI 上部署 Kokoro-82M 模型,通过流式传输实现 AI 智能体语音生成的低延迟响应。模型仅含 8200 万参数,运行于 ml.g5.xlarge GPU 实例,支持双向流式传输以在生成过程中即时合成音频。
在 Amazon SageMaker AI 部署 Kokoro-82M 模型时,通过实测单实例最大并发数 Q_max 和扩缩容耗时 T_total,推导自动扩缩容阈值。该方法替代了传统猜测式配置,利用原生指标 ConcurrentRequestsPerModel 避免 TTS 场景下因目标值偏差导致的资源闲置或延迟超标。
IBM发布Granite Speech 5.0系列语音模型更新,新granite-speech-5.0-2b支持六语转录与英译多语且英文ASR开源权重WER平均5.06%排第二。Turbo CTC提速至19870 RTFx较初版快1.6倍,4.1-2b-plus改进会议多说话人归因与时间戳。
Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。
推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。
Deepgram 将 Nova-3 语音转文本模型移植至 AWS Trainium2,在离线批量工作负载中实现了每美元处理音频量提升 11%–70%。该优化通过 Neuron 软件栈及自定义内核调优完成,单台 trn2.3xlarge 实例运行 8 个模型副本。此前 Deepgram 主要依赖标准 PyTorch 代码,此次合作旨在降低推理成本并提升服务效率。
Granite Switch 4.1 发布,Granite-Switch-4.1-8B 与 -30B 可从单一托管端点处理聊天、决策与语音转写。
Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟扩展至 10 分钟以上。该平台同时集成 GPT-Image-2.5 以提供精准视觉,并通过 GPT-Live 探索语音电影制作路径。
Hugging Face 发布 1.6B 参数的 Falcon-ASR 语音识别模型,重点支持阿拉伯语及阿联酋方言。该模型在六个阿拉伯语测试集上平均 WER 为 20.92%,优于此前最佳公开结果 23.17%。Falcon-ASR 基于 Falcon3-Audio 架构构建,目前可通过 Hugging Face Demo Space 试用,API 访问功能计划后续推出。
该教程展示如何使用 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 为航空应用构建语音旅行礼宾智能体。架构通过 MCP 将智能体后端解耦,支持实时语音改座、政策问答与人工转接。代码置于 aws-samples GitHub 仓库,模块可复用。
MiniMax 正式推出语音大模型 MiniMax Speech 2.8,首次实现原生语气词支持,并升级了音色克隆、音质与跨语言合成。仅需 10 秒原声片段即可克隆音色,新模型消除了背景杂音与机械毛刺感,并率先修正中文音色合成日语时的发音偏移。该模型已全面上线 MiniMax 开放平台与 MiniMax Audio,一个音色支持 40+ 种语言。
MiniMax 正式发布全模态生成模型 H3,支持对文本、图像、视频、声音组成的多模态上下文统一理解,可输出原生双声道音视频,最高支持 15s 2K 分辨率。官方称在 2K 分辨率下每秒价格不到主流模型的 1/3,768P 下约为主流模型 720P 的 1/2。MiniMax 计划在未来几天内在符合相关法律法规的前提下开放模型权重,并称 H3 设计初期已考虑多款现有国产芯片的兼容性。
推荐理由:官方给出全模态生成的预训练任务划分与三项关键技术取舍,可看清视频模型从专用走向任务统一的路线。
Hugging Face 发布 Open TTS Leaderboard,旨在解决开源 TTS 模型评测碎片化及竞技场模式难以覆盖长尾模型的问题。该基准使用 Qwen3 ASR 计算 WER/CER 评估可懂度,结合 H200 GPU 上的 RTFx 和 TTFA 衡量速度,并通过 WavLM 嵌入计算说话人相似度。
AWS 发布教程,演示如何用 vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS,通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出,并配 Gradio 应用试用。
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 现已上线 Amazon SageMaker JumpStart,可部署到全托管实时推理端点,仅需几秒参考音频和对应文本即可克隆音色,无需重新训练。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。
推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,支持通过自然语言提示创建自定义角色声音并逐行指导场景对话。
推荐理由:原文展示了从静态预设到动态创意工作室的转变,提供了多语言角色定制与场景对话控制的具体能力。
Ringg 基于 GPT-5.6 打造的多语言 AI 智能体可解决最多 65% 的客户来电,覆盖语音、聊天、WhatsApp 和网页渠道。相比 GPT-4.1,其成本降低 90%。
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking,旨在提升实时语音对话的智能与并行推理能力。
推荐理由:原文给出了两款实时语音模型在推理与工具调用上的具体基准表现,读者可据此评估其在生产级语音智能体中的适用性。
OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色和电话(telephony)接入。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可直接把原始音频转成准确、格式化文本。据 Artificial Analysis 测量,流式场景平均 WER 为 4.0%,非流式为 2.6%,最终转写时间较前代 Chirp 3 改善 70%;模型支持 85 种以上语言自动检测、自定义词汇和最多三位说话人区分。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并列出两套 API 与产品落地入口,便于判断语音转写能力边界。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。
推荐理由:通过三项探针量化 ASR 模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。
推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言质量。
推荐理由:原文给出 364M 开源权重模型的多语言扩展与自部署延迟数据,可据此评估自建语音链路的成本与可行性。