Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

思考

摘要

Voxtral 3 引入了先进的语音智能体 SDK 和领先的语音模型，专为跨 50 多种语言的实时、多步骤对话而设计。它结合了准确的转录、具有情感适应性的自然语音合成以及深度工具集成，以实现无缝的工作流自动化。可通过 Mistral 的欧盟托管 API 或自部署使用，在确保数据主权的同时，为呼叫中心、虚拟助手和免提副驾驶提供低延迟、类人的交互体验。

语音转录和语音生成已经取得了长足的进步，但构建能够倾听、推理、交互并处理复杂工作流的端到端语音智能体仍然具有挑战性。 

可靠的语音智能体需要非常出色地（同时）完成以下四件事： 

1. 准确倾听，跨越不同的语言、口音、说话者和打断，

2. 深入推理用户在特定语境下的意图，

3. 自然表达，带有情感和表现力，以及 

4. 采取行动，通过连接的系统执行多步骤操作。 

让这四者在实时环境中可靠地协同工作仍然是一个挑战。 

为了解决这一问题，我们推出了 Voxtral 3：一个全新的领先 语音转文本 和 文本转语音 模型家族，以及一个语音智能体 SDK，将倾听、思考、工具调用和说话整合到单一的实时流式管道中。

Voxtral 3 旨在创造自然的对话体验，从呼叫中心智能体和服务台到虚拟助手和免提副驾驶。凭借对数十种语言、富有表现力的语音、复杂推理以及与自有工具和数据的深度集成的支持，基于 Voxtral 构建的智能体可以解读细微的意图，推理复杂的请求，并在连接的系统上执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 家族专为主权部署而设计。目前可通过 Mistral 的欧盟托管 API 或在自己的基础设施上自部署使用，让组织能够控制音频处理的位置、数据处理方式以及是否保留对话记录。

亮点

1. 跨 50 多种语言的准确转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于领先地位，能够识别谁说了什么（说话人分离），并使用关键词提高准确性（上下文偏置）。它还能检测某人何时说完，以便智能体无需延迟即可响应（回合结束检测）。

2. 适应对话的自然语音。文本转语音模型 Voxtral Mini TTS 3 引入了新的声音，可根据对话语境调整其情感、节奏和强调，支持 35 多种语言和 50 多种方言。

3. 类人的智能，随（口头）指令而动。新的语音智能体 SDK 将倾听、推理、工具调用和说话整合为实时体验。智能体可以在电话或网页上的实时对话中检索信息、与业务系统交互并完成任务。

4. Pro Voice 实现精准的声音适配。对于基础声音克隆无法满足的专业应用场景，Voxtral 的 Pro Voice 适配功能能够跨语言复现说话者的独特个性、情感范围和说话风格，仅需 30 分钟的音频。 

5. 您的语音 AI，部署在您的基础设施上。使用 Mistral 的欧盟托管 API，或将 Voxtral 3 部署在您自己的基础设施上。将敏感对话保留在您的环境中，并控制是否保留任何音频。 

立即试用 Voxtral  | 了解更多

它支持 50 多种语言，具有最先进的准确率。

Voxtral Transcribe 3 在转录、说话人分离（谁在何时说话）和上下文偏置功能方面代表了一个重要的里程碑。支持的语言列表扩展至 50 种，包括 24 种欧盟官方语言以及许多低资源的亚洲和印度语言。

Small 版本在说话人分离和多语言转录方面取得了最先进的结果，包括英语、法语和西班牙语。它优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 变体 拥有 4B 参数，能够以每分钟 0.0035 美元的价格实现快速且准确的转录。

两个模型都支持上下文偏置，即可以提供关键术语和自由文本以偏置转录并提高对技术术语的召回率。这使得它们可以在生产环境中使用领域特定词汇，而无需微调。

Voxtral Realtime Transcribe 3 是一款专为智能体（agentic）应用场景打造的实时转录模型。它能在 35 种以上语言中实现低于 500 毫秒延迟的高质量转录，并支持说话人分离（diarization）和上下文偏置（context biasing）。

原生支持回合结束预测，结合声学信息和语义信息，准确预测用户何时结束说话。这使得低延迟语音智能体应用成为可能，同时最大限度地降低用户被过早打断时的误切率。

它以正确的情感，用您或您客户品牌自己的声音和当地方言进行回答。

Voxtral Mini TTS 3.0 提供批量和实时两种模式，在 35 种以上语言和 50 种以上方言中实现了最先进的表现力和指令遵循能力。以每 100 万字符 13 美元的价格，Voxtral Speech 3 的运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等类似模型。

该语音模型能更好地隐式解读上下文的语义含义，在多种情感和语言中生成自然的语音。新增和改进的功能包括：从 30 分钟以上的采样音频中进行声音克隆、自定义提示指令遵循（IF）、上下文 TTS 以及词汇库，所有这些都旨在提升部署时的语音可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示

让我们在此结束这场辩论：它是 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都依赖于情感，情感决定了其韵律、节奏、语速、重音和过渡。Voxtral TTS 原生解读提示的文本上下文以确定情感和语音风格，使模型无需额外指令或语音提示即可天生更擅长生成自然语音。

展示 Voxtral 在表现力、数字和独特名称方面的爬山法优化过程。

提示词

感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。我可以确认一下您的电子邮件地址吗？我这里显示的是 [email protected]，对吗？

Voxtral 1

Voxtral 3

语音在 35 种语言和 50 多种方言中听起来具有本地特色。

Voxtral TTS 支持超过 35 种语言和地区方言。我们的多语言评估遵循发音、正式与非正式语域、拼写、冗长度以及地区惯例（时间、日期、温度、地址、货币）方面的方言差异。

Voxtral 3 多语言库

语音预设支持 18 种语言：阿拉伯语（阿联酋、现代标准语）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。

语音智能体掌控整个对话。

Voxtral 3 引入了基于 LiveKit 构建的语音智能体 SDK，将语音输入、推理和语音输出作为单一流式管道运行。Voxtral Mini Transcribe Realtime 3 负责监听并检测通话者何时停止说话，通用模型——例如 Mistral Small——进行推理并调用工具，而 Voxtral Speech 3 则以符合此前对话语气的语调进行回复。各阶段无需等待前一阶段完成，因此每轮对话在不到一秒内完成，且当通话者插话时智能体会停止说话。

在通话过程中，智能体可以使用函数调用、网络搜索以及对您自有系统的检索来验证通话者身份、查看账单或预约时间。它通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用程序中运行，并连接您已使用的电话、IVR 和联络中心软件。

每个阶段都是独立的模型，因此您可以在不重写智能体的情况下更改 LLM、声音或语言，并在 Mistral 的欧洲 API 或您自己的基础设施上运行整个技术栈。

开始使用。

Voxtral 3 现已通过 Mistral API 提供，托管于我们的欧洲、美国和全球端点。

您可以在 Studio 游乐场中测试语音智能体、音频转录、语音生成和语音克隆。 

要在本地或私有云中运行完整技术栈，请联系我们的团队。