Google 用冻结多 Token 预测加速 Pixel 上的 Gemini Nano 模型
Google Research 发布一种新架构,把多 Token 预测(MTP)头接到已冻结的 Gemini Nano v3 模型上,在不改动主干权重的前提下加速端侧推理。
推荐理由:Google 把 MTP 头接到冻结的 Gemini Nano v3 上,给出端侧推理在内存与能耗约束下的具体优化路径。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
63 条精选近 30 天 13 条共收录 498 条
Google Research 发布一种新架构,把多 Token 预测(MTP)头接到已冻结的 Gemini Nano v3 模型上,在不改动主干权重的前提下加速端侧推理。
推荐理由:Google 把 MTP 头接到冻结的 Gemini Nano v3 上,给出端侧推理在内存与能耗约束下的具体优化路径。
Mistral AI 为 Connectors 推出多项新能力:管理员控制(GA)可按 workspace 或组织设置连接器访问并逐个开关工具,带连接器作用域的 API key(GA)防止自动化 AI 工作负载冒用身份,多账号连接器(GA)支持一个连接器绑定多个账号。
推荐理由:原文列出连接器的权限、身份与调试能力,读者可据此判断企业级智能体接入外部系统时的治理方式。
Mistral 发布 OCR 4,在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数,支持 170 种语言、10 个语系,可打包进单个容器完全自托管。该模型在 OlmOCRBench 上取得 85.20 的总体最高分,OmniDocBench 得分 93.07,官方同时说明这两个基准在数学、科学和多栏文档上存在评分偏差,建议以自身文档实测为准。
推荐理由:OCR 4 在文本之外返回边界框、块类型与置信度,读者可据此判断结构化文档解析如何接入 RAG 与智能体流程。
Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理加速,单张 NVIDIA H100 上超过 1000 tokens/秒、RTX 5090 上超过 700 tokens/秒。
推荐理由:官方给出 4x 加速的实测数字与硬件门槛,读者可据此判断本地低并发场景是否值得换用扩散式生成。
Mistral 在 AI Now Summit 2026 上发布面向工业工程的 AI 栈,与 Airbus、BMW、ASML 合作优化设计、仿真与生产,并强调对专有数据和 IP 的完全控制。
推荐理由:Mistral 一次性给出工业 AI 栈、Vibe 智能体和自建数据中心三条线,可据此判断其企业级全栈布局。
Mistral 将 Le Chat 升级为统一 AI 智能体 Vibe,覆盖工作与编码两类场景,原有对话、设置和订阅方案全部保留。Work Mode 可在网页和移动端执行收件箱整理、深度研究、文档起草等长周期任务,支持企业知识搜索、结构化数据分析和可复用技能;Code Mode 提供远程编码会话,并新增 VS Code 扩展和 CLI 更新。
推荐理由:Mistral 把 Le Chat 升级为统一智能体 Vibe,读者可据此了解其工作与编码两种模式的能力边界和定价分层。
Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测物理场,单次前向推理在单 GPU 上以秒级完成,用于设计迭代,传统求解器保留用于验证和边界情况。
推荐理由:Mistral 把物理仿真模型并入企业平台,读者可了解其与传统求解器的分工及工业落地场景。
Mistral AI 本周签署最终协议收购 Physics AI 先驱 Emmi AI,以强化其作为工业企业 AI 转型伙伴的定位。Emmi AI 成立于奥地利,专注物理 AI 与大型工程模型,可把多日计算替换为实时仿真并构建数字孪生,其 30 多名研究人员和工程师将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。
推荐理由:Mistral 通过收购补齐物理仿真能力,读者可了解其工业 AI 布局与工程智能体方向。
Mistral 在 Studio 发布 Connectors,内置连接器和自定义 MCP 均可通过 API/SDK 用于所有模型与智能体调用,并支持直接工具调用和人工审批流程。
推荐理由:原文给出连接器注册、直调工具与人工审批三段代码,可据此判断企业集成层如何从散落代码收敛到平台。
Google 宣布扩展内容透明度与验证工具,把 SynthID 验证从 Gemini 应用扩展到 Search,并将在未来几周进入 Chrome;该验证功能此前已在全球被使用 5000 万次。
推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini、Chrome 和 Pixel,读者可了解内容溯源工具的实际覆盖范围。
Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,提供持久执行、可观测性和容错能力,把 AI 流程从概念验证推进到生产环境。ASML、ABANCA、CMA-CGM、France Travail、La Banque Postale、Moeve 等组织已用其自动化关键流程。
推荐理由:Mistral 把企业级 AI 编排的持久执行、可观测与人工审批打包进 Studio,读者可据此判断生产化落地的门槛变化。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把训练任务拆成解耦的计算孤岛并以异步数据流连接,从而隔离局部硬件故障。该架构基于 Pathways 和 DiLoCo,在混沌工程测试中丢失整个 learner unit 后仍能继续训练并重新接入;用 Gemma 4 模型验证时,其基准 ML 性能与传统训练方法持平。
推荐理由:Google DeepMind 用 Gemma 4 实测了跨数据中心异步训练,读者可了解分布式预训练在带宽与容错上的新解法。
Google Research 发布 TurboQuant 压缩算法,并配套提出 QJL 与 PolarQuant,用于解决向量量化中的内存开销问题,三篇工作将分别亮相 ICLR 2026 和 AISTATS 2026。
推荐理由:Google 提出 TurboQuant 等三种向量量化算法,在 KV cache 压缩与向量搜索上给出可复用的精度与内存权衡方案。
Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业内部基础设施中训练与治理。该平台以智能体优先设计,Mistral Vibe 这类自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据,用户只需用自然语言即可定制模型。
推荐理由:原文给出企业用自有数据训练前沿模型的分阶段能力与架构选择,可据此判断自建模型的落地路径。
Mistral 发布终端原生编码智能体 Mistral Vibe 2.0,由 Devstral 2 模型系列驱动,新增自定义子智能体、多选项澄清、斜杠命令技能、统一智能体模式和自动更新。
推荐理由:官方给出 Vibe 2.0 的自定义子智能体、斜杠命令技能等能力与订阅方案,可据此判断终端编码智能体的工作流变化。
Mistral 发布 Mistral OCR 3,在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业级文档处理方案和 AI 原生 OCR 方案。
推荐理由:官方给出与前代在表单、手写、扫描件上的胜率对比和每千页定价,可据此判断文档解析的替换成本。
Mistral AI 发布 Codestral 25.08,并推出由 Codestral、Codestral Embed、Devstral 和 Mistral Code IDE 插件组成的企业级编码栈。
推荐理由:Mistral 把补全、代码检索与智能体工作流打包成可私有部署的企业编码栈,读者可据此判断自托管方案的能力边界。
Mistral AI 发布 Mistral Compute,提供私有化集成 AI 基础设施栈,涵盖 GPU、编排、API、产品与服务,形态从裸金属服务器到全托管 PaaS。
推荐理由:Mistral 从模型厂商延伸到自建 AI 基础设施,读者可据此判断欧洲算力自主路线的具体形态。
Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量和本地气隙 GPU 部署,代码保留在企业边界内。
推荐理由:原文给出企业级编码助手的模型组合、部署方式与客户落地案例,可据此判断私有化编码方案的取舍。
Mistral AI 发布首个面向代码的嵌入模型 Codestral Embed,称在真实代码检索场景中优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
推荐理由:官方给出代码嵌入模型在检索基准上的对比与多维度、多精度取舍,可据此评估代码 RAG 的存储与质量平衡。