VocabX 如何通过专门化小语言模型词汇表在实际应用中降低 77% 推理成本
Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。
Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。
Pollen Robotics 与 Hugging Face 联合发布开源双足机器人 Microduck,并推出基于 Isaac Lab 3.0 和 Newton 的训练部署教程。该工作流支持在仿真中训练行走策略,导出为 ONNX 格式后部署至真实硬件,并可在 Microduck Arena 中验证兼容性。此前该模型仅开放 API
Hugging Face 发布教程,指导用户利用 TorchNeuron 在 AWS Trainium 上系统分析推理性能瓶颈。教程演示了配置 torch.profiler 捕获 Neuron 设备时间,并通过 Neuron Explorer 追踪操作从框架分发到硬件执行的全过程。
Hugging Face 发布教程,指导用户利用 TorchNeuron 在 AWS Trainium 上系统分析推理性能瓶颈。教程演示了配置 torch.profiler 捕获 Neuron 设备时间,并通过 Neuron Explorer 追踪操作从框架分发到硬件执行的全过程。
IBM发布Granite Speech 5.0系列语音模型更新,新granite-speech-5.0-2b支持六语转录与英译多语且英文ASR开源权重WER平均5.06%排第二。Turbo CTC提速至19870 RTFx较初版快1.6倍,4.1-2b-plus改进会议多说话人归因与时间戳。
NVIDIA 发布 Kumo Forecast,该模型基于 MOMENT-1-large 骨干,结合预训练 Transformer 与 DARR 历史模式检索。模型包含约 3.4 亿参数的基础编码器,提供 DataFrame API 及可解释性框架,并以 Apache 2.0 协议开源。
Hugging Face 发布 SimReady Central,在平台提供超2000个带物理属性的仿真就绪OpenUSD资产,免费供机器人与AI工厂数字孪生使用。资产涵盖机械臂、夹具及冷却设施等,开发者可组合搭建仿真场景,OEM也能提交验证资产。该库集成 NVIDIA USD Search 支持自然语言检索,并演示了拣选与AI工厂布局比对工作流。
NVIDIA CEO Jensen Huang在GTC Berlin 2026 keynote上公布DSX POD模块化AI工厂、OpenShell安全智能体架构与Agent Knowledge Foundation等知识层工具。
推荐理由:NVIDIA推出DSX POD等模块化AI工厂参考设计,将部署周期从六个月压缩到14天,为欧洲企业参与AI经济提供基建方案。
NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等多款开放模型推进欧洲跨行业主权智能,覆盖语言、机器人与量子等领域。企业可用本地数据定制并部署在自有设施,模型已在 Hugging Face 等平台提供。此为 NVIDIA 欧洲公告的一部分。
推荐理由:NVIDIA发布一系列覆盖语言机器人生物量子等领域的开放模型,企业可用本地数据定制并部署在自有基础设施上。
NVIDIA 发布 Cosmos3-H-Dreams,一个基于 Cosmos 3 和 FlashDreams 的实时生成式临床胆囊切除术模拟器,可在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。
AWS 团队在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,使多语言推理语言正确率从 22% 升至 100%。SFT 教会模型按指令用目标语言推理,叠加 GRPO 后将答案语言正确率从 62% 提升至 70%。对照 Qwen2.5-7B 实验显示 GRPO 仅在存在能力缺口时带来增益,GSM8K 上无提升。
Ai2 发布 FairStress 基准,用于衡量大语言模型在影响人的决策中超越最终选择的群体公平性。该基准包含 300 个双候选决策场景,结合对抗前缀扩展至超过 13 million 测试案例,实验显示模型受挑战时放弃正确决策存在群体不对称,这是 Ai2 开放评估工作的一部分。
推荐理由:该基准通过引入对抗前缀与身份变量测试决策稳定性,揭示标准公平性评测忽略的隐藏不对称,为干预提供新评估工具。
Hugging Face 发布 TorchTPU,一个原生 PyTorch 后端,让 TPU 成为 PyTorch 的普通设备,Hugging Face 生态的 Transformers、Diffusers 和 Kernels 均可原生运行于 TPU。
推荐理由:PyTorch用户过去需借助torch_xla或JAX才能用TPU,TorchTPU原生后端让Hugging Face模型指定tpu设备即可运行,简化部署流程。
ALTK-Evolve 利用从 GPT-4.1 智能体运行轨迹提炼的行为准则注入系统提示词,使该非推理模型在 τ²-bench 零售客服基准达到 67.5% Pass^4,登顶 October 12, 2026 榜单快照且超越微调模型 RAFT-30B-A3B 达 +6.1 点。该方法无需权重更新或人工标注,在航空域换用 GPT-5.5 后同样登顶,Pass^4 达 82.0%。
推荐理由:原文给出从智能体运行轨迹提炼行为准则并注入提示词的做法,读者可迁移至同类客服智能体提升可靠性。
Hugging Face 发布 AnyLanguageModel 1.0,为 Apple 平台提供兼容 Foundation Models 的 Swift API,可用同一代码调用本地与托管模型。
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。
推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。
AWS 宣布新 SageMaker Studio 用户可通过 Google、GitHub 等身份在 2-3 步内完成注册,无需信用卡即可在约 20 秒内进入预配置环境。新用户获得 $100 AWS Free Tier 额度,最高可达 $200,有效期 6 个月。此举配合此前 Hugging Face 一键部署功能,消除了开发者从发现模型到部署的主要障碍。
Hugging Face 发布 TorchNeuron 公开 Beta,为 PyTorch 提供 AWS Trainium 原生后端,使 Transformers、Diffusers 等库直接支持 Trainium。
Reflection AI 发布 Beam 开源权重模型,面向智能体编程与长程任务,并给出 AWS 部署路径。该模型总参数 501B、活跃参数 23B、上下文 1M token,以 Apache 2.0 在 Hugging Face 开放。用户可通过 SageMaker JumpStart 托管或 HyperPod 配合 SGLang、vLLM 自管推理。
Reflection 发布 501B 参数的开放模型 Beam,采用 MoE 架构,每 token 激活 23B 参数,上下文窗口 1M tokens,基于 Apache 2.0 许可。
推荐理由:Beam 以 Apache 2.0 开放 501B MoE 权重并给出多后端部署与微调 recipe,便于团队迁移到自有硬件。
Granite Switch 4.1 发布,Granite-Switch-4.1-8B 与 -30B 可从单一托管端点处理聊天、决策与语音转写。
Meta 发布了开放权重多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 活跃 42B,上下文窗口最高 1M token。该模型支持文本、图像、音频、视频输入,专注于智能体编码与工具调用,文章提供了 transformers、llama.cpp 等框架的部署与微调方法。此前 Meta 在 8 月发布了同系列小模型 Muse Glimmer。
推荐理由:本文给出了在 llama.cpp、vLLM、SGLang 等推理框架的部署方案与 TRL 微调示例,便于开发者快速落地。
Black Forest Labs FLUX.3 Image Klein 模型已在 Diffusers 中可用,统一支持文本生图、多参考图生图与边界框布局控制。蒸馏检查点默认16步无CFG,在 H100 上约2秒生成 1024×1024 图像;基础检查点支持50步CFG与LoRA微调,并提供 fp8r、nvfp4 量化权重适配小显存设备。
推荐理由:FLUX.3 Image Klein 已在 Diffusers 集成,支持边界框布局控制与多参考编辑,便于直接训练 LoRA。
NVIDIA 今日发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从企业服务器到边缘的智能体部署。Super VL 为 120B 参数多模态模型,速度快达同类 5x 且以约五分之一参数量媲美 NVIDIA 最大推理模型精度;Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 针对本地硬件优化,后者 10 月 23 日推出。
推荐理由:NVIDIA 新发 Nemotron 3.5 Super VL 以约五分之一参数量媲美自家最大推理模型精度,并开放权重供组织在自有设施微调部署。
Apertus 项目发布 1.5 版 8B 和 70B 开源模型,新增图像音频理解、思考模式、262,144 token 上下文及更强工具调用。模型权重于2026年7月24日以 Apache 2.0 许可发布在 Hugging Face,全程开放训练数据与细节。
推荐理由:Apertus 1.5以早期融合将图像音频转为离散token,训练细节全开放,研究者可复现各阶段对多模态能力影响。
HiRO-ACEv2 更新降尺度模型 HiROv2,以约 1/300 成本生成全球 3 km 气候数据并准确模拟极端天气。其匹配 X-SHiELD 高分辨率统计误差在 3% 内,10年模拟显示飓风能量与 X-SHiELD 相当,但暂仅支持匹配 X-SHiELD 的气候。
推荐理由:新模型以约 1/300 成本生成全球 3 km 气候数据,让研究者能廉价获取极端天气高分辨率模拟。
Amazon SageMaker JumpStart 提供预训练模型目录,支持通过 Python SDK 部署模型并执行轻量级性能测试。2026 年新增 Model Hub 浏览、预配置端点部署选项及 Hugging Face 一键集成,简化模型发现与部署流程。该工作流可测量延迟与生成速率,帮助开发者在质量、速度和成本间做出选择。
LFM2.5-24B-A2B发布,一个24B参数MoE推理模型,仅2B活跃参数,专为端侧快速私有智能体设计。该模型在LiveClaw智能体基准得分48.09,高于Qwen3.6-35B-A3B的38.19,并在Apple M5 Max上实现184 tok/s解码速度。它基于LFM2-24B-A2B架构,将上下文窗口从32K扩展至131K tokens,今日起在Hugging Face开放权重。
推荐理由:该24B参数MoE模型仅2B活跃参数,在智能体任务上接近参数多50%的Qwen3.6-35B-A3B,并支持端侧184 tok/s运行。
Ai2 用 GPU 时间预算、分层公平分配和时间片契约替换了基于优先级的调度器,将资源分配从个案运营转为透明的行政预算流程。该机构管理数千块 NVIDIA H100、B200 和 B300 GPU,面临 2-3 倍于可用量的算力需求。此前基于优先级的调度导致了 GPU 占用和优先级通胀等“公地悲剧”问题。
Hugging Face 发布 1.6B 参数的 Falcon-ASR 语音识别模型,重点支持阿拉伯语及阿联酋方言。该模型在六个阿拉伯语测试集上平均 WER 为 20.92%,优于此前最佳公开结果 23.17%。Falcon-ASR 基于 Falcon3-Audio 架构构建,目前可通过 Hugging Face Demo Space 试用,API 访问功能计划后续推出。
今日 Liquid AI 发布开放权重 d1 决策模型 d1-3B 与实验性 d1-omni-600M,可在边缘设备做多模态决策。d1-3B 在 Decision Index 0.2.1 得 48.57 分超 Decider 35B-A3B,于 Jetson 延迟低至 16 毫秒。模型基于 LFM 单前向传播不生成 token,已在 Hugging Face 开放。
推荐理由:Liquid AI 开放 d1-3B 等决策模型权重,以单前向传播在 Jetson 实现低于 50 毫秒多模态推理。
Nemotron 3 经 SFT 与 RL 微调后在 IOI 2026 和 IMO 2026 均超过金牌阈值。IOI 2026 中 Nemotron-3-Ultra-CC 获 535.4/600,IMO 2026 系统得 30/42,模型、数据集与 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由:原文给出了从 Nemotron 3 通过 SFT、RL 与推理循环微调至竞赛金牌水平的复用配方,读者可参照适配其他专业领域。
Hugging Face 发布 Falcon-Emirati-7B,这是基于 Falcon-H1-Arabic 构建的阿联酋方言专用模型,旨在理解并生成符合母语者习惯的词汇、语气及文化语境。该模型采用 7B 参数规模,在保持训练与推理成本可控的同时,通过混合真实方言数据、MSA 文化内容及受控合成数据,弥补了通用阿拉伯语模型在方言细微差别上的不足。
微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。
推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。
Ai2 开源 AstaBrief 8B,一个把研究问题和检索文献片段转成带引用报告的小模型,已在 Asta 的 Generate a report 功能中作为 Fast 模式上线,并同步开放模型权重、训练数据和可从自有 PDF 生成报告的示例工作流。
推荐理由:原文给出数据过滤和 SFT 加 DPO 的具体配方,读者能据此判断开源小模型在科学报告生成上保留了多少专有模型的质量。
DeepSeek-V3.1 现已更新至 DeepSeek-V3.1-Terminus,官方 App、网页端、小程序与 DeepSeek API 均已同步更新,并开放 Hugging Face 和 ModelScope 开源下载。
推荐理由:官方列出 Terminus 在 Agent 与语言一致性上的改进及测评对比,便于了解本次版本更新重点。
DeepSeek 发布实验性模型 DeepSeek-V3.2-Exp,在 V3.1-Terminus 基础上引入 DeepSeek Sparse Attention 稀疏注意力机制,针对长文本训练和推理效率做优化,在公开评测集上表现与 V3.1-Terminus 基本持平。
推荐理由:稀疏注意力在公开评测表现基本持平的前提下降低长文本推理成本,API 价格随之下降五成以上。
ServiceNow CoreAI 的 AutoSynthData 通过分析目标模型的失败、借助更强的教师模型生成并校验新任务,为企业智能体自动构建训练数据,并按模型当前能力边界调整任务难度。
Allen AI 发布 Olmo-core 3,一套面向大规模 MoE 的开放训练框架,设计目标是把 MoE 训练扩展到万亿参数级。
Hugging Face 发布 Open TTS Leaderboard,旨在解决开源 TTS 模型评测碎片化及竞技场模式难以覆盖长尾模型的问题。该基准使用 Qwen3 ASR 计算 WER/CER 评估可懂度,结合 H200 GPU 上的 RTFx 和 TTFA 衡量速度,并通过 WavLM 嵌入计算说话人相似度。