用 LFM3 构建专用多模态模型
LFM3 提供文本、视觉、音频、omni 和决策等六种 2B 参数级模型,基于统一骨干,可用于构建专用多模态智能体。相比 LFM2 家族,LFM3-1.7B 用少 35% 参数超越 LFM2.5-2.6B;所有模型今天在 Hugging Face 开放权重。
推荐理由:LFM3以统一骨干提供六种2B级模态模型,可在单GPU微调并端侧部署,降低专用多模态智能体构建门槛。
LFM3 提供文本、视觉、音频、omni 和决策等六种 2B 参数级模型,基于统一骨干,可用于构建专用多模态智能体。相比 LFM2 家族,LFM3-1.7B 用少 35% 参数超越 LFM2.5-2.6B;所有模型今天在 Hugging Face 开放权重。
推荐理由:LFM3以统一骨干提供六种2B级模态模型,可在单GPU微调并端侧部署,降低专用多模态智能体构建门槛。
Google Research 在 IDWeek 2026 分享如何利用 MedGemma 等开源基础模型实现全球 TB 筛查民主化。其合作工具已在 6 国约 40 家机构部署,将胸片分析时间从数周缩短至 45 秒内。此前该团队已发布 MedSigLIP 等模型,旨在解决偏远地区放射科医生稀缺导致的 TB 漏诊问题。
Hugging Face 推出 TorchNeuron 模型支持查询 Space,用于检测 Hub 热门模型在 AWS Trainium 上的兼容性。该工具展示模型运行状态、Trainium 核心分片数及峰值内存,并提供基于 torch-neuronx 的 run.py 脚本供用户自行部署。目前仅测试文本生成和图文转文本模型,结果数据已公开为 Parquet 数据集。
今日发布 OlmoEarth v1.3 卫星嵌入模型,同时开放全球年度嵌入数据与 OlmoEarth Embeddings Explorer 浏览器工具。模型为每10米像素生成128维向量,在27项评估中20项得分最高,权重数据代码全开放。此前使用需GPU微调,现可零门槛探索九年间地表变化。
IBM Granite 开源 Granite Timeseries Ensemble r1,将四种预训练时间序列架构集成为统一接口输出点预测与分位数预测。默认 Probabilistic Ensemble 等权池化免拟合,在 GIFT-Eval 97 项配置上聚合 MASE 优于四成员但优势微小,价值在于跨序列鲁棒性。
NVIDIA 合作伙伴与欧洲多国政府合作,利用开源模型在受控基础设施上部署 AI 以提升公共行政效率。项目涵盖波兰医疗影像分析、英国 Nemotron-Personas-UK 数据集发布及德国机密数据主权云建设。这些举措旨在让政府保留数据主权,同时利用 NVIDIA Nemotron 等模型优化本地化公共服务。
NVIDIA 在欧洲部署 Earth-2 开源模型,最新推出的 StormScope EU 利用 EUMETSAT 卫星数据每 10 分钟更新欧洲区域短期预报。AXA、Vaisala 及曼彻斯特大学等机构正利用 FourCastNet 3、CorrDiff 等模型优化风险预测、空气质量建模及太阳能发电评估。
在 GTC Berlin 上,欧洲银行和支付公司展示基于 NVIDIA 加速计算和开源权重的生产级智能应用。Revolut 利用 NVIDIA Blackwell Ultra GPU 扩展其基础模型 PRAGMA,服务 8000 万客户;Stripe 使用 NVIDIA GPU 加速 Ray Data,使欺诈检测数据管道提速 42 倍。
AWS解决方案架构团队发文剖析其构建的开源多智能体系统Deep Insight,讲解它如何解决生产环境的五大核心挑战。系统基于Strands Agents SDK与Amazon Bedrock等构建,提供三种部署方式并已在GitHub开源。本文为三部分系列第一篇,后续将涵盖上下文工程与生产部署。
推荐理由:AWS团队以自研Deep Insight为例,梳理生产环境多智能体系统的五大挑战与架构对策,为类似系统提供可复用的设计与部署参考。
在 AWS Trainium 上,torchtitan 通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,支持使用标准接口对 Qwen3 进行预训练或微调。
NVIDIA Kumo Relational 在关系数据上无需训练即超越监督机器学习模型。该预训练关系基础模型在41个任务15个数据库上击败监督深度学习与梯度提升树管线,在SAP SALT基准上MRR超越AutoGluon集成8%,并通过开源库或NVIDIA NIM提供,可扩展至500B+行。
推荐理由:Kumo Relational在关系数据基准上无需任务训练即超越监督模型,企业可将预测写成查询并由智能体调用,从而降低建模门槛。
Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。
Pollen Robotics 与 Hugging Face 联合发布开源双足机器人 Microduck,并推出基于 Isaac Lab 3.0 和 Newton 的训练部署教程。该工作流支持在仿真中训练行走策略,导出为 ONNX 格式后部署至真实硬件,并可在 Microduck Arena 中验证兼容性。此前该模型仅开放 API
IBM发布Granite Speech 5.0系列语音模型更新,新granite-speech-5.0-2b支持六语转录与英译多语且英文ASR开源权重WER平均5.06%排第二。Turbo CTC提速至19870 RTFx较初版快1.6倍,4.1-2b-plus改进会议多说话人归因与时间戳。
Hugging Face 发布 SimReady Central,在平台提供超2000个带物理属性的仿真就绪OpenUSD资产,免费供机器人与AI工厂数字孪生使用。资产涵盖机械臂、夹具及冷却设施等,开发者可组合搭建仿真场景,OEM也能提交验证资产。该库集成 NVIDIA USD Search 支持自然语言检索,并演示了拣选与AI工厂布局比对工作流。
NVIDIA 扩展开源 Agent Toolkit,新增 Agent Knowledge Foundation 以利用公司数据增强智能体能力。该基础包含 CUDA-X 库、Auto-Ontology 以及 Nemotron Retriever 和 Kumo 系列开放模型,支持在 Palantir、Databricks 等环境中部署。
NVIDIA 在 GitHub 开放工厂运营蓝图(FOX)早期访问,支持开发者部署协调机器与专业任务的工厂智能体。Siemens 集成该蓝图预计节省 20% 成本,并将检测校准时间减少 40%。NVIDIA 同时发布 cuDSS 通用版本,加速结构应力等复杂模拟,助力欧洲工业领袖重塑工程与制造流程。
NVIDIA CEO Jensen Huang在GTC Berlin 2026 keynote上公布DSX POD模块化AI工厂、OpenShell安全智能体架构与Agent Knowledge Foundation等知识层工具。
推荐理由:NVIDIA推出DSX POD等模块化AI工厂参考设计,将部署周期从六个月压缩到14天,为欧洲企业参与AI经济提供基建方案。
NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等多款开放模型推进欧洲跨行业主权智能,覆盖语言、机器人与量子等领域。企业可用本地数据定制并部署在自有设施,模型已在 Hugging Face 等平台提供。此为 NVIDIA 欧洲公告的一部分。
推荐理由:NVIDIA发布一系列覆盖语言机器人生物量子等领域的开放模型,企业可用本地数据定制并部署在自有基础设施上。
Hugging Face 发布 TorchTPU,一个原生 PyTorch 后端,让 TPU 成为 PyTorch 的普通设备,Hugging Face 生态的 Transformers、Diffusers 和 Kernels 均可原生运行于 TPU。
推荐理由:PyTorch用户过去需借助torch_xla或JAX才能用TPU,TorchTPU原生后端让Hugging Face模型指定tpu设备即可运行,简化部署流程。
Hugging Face 发布 AnyLanguageModel 1.0,为 Apple 平台提供兼容 Foundation Models 的 Swift API,可用同一代码调用本地与托管模型。
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。
推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月间新增超过 100 个来自 30 家提供商的模型,显著扩展了目录规模。新增内容涵盖 NVIDIA Cosmos3 世界基础模型、多模态模型及量化模型,支持一键部署与 LoRA 等微调技术。此次扩容旨在满足客户对模型架构、规模及多模态能力的多样化需求。
Hugging Face 发布 TorchNeuron 公开 Beta,为 PyTorch 提供 AWS Trainium 原生后端,使 Transformers、Diffusers 等库直接支持 Trainium。
vLLM 引入双向 KV 传输机制,允许 Decode 节点将已计算的 KV 缓存回传至 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的基准测试中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
vLLM 引入基于推送的 NIXL 连接器,将 KV 传输协调移出关键路径,从而降低首 token 延迟(TTFT)和每输出 token 时间(TPOT)。在 Amazon EC2 P5en 实例上对 Qwen3-32B 模型的基准测试显示,相比拉取模式,推送模式 TTFT 提升最高达 3 倍,TPOT 改善最高达 30%。
MiniMax 今天正式更新 M3.1 Flash 模型,Agentic 任务、编程等能力代际提升,线上推理速度近3倍、成本降70%。模型在 DeepSWE v1.1 获73.7%、OSWorld V2 获61.7分等基准领先,已上线 API 与 MiniMax Code 并将稍后开放权重。
推荐理由:相较前代推理速度提升近3倍且成本降低70%,在Agent与编程基准达到领先,已上线供实用。
Google Research展示通过VERID框架与闭环学习,让AI智能体在湿实验室自主运行实验并提升结合剂命中率。VERID基于开源PyLabRobot提供活体3D状态追踪与干跑安全校验,阻断无效指令。在aptamer循环中智能体自主修正设计使α-thrombin命中率达42.1%,蛋白设计加速八倍获单digit nanomolar亲和力,这些构成了人类指导的自主生命科学研究发现的构建模块。
推荐理由:Google通过VERID框架与闭环学习流程,展示了AI智能体在湿实验室安全自主实验的路径,可迁移至其他自动化科研场景。
Reflection AI 发布 Beam 开源权重模型,面向智能体编程与长程任务,并给出 AWS 部署路径。该模型总参数 501B、活跃参数 23B、上下文 1M token,以 Apache 2.0 在 Hugging Face 开放。用户可通过 SageMaker JumpStart 托管或 HyperPod 配合 SGLang、vLLM 自管推理。
Reflection 发布 501B 参数的开放模型 Beam,采用 MoE 架构,每 token 激活 23B 参数,上下文窗口 1M tokens,基于 Apache 2.0 许可。
推荐理由:Beam 以 Apache 2.0 开放 501B MoE 权重并给出多后端部署与微调 recipe,便于团队迁移到自有硬件。
Granite Switch 4.1 发布,Granite-Switch-4.1-8B 与 -30B 可从单一托管端点处理聊天、决策与语音转写。
NVIDIA 今日发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从企业服务器到边缘的智能体部署。Super VL 为 120B 参数多模态模型,速度快达同类 5x 且以约五分之一参数量媲美 NVIDIA 最大推理模型精度;Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 针对本地硬件优化,后者 10 月 23 日推出。
推荐理由:NVIDIA 新发 Nemotron 3.5 Super VL 以约五分之一参数量媲美自家最大推理模型精度,并开放权重供组织在自有设施微调部署。
Mistral 发布首个时间序列基础模型家族 Timestral,其 209M 参数版本在 GIFT-Eval、TIME 和 fev-bench 三项基准均排名第一。
推荐理由:原文显示209M参数模型在三项公开基准均超越更大规模对手,读者可对比精度与算力门槛评估其边缘部署适用场景。
Apertus 项目发布 1.5 版 8B 和 70B 开源模型,新增图像音频理解、思考模式、262,144 token 上下文及更强工具调用。模型权重于2026年7月24日以 Apache 2.0 许可发布在 Hugging Face,全程开放训练数据与细节。
推荐理由:Apertus 1.5以早期融合将图像音频转为离散token,训练细节全开放,研究者可复现各阶段对多模态能力影响。
NVIDIA 加入欧盟 AI in Science Enablers 计划,提供超过 250 个开放模型、1400 个开源项目及算力支持。NVIDIA 正推动欧洲 35 台超级计算机建设,旨在为超过 300 万研究人员提供下一代基础设施。
HiRO-ACEv2 更新降尺度模型 HiROv2,以约 1/300 成本生成全球 3 km 气候数据并准确模拟极端天气。其匹配 X-SHiELD 高分辨率统计误差在 3% 内,10年模拟显示飓风能量与 X-SHiELD 相当,但暂仅支持匹配 X-SHiELD 的气候。
推荐理由:新模型以约 1/300 成本生成全球 3 km 气候数据,让研究者能廉价获取极端天气高分辨率模拟。
LFM2.5-24B-A2B发布,一个24B参数MoE推理模型,仅2B活跃参数,专为端侧快速私有智能体设计。该模型在LiveClaw智能体基准得分48.09,高于Qwen3.6-35B-A3B的38.19,并在Apple M5 Max上实现184 tok/s解码速度。它基于LFM2-24B-A2B架构,将上下文窗口从32K扩展至131K tokens,今日起在Hugging Face开放权重。
推荐理由:该24B参数MoE模型仅2B活跃参数,在智能体任务上接近参数多50%的Qwen3.6-35B-A3B,并支持端侧184 tok/s运行。
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
NVIDIA 联合生态伙伴为即将于10月16日上市的 RTX Spark 笔记本推出本地AI智能体模型与软件更新。新模型 Nemotron 3.5 Bolt 74B 将于10月15日发布,PAIR 结束 beta 并支持 llama.cpp,Broadcast 2.3 等创意应用完成优化。用户可在单台轻薄本上运行本地智能体与创意生成工作流。
推荐理由:RTX Spark笔记本上市前NVIDIA联合伙伴完善本地AI智能体软件栈,用户可据此评估单设备运行agent的可行性
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,覆盖医疗、材料发现、物理 AI 及商业规划领域。此前 NVIDIA 已投资 Alice&Bob 等公司,并在欧洲承诺近 100 亿美元投入技术生态。