跳到正文

#推理

今日 2 条
10月12日周一
  1. AWS Machine Learning Blog39

    AWS 发布多节点 Ray LLM 深度学习容器以支持分布式推理

    AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过分离 prefill 和 decode 节点部署大语言模型。该容器预集成 vLLM、NIXL 和 EFA 技术栈,提供 OpenAI 兼容 API,无需编写应用代码即可实现高性能推理。此前 AWS 仅发布了单节点 Ray Serve DLC,此次更新将预构建容器方案扩展至多节点分布式场景。

10月9日周五
10月7日周三
  1. Hugging Face Blog72

    Nemotron 3 微调后在 IOI 2026 与 IMO 2026 均达金牌水平

    Nemotron 3 经 SFT 与 RL 微调后在 IOI 2026 和 IMO 2026 均超过金牌阈值。IOI 2026 中 Nemotron-3-Ultra-CC 获 535.4/600,IMO 2026 系统得 30/42,模型、数据集与 NeMo-Skills 推理管线已在 Hugging Face 开放。

    推荐理由:原文给出了从 Nemotron 3 通过 SFT、RL 与推理循环微调至竞赛金牌水平的复用配方,读者可参照适配其他专业领域。

  2. Microsoft Research49

    Microsoft Research 探讨 AI 评估中的意外失败与数据洞察

    Microsoft Research 研究员 Jennifer Neville 在播客中探讨 AI 系统评估如何推动性能边界,并分析模型在超越传统基准测试时出现的“意外失败”。她指出,当结果违背预期时,深入审视数据至关重要,并分享了与当前 AI 系统协作的实用指南。这一讨论旨在从人类或人工智能路径未如预期展开的经历中汲取教训,以预测 AI 未来的发展方向。

10月6日周二
  1. Mistral AI77

    Mistral 发布 Mistral Large 4 公开预览版

    Mistral 发布 Mistral Large 4 公开预览版,这是一款 1 trillion-parameter 原生多模态开放权重模型,预览 API 已上线、权重月底发布。它在编码、智能体与多模态理解上超越欧美开放权重模型,并支持企业自主部署于网安等敏感领域。此为 Mistral 获 €3 billion Series D 后首个里程碑。

    推荐理由:Mistral Large 4 开放权重预览已上线,企业能在欧洲自建设施部署前沿多模态模型,降低对第三方API与内容审查的依赖。

10月3日周六
10月2日周五
  1. 字节 Seed · 基础模型博客48

    字节 Seed2.1 模型发布

    字节 Seed2.1 模型发布,在 KINA、SuperGPQA 等知识基准及 SWE-Atlas、Terminal Bench 2.1 等代码与智能体任务中取得高分。该模型在 MathVision、MMMU-Pro 等多模态推理及 VideoMME 长视频理解测试中表现优异,展现了其在复杂场景下的综合能力。

  2. Kimi 研究博客81

    月之暗面(Kimi)发布开源思考模型 K2 Thinking

    月之暗面(Kimi)发布开源思考模型 K2 Thinking,作为思考智能体在 HLE(44.9% with tools)、BrowseComp(60.2%)等基准达到 SOTA,支持 200–300 步连续工具调用。模型已在 kimi.ai 聊天模式上线并开放 API,原生 INT4 推理带来约 2 倍生成加速。这是其通过扩展思考 token 与工具步骤进行测试时缩放的最新尝试。

    推荐理由:Kimi K2 Thinking 以开源权重实现 HLE 44.9% 等得分,读者可据此对比闭源前沿模型思考与代理能力差距及适用场景。

  3. DeepSeek 官方动态79

    DeepSeek 发布实验版 V3.2-Exp,引入稀疏注意力并下调 API 价格

    DeepSeek 发布实验性模型 DeepSeek-V3.2-Exp,在 V3.1-Terminus 基础上引入 DeepSeek Sparse Attention 稀疏注意力机制,针对长文本训练和推理效率做优化,在公开评测集上表现与 V3.1-Terminus 基本持平。

    推荐理由:稀疏注意力在公开评测表现基本持平的前提下降低长文本推理成本,API 价格随之下降五成以上。

  4. DeepSeek 官方动态81

    DeepSeek 发布 V3.2 与 V3.2-Speciale 正式版,V3.2 强化 Agent 与思考推理

    DeepSeek 同时发布 DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale 两个正式版模型,网页端、App 和 API 已由 DeepSeek-V3.2-Exp 升级为正式版 V3.2。

    推荐理由:DeepSeek 同时发布 V3.2 与 V3.2-Speciale 两个正式版模型,并把思考模式接入工具调用,读者可据此比较开源与闭源模型在 Agent 评测上的差距。

  5. NVIDIA Blog63

    NVIDIA GPU 如何加速 OpenAI 的 GPT-6 Astra Ultrafast

    GPT-6 Astra Ultrafast 现已在 OpenAI API 及符合条件的 ChatGPT Work 与 Codex 用户中可用,基于 NVIDIA Blackwell GPU 推理优化,token 生成速度较 Astra Standard 模式最高提升 8 倍。

    推荐理由:GPT-6 Astra Ultrafast 在 Blackwell 上比标准模式快最多8倍,可缩短编码智能体在工具调用间的等待,提升交互流畅度。

9月30日周三
  1. AWS Machine Learning Blog83

    GPT-6.1 Sol 在 Amazon Bedrock 正式可用

    GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,为编码、计算机使用和专业工作负载提供更强推理能力。OpenAI 表示该模型在 DeepSWE v1.1 上性能匹配 GPT-6 Astra,但单任务成本约为其五分之一,且比 GPT-6 Sol 最佳成绩高 6.4 个百分点。

    推荐理由:GPT-6.1 Sol 在 Amazon Bedrock 正式可用,以约五分之一成本实现接近 GPT-6 Astra 的推理能力,降低智能体工作流成本。

9月16日周三
8月25日周二
  1. Hugging Face Blog62

    Multiverse Computing 提出 Quantization-Aware Healing:4-bit 压缩模型在 9 项基准中 7 项超过其全精度版本

    Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:对结构压缩并量化的模型,直接从压缩前的原始全精度模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。

    推荐理由:论文给出压缩加量化后从原始教师蒸馏的恢复配方,并附与 QAT 的稳定性对比数据。

8月21日周五
  1. Hugging Face Blog62

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2 倍

    Liquid AI 为 LFM2.5 家族的 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。

    推荐理由:官方给出三个模型在 H100 与 MacBook 上的实测加速比和调用方式,可据此判断端侧推理的可用性。

  2. DeepSeek API 更新日志68

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek 在 API 平台发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp。其纯文本能力与 DeepSeek-V4-Flash 持平,在需视觉理解的 agent 基准上显著跃升,多模态 agent 能力接近 Opus-4.8。调用需设置 model='deepseek-v4-flash-vision-exp'。

    推荐理由:DeepSeek 正式发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,该模型在需视觉理解的 agent 基准上较同族文本模型大幅跃升,多模态 agent 能力接近 Opus-4.8。

8月13日周四
  1. Microsoft Research41

    MindTopo:微软研究院推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。

7月26日周日
7月16日周四
7月15日周三
  1. Hugging Face Blog84

    Thinking Machines 发布 1T 参数多模态开源模型 Inkling 及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文并原生接收图像、文本和音频输入的开源多模态 MoE 模型,同时推出 276B 总参数、12B 激活参数的 Inkling-Small。

    推荐理由:原文给出 Inkling 的架构细节、部署配置与基准对比,读者可据此判断这一开源多模态模型的落地门槛。

7月10日周五
7月2日周四
  1. Mistral AI66

    Mistral 发布 Leanstral 1.5:6B 激活参数形式化验证模型

    Mistral 发布 Leanstral 1.5,一个 Apache-2.0 许可、119B 总参数 6B 激活参数的形式化验证模型,在 miniF2F 上达到 100%,解出 PutnamBench 672 题中的 587 题,并在 FATE-H 取得 87%、FATE-X 取得 34%。

    推荐理由:原文给出 Leanstral 1.5 在形式化验证基准上的具体成绩与每道题成本对比,读者可据此判断开源证明模型的性价比。

7月1日周三
  1. Berkeley AI Research15

    2026 BAIR 研究生展示

    伯克利人工智能研究实验室(BAIR)展示其 2026 届博士毕业生的研究成果,涵盖机器人、大语言模型推理、计算机视觉及 AI 安全等领域。毕业生去向包括 OpenAI、Physical Intelligence、Mistral AI 等机构,以及普林斯顿大学、UCLA 等高校教职。

6月27日周六
6月25日周四
6月11日周四
  1. Google DeepMind74

    Google DeepMind 发布 DiffusionGemma 实验模型,文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理加速,单张 NVIDIA H100 上超过 1000 tokens/秒、RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 4x 加速的实测数字与硬件门槛,读者可据此判断本地低并发场景是否值得换用扩散式生成。

6月9日周二
5月8日周五
  1. Berkeley AI Research45

    自适应并行推理:高效推理扩展的下一个范式

    自适应并行推理(Adaptive Parallel Reasoning)允许模型自主决定何时分解子任务、生成并发线程数量及协调方式,以解决顺序推理导致的上下文膨胀与延迟问题。该范式旨在克服现有固定并行结构无法根据问题复杂度动态调整计算资源的局限,实现更高效的大语言模型推理扩展。

4月20日周一
  1. Berkeley AI Research42

    GRASP 提出基于梯度的长时程世界模型规划方法

    GRASP 是一种针对学习动态(世界模型)的基于梯度的规划器,通过提升轨迹至虚拟状态实现时间并行优化,并在状态迭代中引入随机性以增强探索。该方法通过重塑梯度,使动作获得清晰信号,同时避免通过高维视觉模型计算脆弱的“状态输入”梯度,从而解决长时程规划中优化病态及局部极小值问题。

4月16日周四
3月17日周二
  1. Mistral AI76

    Mistral 发布 Mistral Small 4,统一推理、多模态与编码智能体能力

    Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的模型,采用 Apache 2.0 许可。

    推荐理由:Mistral 首次把推理、多模态与编码智能体能力合并进单一开源模型,并给出可切换的推理强度参数。

3月13日周五
  1. Berkeley AI Research42

    SPEX 和 ProxySPEX 算法实现 LLM 大规模交互识别

    Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和低阶性在大规模下识别 LLM 的关键交互。ProxySPEX 利用层级结构特性,在保持性能的同时将所需的消融次数减少约 10 倍。SPEX 在特征归因任务中,当上下文扩展至数千个特征时,仍能保持与 Faith-Shap 等现有方法相当的高忠实度。

1月10日周六
2025年12月1日周一
  1. DeepSeek API 更新日志69

    DeepSeek 将 deepseek-chat 与 deepseek-reasoner 升级至 DeepSeek-V3.2

    DeepSeek 官方 API 的 deepseek-chat 和 deepseek-reasoner 均已升级到 DeepSeek-V3.2。deepseek-chat 对应 DeepSeek-V3.2 的非思考模式,deepseek-reasoner 对应思考模式。该更新记录于 DeepSeek API 官方更新日志。

    推荐理由:此次版本升级将 DeepSeek 官方的 chat 与 reasoner 接口统一到 V3.2,开发者可按思考与非思考模式选择调用。

2025年11月1日周六

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有