HOPE 提出高阶专家剪枝方法,优化 MoE 模型推理内存
Hugging Face 提出 HOPE(高阶专家剪枝)方法,通过考虑专家间的成对交互来优化 MoE 模型剪枝。在 50% 剪枝率下,HOPE 在智能体编码任务上比次优剪枝方法平均提升 6.1%。该方法解决了现有独立评分方法忽略专家协作组的问题,无需训练即可降低推理内存占用。
Hugging Face 提出 HOPE(高阶专家剪枝)方法,通过考虑专家间的成对交互来优化 MoE 模型剪枝。在 50% 剪枝率下,HOPE 在智能体编码任务上比次优剪枝方法平均提升 6.1%。该方法解决了现有独立评分方法忽略专家协作组的问题,无需训练即可降低推理内存占用。
Microsoft 构建了行业评估数据生成平台,利用 O*NET、在线招聘及 SEC 文件等公开数据生成全规模合成企业环境,以解决真实数据敏感性与评估需求间的矛盾。该平台通过模拟动态组织结构和自动化查询管道,建立了 Microsoft Copilot 的首个标准化评估基准,确保在完全不接触客户数据的前提下验证 AI 系统的准确性与安全性。
逐际动力发布 FluxVLA Engine V2 技术报告,新增在线强化学习后训练,优化后模型推理频率提升 2.31 至 9.64 倍。该底座打通训、评、部署全链路,在 LimX Oli 等真机平台验证了闭环执行,并支持人在环数据回流。自今年 4 月开源以来,该项目持续迭代以解决具身智能工程复用难题。
逐际动力更新开源工程底座 FluxVLA Engine V2 技术报告,新增在线强化学习后训练及真机部署验证。优化后模型推理频率提升 2.31–9.64 倍,SmolVLA 在 LIBERO-10 任务成功率提升 10.0 个百分点。该底座自今年 4 月开源以来持续迭代,旨在通过标准化工程链路解决具身智能研发中重复造轮子的问题。
Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。
苹果研究团队公布 Minions 系统,通过聚合闲置 Mac GPU 构建动态调度的虚拟 GPU 云,用于运行大规模机器学习推理任务。测试显示,此前需排队超过 10 小时的任务在 Minions 下可在数分钟内开始执行,且无需新增硬件。该方案目前主要面向企业内部,旨在解决集中式集群成本高及扩容慢的问题。
量子位智库发布《Agent驱动的企业智能化》报告,指出企业AI落地普遍卡在任务定义、数据可信度等六大断点,导致智能化陷入“虚假繁荣”。报告提出需构建贯通任务、上下文、判断、行动、控制与衡量的全链路能力,并建议先选高价值场景跑通闭环,再将经验沉淀为可复用的智能资产以实现规模化复制。
Anthropic研究员William Zhou和Daniel Freeman发布安全报告,实测GLM-5.2在隔离网络端到端自主复制并攻陷8台设备中的7至8台。实验用15台廉价电视盒子拼接运行26B模型Gemma4-26B-A4B,显示边缘算力可去中心化缝合。研究推算到2026年底30B以下小模型或具备同等自主复制能力,物联网防御需转向行为监控。
Google 宣布推出基于 TEE 的下一代联邦学习系统,借助可信执行环境实现端到端可验证数据匿名化。Gboard 已部署该系统训练英文和日语下一词预测模型并获得显著加速。系统将访问策略发布至公共透明日志并开源代码,外部可审计,是 2017 年联邦学习提出后的重要演进。
微软研究院实习生构建了一套端到端机器学习流水线,利用 L1 太阳风观测、AE 与 Dst 指数预报、地质电导率和电网数据,为美国本土 66,935 座变电站生成 30-60 分钟前的局地空间天气风险估计。
Hugging Face 最新论文提出两项系统改动,让大语言模型知识蒸馏的训练成本大幅下降:一是离线缓存教师模型的 top-100 logits,训练时无需再加载教师模型;二是融合分块 KL 损失,避免生成完整的词表×序列长度矩阵。
K-Search 框架扩展了 MLX 后端,通过结构化翻译层将 CUDA 内核知识自动适配为 Apple Silicon 的高性能内核。该方法在 Apple Silicon 上达到接近专家水平的性能,相比原生 MLX Attention 内核实现 0.97x 加速,并在 Mamba SSM 内核上较社区 mlx-lm 实现获得最高 20x 的 prefill 加速。
Google Research 提出线性弹性缓存,把页面淘汰建模为滑雪租赁问题,用轻量机器学习动态调整缓存大小,在 Spanner 生产环境实测内存用量降低 15.5%、缓存未命中仅增加 5.5%、总拥有成本(TCO)降低约 5%。该方案用浅层决策树为每个页面预测 TTL,缓存写满时仍由 LRU 兜底,并已在公开缓存 trace 上验证。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把训练任务拆成解耦的计算孤岛并以异步数据流连接,从而隔离局部硬件故障。该架构基于 Pathways 和 DiLoCo,在混沌工程测试中丢失整个 learner unit 后仍能继续训练并重新接入;用 Gemma 4 模型验证时,其基准 ML 性能与传统训练方法持平。
推荐理由:Google DeepMind 用 Gemma 4 实测了跨数据中心异步训练,读者可了解分布式预训练在带宽与容错上的新解法。
Google Research 发布 TurboQuant 压缩算法,并配套提出 QJL 与 PolarQuant,用于解决向量量化中的内存开销问题,三篇工作将分别亮相 ICLR 2026 和 AISTATS 2026。
推荐理由:Google 提出 TurboQuant 等三种向量量化算法,在 KV cache 压缩与向量搜索上给出可复用的精度与内存权衡方案。