Allen AI 发布 Olmo-core 3:面向大规模 MoE 的开放训练基础设施
Allen AI 发布 Olmo-core 3,一套面向大规模 MoE 的开放训练框架,设计目标是把 MoE 训练扩展到万亿参数级。
Allen AI 发布 Olmo-core 3,一套面向大规模 MoE 的开放训练框架,设计目标是把 MoE 训练扩展到万亿参数级。
小米发布 MiMo-V2.6 系列两款原生全模态开源模型,MiMo-V2.6-Pro 为 1.02T 总参数、42B 激活参数,Artificial Analysis 智能指数 46,位列开源权重模型首位,定价 $0.435/M 输入、$0.87/M 输出 token,采用 MIT 许可。
推荐理由:小米首次进入前沿开源模型序列,其RL环境与训练配方开源,可观察后训练成本压缩到何种程度。
Google 发布 TimesFM-3,这是其新一代时间序列基础模型,原生预训练支持多变量预测,参数量 3.3 亿,预训练语料超过 1 万亿个时间点。模型支持多目标、历史协变量和已知未来协变量,采用交替注意力架构与 Contiguous Patch Masking,单次前向传播即可生成整个预测区间,并为每个目标输出 10 到 90 分位的 9 个分位数。
微软研究院推出 GigaPath-Flash 和 GigaTIME-Flash,以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干替代原模型,在 PANDA 前列腺分级和 EBRAINS 脑肿瘤分型基准上以约 50 倍更少算力达到原 GigaPath 3% 以内的性能。
Google DeepMind 发布 WeatherNext AI 模型,在预测气旋路径、强度和风场结构上达到 SOTA,平均为预报员多争取约一天的预警时间,三天预报精度相当于此前模型的两天水平。
推荐理由:原文给出气旋路径与强度预报多出约一天预警时间,并开源模型权重与代码,读者可据此判断气象预报工作流的可用变化。
Google 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,将表格预测建模为上下文学习问题,无需手动训练、超参数调优和特征工程,单次前向传播即可对未见过的表格生成预测。
推荐理由:原文给出 TabFM 的架构设计与 TabArena 基准表现,读者可据此判断零样本表格预测能否替代传统树模型流程。