跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 21–30 条 · 共 30 条
5月12日周二
4月30日周四
  1. Google Research62

    Google Research 科学家使用 ERA 开展科研的四种方式

    Google Research 介绍了科学家使用 Empirical Research Assistance(ERA)开展科研的四个方向。公共卫生方面,团队每周向 CDC 的流感、COVID-19 和 RSV 住院预测项目提交全美各州、最长提前四周的实时预测,在流感与 COVID-19 公开排行榜上处于或接近榜首。

    推荐理由:四个跨领域案例展示了 ERA 从预测到机制发现的具体用法,可了解 AI 辅助科研的落地边界。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把训练任务拆成解耦的计算孤岛并以异步数据流连接,从而隔离局部硬件故障。该架构基于 Pathways 和 DiLoCo,在混沌工程测试中丢失整个 learner unit 后仍能继续训练并重新接入;用 Gemma 4 模型验证时,其基准 ML 性能与传统训练方法持平。

    推荐理由:Google DeepMind 用 Gemma 4 实测了跨数据中心异步训练,读者可了解分布式预训练在带宽与容错上的新解法。

3月25日周三
  1. Google Research62

    Google 发布 TurboQuant 等三种向量量化算法,KV cache 压缩至 3 bit 且无精度损失

    Google Research 发布 TurboQuant 压缩算法,并配套提出 QJL 与 PolarQuant,用于解决向量量化中的内存开销问题,三篇工作将分别亮相 ICLR 2026 和 AISTATS 2026。

    推荐理由:Google 提出 TurboQuant 等三种向量量化算法,在 KV cache 压缩与向量搜索上给出可复用的精度与内存权衡方案。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业内部基础设施中训练与治理。该平台以智能体优先设计,Mistral Vibe 这类自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据,用户只需用自然语言即可定制模型。

    推荐理由:原文给出企业用自有数据训练前沿模型的分阶段能力与架构选择,可据此判断自建模型的落地路径。

3月17日周二
  1. Mistral AI62

    Mistral AI 与 NVIDIA 合作加速开源前沿模型

    Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron Coalition,并与 NVIDIA 共同开发前沿开源 AI 模型,结合 Mistral 的模型架构与全栈平台和 NVIDIA 的算力、模型开发工具及合成数据生成管线。

    推荐理由:Mistral 与 NVIDIA 联合开发开源前沿模型并加入 Nemotron Coalition,可了解开源模型生态的算力与协作分工。

3月12日周四
  1. Google Research60

    Google 推出 Groundsource:用 Gemini 把新闻报道转为灾害数据

    Google Research 推出 Groundsource,一种用 Gemini 从非结构化新闻中提取灾害历史数据的方法,并发布首个开放数据集,包含 2000 年至今 150 多个国家的 260 万条城市山洪记录。

    推荐理由:Google 用 Gemini 从 80 种语言新闻中抽取洪水事件,其人工核验准确率与覆盖范围可供评估 LLM 做数据抽取的可行性。

9月9日周二
  1. Mistral AI62

    Mistral AI 完成 1.7B€ C 轮融资,ASML 领投

    Mistral AI 宣布完成 1.7B€ 的 C 轮融资,投后估值 11.7B€,由半导体设备制造商 ASML 领投,现有投资方 DST Global、Andreessen Horowitz、Bpifrance、General Catalyst、Index Ventures、Lightspeed 和 NVIDIA 参投。

    推荐理由:Mistral AI 完成 1.7B€ C 轮融资,由 ASML 领投,读者可了解其估值与半导体产业链合作方向。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有