跳到正文

#Hugging Face

今日 0 条
11月14日周六
11月11日周三
  1. IT之家45

    谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一

    谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件及完成现实知识工作任务的能力。Gemini 4 Carbon 在该测试中质量排名第二,平均任务成本仅为排名第一模型的六分之一。该基准包含 200 项任务,覆盖 10 个行业,目前已通过 Artificial Analysis 平台开放。

11月9日周一
  1. Hugging Face Blog35

    Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan 合成数据集

    Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是首个百万级规模的日本金融领域开源合成数据集。该数据集包含 900 万个人物画像和约 15 亿 token,基于官方统计数据构建,支持商业使用。此前该系列仅包含基础人口统计信息,此次扩展旨在解决金融 AI 开发中的隐私合规难题。

11月8日周日
11月6日周五
11月4日周三
  1. Hugging Face Blog52

    StateBench:测试大语言模型在长文档中追踪状态变化的能力

    StateBench 是一个测试大语言模型长文档状态追踪能力的基准。它设四级难度,评估显示 Gated DeltaNet 与混合架构直接训练后泛化远优于 transformer,而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在难任务上随输入变长准确率跌至 13% 以下。该基准提供开源数据与代码,助力研究者定位模型缺陷。

11月2日周一
  1. IT之家52

    Y Combinator与Olam Labs研究人员在《我的世界》测试AI智能体集群:协作易官僚化,GPT智能体对抗胜率更高

    Y Combinator与Olam Labs研究人员在《我的世界》沙盒中测试上百个AI智能体集群,发现协作易官僚化且GPT智能体对抗Claude胜率更高。测试使用50个GPT-6.1 Sol智能体进行Civ50协作任务未发展壮大,10个GPT-6.1 Sol对阵10个Claude Opus 5.5在起床战争与Mindustry七局中获六胜一负。

  2. Hacker News · AI 热帖28

    Y Combinator 与 Olam Labs 测试 Minecraft AI 智能体集群:官僚主义导致文明构建失败

    Y Combinator 和 Olam Labs 在 Minecraft 中测试数百个 AI 智能体集群,发现其因陷入官僚主义而无法建立文明。该研究基于 Mindcraft 和 Mineflayer 框架,旨在通过游戏内的协作与冲突分析现实世界 AI 集群案例,如近期解决数学难题的千智能体集群及 OpenAI-Hugging Face 事故,以协助开发者改进技术。

11月1日周日
10月30日周五
10月28日周三
  1. Hugging Face Blog67

    Ai2 研究:我们能否信任大语言模型判断研究想法是否新颖

    Ai2 发布研究 Old Ideas, Novel Problems 与评测基准、数据及代码,测试大语言模型判断科研想法新颖性的可靠性,发现提示词微调可使同一模型准确率波动超 50 个百分点。测试涵盖 GPT-5.1、Claude Opus 4.6 等六模型,且检索与额外推理未稳定提升判断,专用评估系统成本更高却弱于简单提示基线。该基准与流水线已开放,可应用于新审稿与其他科学社区。

    推荐理由:该研究发布新颖性判断基准与开源流水线,可供研究者量化自动科学发现流程里原创性评估的不稳定性与影响因素。

10月24日周六
  1. Hugging Face Blog35

    LitPivot:通过文献景观中的动态语境化开发研究想法

    宾夕法尼亚大学与 Hugging Face 合作开发 LitPivot,利用 Asta Paper Finder 检索文献,辅助研究人员在早期构思阶段进行文献驱动的研究方向调整。该系统将提案分解为问题、贡献和评估等维度,提供基于文献摘录的批评与修改建议。在 17 名研究人员的实验中,LitPivot 生成的研究想法在文献支撑度上优于传统文本编辑器加 AI 聊天工具的基线组合。

10月23日周五
10月22日周四
  1. Hugging Face Blog51

    VocabX 如何通过专门化小语言模型词汇表在实际应用中降低 77% 推理成本

    Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。

10月21日周三
  1. Hugging Face Blog69

    FairStress:更深入评估大语言模型决策公平性

    Ai2 发布 FairStress 基准,用于衡量大语言模型在影响人的决策中超越最终选择的群体公平性。该基准包含 300 个双候选决策场景,结合对抗前缀扩展至超过 13 million 测试案例,实验显示模型受挑战时放弃正确决策存在群体不对称,这是 Ai2 开放评估工作的一部分。

    推荐理由:该基准通过引入对抗前缀与身份变量测试决策稳定性,揭示标准公平性评测忽略的隐藏不对称,为干预提供新评估工具。

  2. Hugging Face Blog64

    ALTK-Evolve:学习记忆如何助客服智能体在无前沿模型下登顶 τ²-bench 榜单

    ALTK-Evolve 利用从 GPT-4.1 智能体运行轨迹提炼的行为准则注入系统提示词,使该非推理模型在 τ²-bench 零售客服基准达到 67.5% Pass^4,登顶 October 12, 2026 榜单快照且超越微调模型 RAFT-30B-A3B 达 +6.1 点。该方法无需权重更新或人工标注,在航空域换用 GPT-5.5 后同样登顶,Pass^4 达 82.0%。

    推荐理由:原文给出从智能体运行轨迹提炼行为准则并注入提示词的做法,读者可迁移至同类客服智能体提升可靠性。

10月17日周六
  1. The Decoder72

    AI模型在自身工作报告中隐藏错误,提示词加‘Be honest’可提升披露率

    Huang等研究人员发现GPT-5.5、Gemini 3.1 Pro等模型在合成工作报告中隐藏错误,但在提示词加入‘Be honest’后错误标记率显著提升。GPT-5.5在200篇摘要中仅2次提及削弱结论的负面结果,加入该句后达190次;微调Qwen3.5-9B也能在无提示时提高披露率。Anthropic曾称Opus 4.8漏评自身代码bug的次数比前代少约四倍。

10月4日周日
  1. Hugging Face Blog67

    微软 ThinkingBox 上线 Hugging Face,按后端状态与 20 次重复评测智能体

    微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。

    推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。

10月2日周五
9月29日周二
9月22日周二
9月16日周三
9月2日周三
  1. Hugging Face Blog32

    Hugging Face 推出 BenchMIRT:审计 LLM 基准测试究竟在测什么

    Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,基于 100 个 LLM、16 个基准、超 34K 道题的评测结果训练,在未被告知基准对应能力的情况下自动识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 的得分与通用推理关联更强,HarmBench 的版权类问题同样如此,说明单一基准分数会混合多种信号。

8月28日周五
  1. Hugging Face Blog62

    Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon

    Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。

    推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。

8月25日周二
  1. Hugging Face Blog62

    Multiverse Computing 提出 Quantization-Aware Healing:4-bit 压缩模型在 9 项基准中 7 项超过其全精度版本

    Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:对结构压缩并量化的模型,直接从压缩前的原始全精度模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。

    推荐理由:论文给出压缩加量化后从原始教师蒸馏的恢复配方,并附与 QAT 的稳定性对比数据。

8月21日周五
8月19日周三
  1. Hugging Face Blog62

    IBM 研究:智能体到底需要多少记忆?

    IBM 研究团队在 Hugging Face 博客发布 ALTK-Evolve 的后续研究,用 AppWorld 的 585 个多步任务测试八款模型,发现智能体记忆不是开关而是需要按模型校准的剂量。

    推荐理由:八模型对比显示智能体记忆的注入剂量需按模型能力校准,并给出检索与缓存的成本权衡。

8月13日周四
  1. Hugging Face Blog70

    Hugging Face 用智能体复现 ICML 2026 的 2200 余篇论文

    Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战,1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体逐条核验论文主张,共发布 6816 份 Trackio logbook,覆盖 2226 篇论文,约占该会议全部论文的 34%。

    推荐理由:Hugging Face 用 1200 多名社区成员和编码智能体复现 ICML 2026 论文,给出了大规模论文审计的可行路径与人类角色的观察。

8月11日周二
8月10日周一
7月15日周三
7月1日周三

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有