跳到正文

#评测/基准

今日 0 条
11月17日周二
11月16日周一
11月15日周日
11月11日周三
  1. AWS Machine Learning Blog42

    Amazon Bedrock AgentCore 智能体评估指南:内置、DeepEval 与 AutoEval 评测器

    Amazon Bedrock AgentCore 提供内置、DeepEval 和 AutoEval 三类评测器,用于评估智能体在任务完成、工具调用及安全合规方面的表现。该方案支持从业务结果定义成功标准,并将其映射到 Trace 或 Session 级别的观测行为,帮助团队在部署前验证智能体是否真正满足业务需求。

  2. IT之家45

    谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一

    谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件及完成现实知识工作任务的能力。Gemini 4 Carbon 在该测试中质量排名第二,平均任务成本仅为排名第一模型的六分之一。该基准包含 200 项任务,覆盖 10 个行业,目前已通过 Artificial Analysis 平台开放。

11月10日周二
  1. Latent Space58

    前沿实验室采购什么:与 Handshake AI 的数据深度探讨及基准演示

    Latent Space 与 Handshake AI 团队通过播客演示金融、生物与对齐等 agent 基准,显示模型在专项任务上仍远落后人类。Handshake 的 AI 训练业务约一年内从发布增至 $1 billion 年化收入,演示含 ATLAS-Finance 代理处理银行邮件错漏、VIALS 脑切片识别误加等。这是 Latent Space 首次与 AI 数据公司深潜。

11月9日周一
  1. 量子位68

    腾讯混元跻身最强开源模型!一手实测Hy4:搭配WorkBuddy,多模态Agent交付力拉满

    腾讯混元Hy4正式版在一手实测中搭配WorkBuddy展现多模态Agent交付力,跻身最强开源模型之列。模型770B总参数49B激活,首次引入原生视觉与电脑操作,已在腾讯云等上线且权重近期开源。实测通过3D键盘、PPT等案例展示其长程任务自主执行与自检能力,金融科研任务表现领先。此为preview后的正式版,Hy4 flash端侧版也在路上。

11月8日周日
  1. The Decoder41

    Thinking Machines 的 Inkling 2 Small 在基准测试中频繁出现脏话

    Vals AI 研究人员分析 Thinking Machines 的 Inkling 2 Small 在 13 个基准测试中的 2,655 次运行日志,发现 50 次运行中出现 316 次脏话。其中 241 次来自两次失控运行,包括一次生成约 50 万字符的重复响应。尽管 46 次含脏话的评分运行中 48 次失败,但 96% 的失败运行并未包含脏话,表明脏话并非有效的失败预警信号。

11月7日周六
11月6日周五
  1. MIT Technology Review · AI57

    记者体验 Tau Robotics 人形机器人清洁服务:远程操控下初窥未来家务

    记者体验了 Tau Robotics 的人形机器人清洁服务,发现当前机器人需人类远程操控且动作笨拙,但能完成厨房与马桶清洁。Tau 以30至60美元价格收集真实数据训练自主模型,部分任务如吸尘已可无人协助。该机器人仍处于测试阶段,公司迄今仅完成数百次清洁。

11月5日周四
  1. Hugging Face Blog62

    Phonon TTS 深度解析:设备端高质量语音模型登顶基准

    Gradium 解析其两周前开放的设备端 TTS 模型 Phonon,给出它在 Hugging Face Open TTS Leaderboard 的评测与离线演示。Phonon 31m 约 65MB 且 Apache 2.0 开源,在德语西班牙语 intelligibility 排名第一,CPU 流式延迟领先。这是 Phonon 首个开源发布,两周下载超 200,000 次。

    推荐理由:文章详细列出 Phonon 在 Hugging Face Open TTS Leaderboard 的多语种 intelligibility 排名与 CPU 流式延迟优势,便于评估小体积语音模型端侧落地可行性。

11月4日周三
11月3日周二
  1. IT之家48

    OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的“人间烟火”技能

    OpenAI 发布 LifeVal 基准,旨在衡量 AI 模型协助普通人完成日常事务的能力。该基准覆盖照护、健康、财务等场景,公开示例显示“为孩子找幼儿园”任务得分 93.1%,“组织防洪志愿者”得分 98.0%。目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集及评分代码。

11月2日周一
  1. Import AI34

    Realtime-Bench 显示 LLM 难以胜任低延迟任务

    研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。

11月1日周日
  1. The Verge · AI52

    作者抢在Meta前借助Claude Code自制AI Tamagotchi(基于Meta开源devkit)

    作者Sean Hollister用50美元Meta官方认可的Waveshare ESP32-S3套件,借Claude Code自制出带AI对话与Tamagotchi小游戏的随身设备。原devkit功能残缺,经Claude添加ElevenLabs语音、远程拍照、多头像和口袋手表面等。他指出专用硬件价值在可自由编程,而非Muse模型,并猜想Meta Muse Charm出货后是否同样开放可编程。

10月30日周五
  1. Microsoft Research27

    Microsoft 构建行业评估数据生成平台以建立 Copilot 企业级 AI 置信度基准

    Microsoft 构建了行业评估数据生成平台,利用 O*NET、在线招聘及 SEC 文件等公开数据生成全规模合成企业环境,以解决真实数据敏感性与评估需求间的矛盾。该平台通过模拟动态组织结构和自动化查询管道,建立了 Microsoft Copilot 的首个标准化评估基准,确保在完全不接触客户数据的前提下验证 AI 系统的准确性与安全性。

10月29日周四

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有