量子位· 允中·· 4 小时前
UniPat AI 发布 PaperBenchX,GPT-6 Astra 论文复现率仅 13.98%
ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?
SI 导读
UniPat AI 发布多学科端到端论文复现基准 PaperBenchX,表现最强的 GPT-6 Astra 在 93 个任务中完整复现率仅为 13.98%。该基准覆盖 12 个研究方向,要求 Agent 在隔离环境中重跑工作流以验证科学证据,目前团队已开源 12 个代表性测试任务。
SI 评分34
来源:量子位 · qbitai.com