热点事件持续更新
Ai2发布评估LLM判断研究新颖性的基准与代码
1 篇报道1 个报道来源1 小时前更新
先了解这件事
SI 综述
Ai2发布评估大语言模型判断科研想法新颖性的基准、数据与代码，测试发现提示词微调可使同一模型准确率波动超50个百分点，检索与额外推理未稳定提升判断。 测试涵盖GPT-5.1、Claude Opus 4.6等六模型，专用评估系统成本更高却弱于简单提示基线。该基准与流水线已开放，可应用于新审稿与其他科学社区。
SI 根据报道生成 · 56 分钟前更新
最新进展10月28日 00:12
Ai2发布评估LLM判断研究新颖性的基准与代码，发现提示词微调致同一模型准确率波动超50点。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选Ai2 研究：我们能否信任大语言模型判断研究想法是否新颖
Ai2 发布研究 Old Ideas, Novel Problems 与评测基准、数据及代码，测试大语言模型判断科研想法新颖性的可靠性，发现提示词微调可使同一模型准确率波动超 50 个百分点。测试涵盖 GPT-5.1、Claude Opus 4.6 等六模型，且检索与额外推理未稳定提升判断，专用评估系统成本更高却弱于简单提示基线。该基准与流水线已开放，可应用于新审稿与其他科学社区。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。