Ai2 研究:我们能否信任大语言模型判断研究想法是否新颖
Ai2 发布研究 Old Ideas, Novel Problems 与评测基准、数据及代码,测试大语言模型判断科研想法新颖性的可靠性,发现提示词微调可使同一模型准确率波动超 50 个百分点。测试涵盖 GPT-5.1、Claude Opus 4.6 等六模型,且检索与额外推理未稳定提升判断,专用评估系统成本更高却弱于简单提示基线。该基准与流水线已开放,可应用于新审稿与其他科学社区。
推荐理由:该研究发布新颖性判断基准与开源流水线,可供研究者量化自动科学发现流程里原创性评估的不稳定性与影响因素。