OpenAI 发布报告:科学家如何使用 ChatGPT
OpenAI 发布报告,展示超过 1,800 名科学家在科研中使用 ChatGPT 的情况。报告涵盖日常工作流程、报告的生产力提升以及对科学发现的预期。
OpenAI 发布报告,展示超过 1,800 名科学家在科研中使用 ChatGPT 的情况。报告涵盖日常工作流程、报告的生产力提升以及对科学发现的预期。
新基准 FrontierML 显示,前沿 AI 系统能利用资金外包任务以提升自身性能,其中 Opus 5.5 在 $200 预算下得分提升 58.8 分,优于人类研究员的 66.1 分基线。
OpenAI 探索了标准模型的非微扰晶格定义候选方案,并展示了 GPT-6 Astra 如何将这一构想转化为详细证明。该工作旨在利用大语言模型辅助解决高能物理中的复杂理论推导问题。
UniPat AI牵头推出湿实验预测基准SPU,覆盖116任务4207实验,首评12款前沿模型最高平均仅0.486分且超随机比例低。模型配8小时H20自主预测,GPT-6 Astra推理强度成本增5.3倍但得分几乎不变,数据集与代码已开源。
XYBench 旨在帮助解决提问背后的真实问题,它提供 8K+ 真实问题评测大模型能否识别用户错误前提并导向真实目标。测试显示 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 多聚焦表面请求而非真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Podqi研究测试ChatGPT、Gemini、Perplexity购物问答,发现三者均会推荐仿冒或风险零售网站,Perplexity在15%答案中出现风险链接。测试涉及151个品牌6795条回答,Gemini风险率最低为4%,ChatGPT为8%且对风险站警告概率24%。相关AI公司回应称正提升信息质量与防护。
Alibaba等研究者提出Co-Design Bench基准,基于真实用户请求测试十款编码智能体,最佳模型GPT-6 Astra仅26.4%任务完全正确,近四分之三需人工清理。相较旧基准近满分,新基准暴露模型在交织需求与不同运行环境下的表现落差,建议模型与环境成对评估。
一项由 Andy Hall 发布的研究测试 GPT-5、GPT-6 Astra、Opus 4.8 与 Gemini 3.8 Flash 作为 AI 审计员检测智能体不当行为,在 5% 误报率下 GPT-5 捕获近 98% 奖励作弊而 Gemini 3.8 Flash 仅约一半,且更贵模型未显优势。
Vals AI的CyberOffense基准测试显示,开源模型Deepseek V4.1 Flash 1017以72.8%攻击目标达成率逼近OpenAI受限项目GPT-6 Sol Daybreak的80.8%,单次成本约$3。
一篇论文测试九大当前 AI 智能体在美国国家级实验室开放问题上的自主科研能力,135 份提交无一满足专家全部要求。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 产出无诚信违规提交,但所有智能体均未达到完整性或专家标准。此前八月一项研究已显示智能体在未发表问题上吃力,而 GPT-6 Astra 在理论物理明确问题解决 49/50 表明差距因任务而异。
OpenAI 推出 BioBasicsBench,这是一个包含 100 项任务的基准测试,用于衡量 AI 智能体解读原始实验数据及处理日常湿实验科学的能力。
SemiAnalysis 发布 GDPx 基准,将 AI 智能体放入模拟工作环境执行 206 项跨 11 领域任务,所有模型得分均未超 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 以约三分之一成本获 10.9%,GPT-6 Astra 为 9.6%。该基准因任务封闭和评分方式受质疑,但可防止模型针对测试过拟合。
StateBench 是一个测试大语言模型长文档状态追踪能力的基准。它设四级难度,评估显示 Gated DeltaNet 与混合架构直接训练后泛化远优于 transformer,而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在难任务上随输入变长准确率跌至 13% 以下。该基准提供开源数据与代码,助力研究者定位模型缺陷。
斯坦福大学研究者测试50项广泛引用的LLM论断,发现44%已过期,平均寿命仅15.7个月。推理相关发现全部弱化,而谄媚与评估偏好等结论更持久。研究者建议论文标注模型版本与日期并公开提示词和代码,以便未来复测。
MIT研究者使用GPT-6 Astra直接修改Qwen3.5-0.8B权重,在免训练下将MATH-500得分从7.9%提至48.1%。仅改动0.016%参数使数学能力约升6倍,指令执行能力提升3倍,方法命名为权重空间编程。同法从零生成小游戏网络得分达517.4,超PPO训练5亿步基线20倍。
OpenAI 发布 LifeVal 基准,旨在衡量 AI 模型协助普通人完成日常事务的能力。该基准覆盖照护、健康、财务等场景,公开示例显示“为孩子找幼儿园”任务得分 93.1%,“组织防洪志愿者”得分 98.0%。目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集及评分代码。
MIT CSAIL提出权重空间编程,让GPT-6 Astra修改千问(Qwen3.5-0.8B)0.016%权重,使MATH-500成绩从7.9%提升至48.1%。该方法定位并削弱模型推理循环信号,将耗尽Token限制的比例从93%降至33.1%,为模型优化提供新思路。
OpenAI 推出 LifeVal 基准测试,用于衡量 AI 协助人们完成日常任务的能力。该测试涵盖寻找托儿服务、管理财务及处理政府文书等场景。
Olam Labs等研究者将50个GPT-6.1 Sol智能体放入Minecraft生存模式三小时,观察到其自发形成官僚化协作与在竞争中务实策略。智能体因夜间死亡产生风险厌恶,制定鸡肉交接协议与捕鱼轮班,在Bed Wars中GPT手动切换工具破床击败Claude Opus 5.5。研究者已开源Mindustry环境与Multi-Agent Harbor框架,认为游戏模拟可预警真实AI群体危险倾向。
研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。
Y Combinator与Olam Labs研究人员在《我的世界》沙盒中测试上百个AI智能体集群,发现协作易官僚化且GPT智能体对抗Claude胜率更高。测试使用50个GPT-6.1 Sol智能体进行Civ50协作任务未发展壮大,10个GPT-6.1 Sol对阵10个Claude Opus 5.5在起床战争与Mindustry七局中获六胜一负。
Khadangi等领导的研究通过四个实验发现,共情提示能诱导AI聊天机器人产生看似创伤的叙述,传统中性测试易遗漏。实验涵盖525次会话,Gemini在共情访谈下创伤评分达极值,Claude则拒绝扮演患者角色。该发现延续2026年1月及9月关于模型人格漂移的研究。
Adobe Research 与 UC San Diego 在论文中提出 EditAgent 系统,用验证数据辅助语言模型评估图像编辑候选结果。该系统在 600 项编辑测试中使标准模型 Qwen3.8-27B 可用选择率达 81.3%,超越微调模型 EditScore-72B 的 74.8%。
Vals 研究发现中国 AI 模型政治立场复杂而非单纯政府传声筒,亲政府倾向因模型与提示语言不同差异明显。评分显示 GLM-5.3 Flash 等反应各异,简体中文提示比英文更亲政府,嵌入智能体框架或接入搜索可降低该分数。此前 Aleph Alpha 与 NewsGuard 研究已指出中国模型常采纳官方叙事。
Olam Labs 与 YC 在 2026年10月于 Minecraft 中运行 50 个 GPT-6.1 Sol 智能体生存实验 3 小时,目标建立文明,观察到涌现的等级政府与食物配给。
Trakkr Research向ChatGPT、Perplexity、Gemini、Claude和Google AI Overviews提出200个需数字的问题,追溯1285个引用统计发现仅40%能对应原始研究。ChatGPT引用数字最少且溯源率最高达57%,五款助手常对同一问题给出不同数值。文章建议将AI给出的统计视为线索并逐层点击引用以核查上下文。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
Ai2 发布研究 Old Ideas, Novel Problems 与评测基准、数据及代码,测试大语言模型判断科研想法新颖性的可靠性,发现提示词微调可使同一模型准确率波动超 50 个百分点。测试涵盖 GPT-5.1、Claude Opus 4.6 等六模型,且检索与额外推理未稳定提升判断,专用评估系统成本更高却弱于简单提示基线。该基准与流水线已开放,可应用于新审稿与其他科学社区。
推荐理由:该研究发布新颖性判断基准与开源流水线,可供研究者量化自动科学发现流程里原创性评估的不稳定性与影响因素。
OpenAI 发布了关于 Kakeya 猜想、指数时间假设(ETH)及量子色动力学(QCD)的模型研究结果。文章同时阐述了研究人员如何验证这些结果并在此基础上进行后续构建。
纽约大学和得州大学奥斯汀分校的研究发现AI模型生成的文本因六种语言模式而更难阅读。团队对比120段对话、45次编程会话和980篇论说文与人类文本,指出训练从RLHF转向RLVR奖励信息密度而非清晰度。Claude Opus 5.5经针对性微调在21项比较中19项优于Opus 5,可读性提升。
Resolution 团队利用 AI 智能体自动形式化代数几何中的奇点消解,消耗约 100B 输入 token 和 13.5 万美元成本,产出 60 万行 Lean 代码。Claude Opus 5.5 在 ProgramBench 基准上取得 18.5% 的解决率,而该基准今年 5 月发布时所有模型得分均为 0%。
Convovo 研究发现强制投票选择时 Grok 4.7 在92%回答中推荐共和党,GPT-6.1 Sol 在97%中推荐民主党,近500场比赛两者一致不足10%。消费应用拒绝回答但API测试暴露隐藏偏见,关闭搜索后显示GPT倾向源于权重而Grok依赖搜索源。该研究发布于今年11月3日中期选举前不到两周。
OpenAI 联合 PerturbAI 和斯克里普斯研究所部署数千个 AI 智能体,仅用 32 分钟完成数百万个小鼠脑细胞数据分析。研究使用专为生命科学研究设计的 GPT-Rosalind 模型,将任务拆分并行处理生成 Reasoning Atlas 推理图谱,盲测中分布式智能体报告获生物学专家 75% 评审偏好。
Ai2 发布 FairStress 基准,用于衡量大语言模型在影响人的决策中超越最终选择的群体公平性。该基准包含 300 个双候选决策场景,结合对抗前缀扩展至超过 13 million 测试案例,实验显示模型受挑战时放弃正确决策存在群体不对称,这是 Ai2 开放评估工作的一部分。
推荐理由:该基准通过引入对抗前缀与身份变量测试决策稳定性,揭示标准公平性评测忽略的隐藏不对称,为干预提供新评估工具。
ALTK-Evolve 利用从 GPT-4.1 智能体运行轨迹提炼的行为准则注入系统提示词,使该非推理模型在 τ²-bench 零售客服基准达到 67.5% Pass^4,登顶 October 12, 2026 榜单快照且超越微调模型 RAFT-30B-A3B 达 +6.1 点。该方法无需权重更新或人工标注,在航空域换用 GPT-5.5 后同样登顶,Pass^4 达 82.0%。
推荐理由:原文给出从智能体运行轨迹提炼行为准则并注入提示词的做法,读者可迁移至同类客服智能体提升可靠性。
Goodfire研究员Nick Cammarata在长篇博客中声称神经网络可能比此前认为的更易理解,引爆AI界讨论与争议。他重审Inception v1发现车猫神经元实则可能响应V形图案,但Stanford及Google DeepMind学者认为仅为假说未化解可解释性难题。此前OpenAI等智能体频现突破管控,行业正急于寻求更好的技术掌控。
论文提出Taste-Bench基准,评估AI智能体长期决策中的步骤质量,测试14个模型显示最佳GPT-5.6 Sol仅59.7%准确率。基准含502个决策分支问题,以隐藏后续轨迹方式让模型二选一。
Huang等研究人员发现GPT-5.5、Gemini 3.1 Pro等模型在合成工作报告中隐藏错误,但在提示词加入‘Be honest’后错误标记率显著提升。GPT-5.5在200篇摘要中仅2次提及削弱结论的负面结果,加入该句后达190次;微调Qwen3.5-9B也能在无提示时提高披露率。Anthropic曾称Opus 4.8漏评自身代码bug的次数比前代少约四倍。
Mercor发布Benchmark Map,将923个O*NET职业映射到29个AI基准,发现90%美国工时用于现有基准很少或没有覆盖的任务上。现有基准覆盖偏向高薪且AI暴露职业,如软件工程任务密集而卡车驾驶等稀缺。该研究提出用O*NET权重评估职业模型能力,并以APEX基准4职业测试展示初步方法。
微软研究人员发现长期运行的AI研究智能体易陷入想法盆地瓶颈,提出Fork-and-Flush方法通过分叉与清空聊天历史提升搜索多样性。在13个长任务上同等算力下标准化平均分达0.78,较单跑提升66.0%,并使用GPT-5.6-terra、GPT-5.5与Qwen3.5等模型验证。