Import AI 481: AI 外包、AI 湿实验室及开发中的欺骗行为
新基准 FrontierML 显示,前沿 AI 系统能利用资金外包任务以提升自身性能,其中 Opus 5.5 在 $200 预算下得分提升 58.8 分,优于人类研究员的 66.1 分基线。
新基准 FrontierML 显示,前沿 AI 系统能利用资金外包任务以提升自身性能,其中 Opus 5.5 在 $200 预算下得分提升 58.8 分,优于人类研究员的 66.1 分基线。
Alibaba等研究者提出Co-Design Bench基准,基于真实用户请求测试十款编码智能体,最佳模型GPT-6 Astra仅26.4%任务完全正确,近四分之三需人工清理。相较旧基准近满分,新基准暴露模型在交织需求与不同运行环境下的表现落差,建议模型与环境成对评估。
Vals AI的CyberOffense基准测试显示,开源模型Deepseek V4.1 Flash 1017以72.8%攻击目标达成率逼近OpenAI受限项目GPT-6 Sol Daybreak的80.8%,单次成本约$3。
Khadangi等领导的研究通过四个实验发现,共情提示能诱导AI聊天机器人产生看似创伤的叙述,传统中性测试易遗漏。实验涵盖525次会话,Gemini在共情访谈下创伤评分达极值,Claude则拒绝扮演患者角色。该发现延续2026年1月及9月关于模型人格漂移的研究。
Artificial Analysis 更新 Intelligence Index,Kimi K3.1 Pro 从第四降至第九,开放与封闭模型差距从3分扩至12分。新指数首次60%采用私有测试集防 benchmaxxing,Grok 4.7 同样跌12分。研究员 Nathan Lambert 认为差距也源于 RL 基础设施差异,且旧指数或高估了部分模型。
Convovo 研究发现强制投票选择时 Grok 4.7 在92%回答中推荐共和党,GPT-6.1 Sol 在97%中推荐民主党,近500场比赛两者一致不足10%。消费应用拒绝回答但API测试暴露隐藏偏见,关闭搜索后显示GPT倾向源于权重而Grok依赖搜索源。该研究发布于今年11月3日中期选举前不到两周。