Vals AI基准测试显示开源与闭源AI模型网络攻击能力差距持续缩小
Vals AI的CyberOffense基准测试显示,开源模型Deepseek V4.1 Flash 1017以72.8%攻击目标达成率逼近OpenAI受限项目GPT-6 Sol Daybreak的80.8%,单次成本约$3。
Vals AI的CyberOffense基准测试显示,开源模型Deepseek V4.1 Flash 1017以72.8%攻击目标达成率逼近OpenAI受限项目GPT-6 Sol Daybreak的80.8%,单次成本约$3。
SemiAnalysis 发布 GDPx 基准,将 AI 智能体放入模拟工作环境执行 206 项跨 11 领域任务,所有模型得分均未超 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 以约三分之一成本获 10.9%,GPT-6 Astra 为 9.6%。该基准因任务封闭和评分方式受质疑,但可防止模型针对测试过拟合。
纽约大学和得州大学奥斯汀分校的研究发现AI模型生成的文本因六种语言模式而更难阅读。团队对比120段对话、45次编程会话和980篇论说文与人类文本,指出训练从RLHF转向RLVR奖励信息密度而非清晰度。Claude Opus 5.5经针对性微调在21项比较中19项优于Opus 5,可读性提升。
Ai2 发布 FairStress 基准,用于衡量大语言模型在影响人的决策中超越最终选择的群体公平性。该基准包含 300 个双候选决策场景,结合对抗前缀扩展至超过 13 million 测试案例,实验显示模型受挑战时放弃正确决策存在群体不对称,这是 Ai2 开放评估工作的一部分。
推荐理由:该基准通过引入对抗前缀与身份变量测试决策稳定性,揭示标准公平性评测忽略的隐藏不对称,为干预提供新评估工具。
PhAI Labs 团队基于 Yann LeCun 的 JEPA 架构开发了 JEPA-Anything,该模型在物理、机器人和气象等七个领域的动态系统预测中表现优于标准 JEPA,在简化 Pong 环境中预测误差降低 35%。