Import AI· Jack Clark·· 3 小时前
Realtime-Bench 显示 LLM 难以胜任低延迟任务
Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4
SI 导读
研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。
SI 评分34
来源:Import AI · importai.substack.com