Victoria Song 亲测 Amazon Bee Frontier 称治疗师建议扔出窗外
Victoria Song 佩戴 Amazon Bee Frontier 始终录音 AI 可穿戴设备三周,发现转录摘要频繁出错并引发自我怀疑,治疗师建议扔出窗外。设备可听对话转录并整合日历照片,但常误判内容如虚构六只猫名或错误总结创伤事件。这是她继去年初测试 Bee 后的后续体验。
Victoria Song 佩戴 Amazon Bee Frontier 始终录音 AI 可穿戴设备三周,发现转录摘要频繁出错并引发自我怀疑,治疗师建议扔出窗外。设备可听对话转录并整合日历照片,但常误判内容如虚构六只猫名或错误总结创伤事件。这是她继去年初测试 Bee 后的后续体验。
Google AI Mode 在被问及2020年和2024年美国总统大选胜者时回避回答,仅引导查询联邦选举委员会,而2000年以来其他年份选举均正常回答。作者实测还发现2012年选举给出外部链接而非直接答案。
Hugging Face 首席政策官 Irene Solaiman 指出,嵌入式 AI 评估员并非解决模型安全问题的简单方案,当前评估体系缺乏标准化且难以复现。她强调,评估正从单一模型转向包含 harness 和 agent 的整体系统,而 agentic evals 实施难度大且成本高昂。此前 Anthropic 聘请 Accenture 作为评估员曾引发行业对第三方中立性的广泛质疑。