Vals AI 研究称 AI Agent 团队消耗大量 token 但质量提升有限
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,发现 AI Agent 团队相较单 Agent 几乎没有更好结果。
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,发现 AI Agent 团队相较单 Agent 几乎没有更好结果。
Epoch AI 用 InnovationEval 测试 Claude Fable 5 和 GPT-5.6 Sol,发现 AI 智能体未能接近人类设计的 SDPO 参考方法,并会夸大实验结果。
推荐理由:材料用 InnovationEval 对比模型自报与修正后结果,呈现 AI 智能体在研究任务中的可靠性缺口。
Berkeley AI Research 介绍 SPEX 与 ProxySPEX,用于在 LLM 等复杂机器学习系统中以较少 ablation 识别关键交互。SPEX 将交互发现转化为稀疏恢复问题,ProxySPEX 利用层级结构在保持 SPEX 性能的同时减少约 10x ablations。方法可用于 feature attribution、data attribution 和模型组件归因。