Berkeley AI Research 提出 ABBEL,让 LLM 学习更新信念以支持高效长程交互
Berkeley AI Research 介绍 ABBEL,一种让 LLM 用自然语言信念状态替代完整交互历史的框架,以降低长程交互中的上下文开销。ABBEL 通过 belief grading 监督每个信念状态的信息含量,在 CollabBench 中将与 full context 模型的性能差距缩小约 50%,训练步数从 100 降至 50,并保持更低峰值 token。
Berkeley AI Research 介绍 ABBEL,一种让 LLM 用自然语言信念状态替代完整交互历史的框架,以降低长程交互中的上下文开销。ABBEL 通过 belief grading 监督每个信念状态的信息含量,在 CollabBench 中将与 full context 模型的性能差距缩小约 50%,训练步数从 100 降至 50,并保持更低峰值 token。