面向 LLM 的大规模交互识别方法 SPEX 与 ProxySPEX

Berkeley AI Research 介绍 SPEX 与 ProxySPEX，用于在 LLM 等复杂机器学习系统中以较少 ablation 识别关键交互。SPEX 将交互发现转化为稀疏恢复问题，ProxySPEX 利用层级结构在保持 SPEX 性能的同时减少约 10x ablations。方法可用于 feature attribution、data attribution 和模型组件归因。