Diagnosing and Mitigating Context Rot in Long-horizon Search
诊断和缓解长视野搜索中的上下文腐烂
机构 * Shanghai Jiao Tong University(上海交通大学) ; Fudan University(复旦大学) ; SII GAIR
AI总结 本文研究大语言模型在长视野任务中因上下文过长导致的性能退化(上下文腐烂),通过实验揭示其普遍性,并提出上下文管理和拒绝采样两种缓解策略。
高校专区
诊断和缓解长视野搜索中的上下文腐烂
机构 * Shanghai Jiao Tong University(上海交通大学) ; Fudan University(复旦大学) ; SII GAIR
AI总结 本文研究大语言模型在长视野任务中因上下文过长导致的性能退化(上下文腐烂),通过实验揭示其普遍性,并提出上下文管理和拒绝采样两种缓解策略。
SphUnc:通过信息几何的超球面不确定性分解与因果识别
机构 * University of Macau(澳门大学) ; Fudan University(复旦大学) ; Hangzhou Dianzi University(杭州电子科技大学) ; Renmin University of China(中国人民大学) ; Hanyang University(翰阳大学) ; Tsinghua University(清华大学) ; Zhejiang University(浙江大学) ; University of Liverpool(利物浦大学) ; Southeast University(东南大学) ; Central South University(中南大学)
AI总结 SphUnc结合超球面表示学习与结构因果建模,通过信息几何融合分解不确定性为epistemic和aleatoric成分,并通过样本模拟实现因果识别,提升多智能体系统中的预测准确性和不确定性校准能力。
Comments 22 pages, 15 figures