Carnegie Mellon University（卡内基梅隆大学）

Does RAG Know When Retrieval Is Wrong? Diagnosing Context Compliance under Knowledge Conflict

RAG 能知道检索错误吗？知识冲突下的上下文合规性诊断

Yihang Chen, Pin Qian, Su Wang, Sipeng Zhang, Huan Xu, Shuhuai Lin, Xinpeng Wei

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

AI总结 提出上下文驱动分解（CDD）方法，在推理时探测并干预检索增强生成中的上下文与参数知识冲突，揭示上下文合规性模式并提升鲁棒性。

Comments Preprint. 3 figures, 3 tables. Diagnostic study of context compliance in RAG under knowledge conflict; closed-API evaluations (Gemini-2.5-Flash and Claude family)

ClawBench: Can AI Agents Complete Everyday Online Tasks?

ClawBench：AI代理能否完成日常在线任务？

Yuxuan Zhang, Yubo Wang, Yipeng Zhu, Penghui Du, Junwen Miao, Xuan Lu, Zhuofeng Li, Xingwei Qu, Zhengkang Guo, Yuanzhe Shen, Dingjie Song, Han Zhou, Tuney Zheng, Xian Wu, Hao Yu, Songcheng Cai, Yi Lu, Yunzhuo Hao, Minyi Lei, Liang Chen, Kai Zou, Huifeng Yin, Wendong Xu, Dongfu Jiang, Ping Nie, Jiaheng Liu, Wenhu Chen, Kelsey R. Allen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Etude AI ； Carnegie Mellon University（卡内基梅隆大学） ； University of Waterloo（滑铁卢大学） ； Shanghai Jiao Tong University（上海交通大学） ； UniPat AI ； Zhejiang University（浙江大学） ； HKUST（香港科技大学） ； Tsinghua University（清华大学） 纠错

AI总结 ClawBench通过153个日常任务测试AI代理能力，涵盖15类144个平台，挑战多步骤流程和复杂操作，揭示现有模型在真实环境中的局限性。

Comments Project page: https://claw-bench.com

Agent psychometrics: Task-level performance prediction in agentic coding benchmarks

代理心理测量：在代理编码基准中的任务级性能预测

Chris Ge, Daria Kryvosheieva, Daniel Fried, Uzay Girit, Kaivalya Hariharan

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Fulcrum ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本文提出了一种基于任务级性能预测的代理编码基准评估框架，结合IRT理论与任务特征，区分LLM和支架能力，以更准确预测未见基准和组合的性能。

GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning

GradAlign: 用于大语言模型强化学习的梯度对齐数据选择

Ningyuan Yang, Weihua Du, Weiwei Sun, Sean Welleck, Yiming Yang

机构 * Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（交叉信息学院（IIIS）、清华大学） ； Language Technologies Institute (LTI), Carnegie Mellon University（语言技术研究所（LTI）、卡内基梅隆大学） 纠错

AI总结 GradAlign通过梯度对齐数据选择方法提升大语言模型强化学习的训练稳定性与性能。

Comments 20 pages. Accepted by COLM 2026

NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents

NEMO: 通过自主编码代理实现执行感知的优化建模

Yang Song, Anoushka Vyas, Zirui Wei, Sina Khoshfetrat Pakazad, Henrik Ohlsson, Graham Neubig

机构 * Language Technologies Institute, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA（语言技术研究所，计算机科学学院，卡内基梅隆大学，匹兹堡，PA，美国） 纠错

AI总结 提出NEMO系统，利用自主编码代理将决策问题的自然语言描述转化为可执行的数学优化实现，通过执行感知的架构和协调模式实现最先进的性能。

Comments Accepted at ICML 2026