AI Agent

A Descriptive and Normative Theory of Human Beliefs in RLHF

基于人类反馈强化学习中的人类信念描述性与规范性理论

Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

机构 * College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校） ； Department of Computer Science The University of Texas at Austin（计算机科学系 德州大学奥斯汀分校） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究 RLHF 中人类信念作用，提出新偏好模型，通过人类和综合实验，证实人类对智能体能力信念影响偏好，指出减少信念与能力不匹配可提升 RLHF 并给出新实践方向。

Comments Published at TMLR

Trading Human Curation for Synthetic Augmentation in RLVR

在RLVR中用合成增强替代人工策展

Akshansh, Leonardo Rosa Rodrigues, Michael Korostelev, Youssef Hassan, Mark E. Whiting

机构 * Pareto AI 纠错

专题命中 规划决策 ：agentic(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过预指定、门控过滤的增强任务替代人工策展任务，在RLVR中实现成本效益权衡，并保持泛化性能。

Comments 21 pages, 5 main-text figures, 4 appendix figures. Preprint

Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories

Clin-JEPA：一种多阶段协同训练框架，用于EHR患者轨迹的联合嵌入预测预训练

Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

机构 * Duke University（杜克大学） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Clin-JEPA框架，通过多阶段预训练稳定协同训练编码器和预测器，解决EHR数据中联合嵌入预测的挑战，实现多任务下游任务的高性能表现。

Comments 18 pages, 4 figures, 8 tables. Code: https://github.com/Kamaleswaran-Lab/Clin-JEPA

Web-CogReasoner: Towards Multimodal Knowledge-Induced Cognitive Reasoning for Web Agents

Web-CogReasoner：迈向用于网络智能体的多模态知识诱导认知推理

Yuhan Guo, Cong Guo, Aiwen Sun, Hongliang He, Xinyu Yang, Yue Lu, Yingji Zhang, Xuntao Guo, Dong Zhang, Jianzhuang Liu, Jiang Duan, Yijia Xiao, Liangjian Wen, Hai-Ming Xu, Yong Dai

机构 * Southwestern University of Finance and Economics（西南财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； Central South University（中南大学） ； Hithink Research（Hithink研究） ； Westlake University（西湖大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； University of Manchester（曼彻斯特大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Adelaide（阿德莱德大学） ； Fudan University（复旦大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Chengdu Everimaging Science and Technology Co., Ltd（成都亿联科技有限公司） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究将网络智能体能力分解为知识内容学习和认知过程两阶段，提出框架分类知识，构建数据集，基于此用新推理框架开发训练智能体，实验显示其优势，还引入评估套件。

Comments Accepted to ICLR 2026. Our code and data is released at https://github.com/Gnonymous/Web-CogReasoner

Robust Counterfactual Explanations under Model Multiplicity Using Multi-Objective Optimization

使用多目标优化在模型多样性下的鲁棒反事实解释

Keita Kinjo

机构 * Faculty of Business（商学部） ； Kyoritsu Women’s University（京都女子大学） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 针对机器学习中反事实解释在多相似精度模型下不鲁棒的问题，提出引入帕累托改进观点及多目标优化方法生成鲁棒反事实解释，实验验证了该方法的鲁棒性与实用性。

Comments 34 pages

Learning to Visually Connect Actions and their Effects

学习在视觉上连接动作及其效果

Paritosh Parmar, Eric Peh, Basura Fernando

机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究引入视觉连接动作及其效果（CATE）概念，探索其动作选择和效果亲和力评估两方面，设计基线模型，发现模型在该任务中表现不佳，人类远超模型，还表明CATE可作为自监督任务学习视频表征。

Comments WACV 2025 (Two Reviewer Nominations for Best Paper Candidate; Oral Presentation)

Conformal Policy Control

符合性策略控制

Drew Prinster, Clara Fannjiang, Ji Won Park, Kyunghyun Cho, Anqi Liu, Suchi Saria, Samuel Stanton

机构 * Johns Hopkins University（约翰霍普金斯大学） ； New York University（纽约大学） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于安全参考策略的符合性校准方法，用于在不违反安全约束的前提下，使优化但未测试的策略能够安全地进行探索，并在有限样本下提供理论保证。

Comments International Conference on Machine Learning (ICML), 2026

Recursive Models for Long-Horizon Reasoning

长程推理的递归模型

Chenxiao Yang, Nathan Srebro, Zhiyuan Li

机构 * Toyota Technological Institute at Chicago（丰田技术研究所） 纠错

专题命中 规划决策 ：agentic(abstract)；分类 cs.CL、cs.LG

AI总结 提出递归模型，通过递归调用自身在隔离上下文中解决子任务，突破上下文长度限制，理论证明可指数级降低活跃上下文需求，实验验证在SAT求解和围棋任务中提升长程准确性。

Comments in ICML 2026

Playing 20 Question Game with Policy-Based Reinforcement Learning

基于策略的强化学习玩20个问题游戏

Huang Hu, Xianchao Wu, Bingfeng Luo, Chongyang Tao, Can Xu, Wei Wu, Zhan Chen

机构 * Peking University（北京大学） ； Microsoft Corporation（微软公司） ； Microsoft Development Co., Ltd（微软开发有限公司） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出基于策略的强化学习方法，使提问者通过与用户持续交互学习最优问题选择策略，并利用奖励网络估计信息奖励，无需知识库且对噪声答案鲁棒。

Comments Withdrawal from the conference

MAGIK: Mapping to Analogous Goals via Imagination-enabled Knowledge Transfer

MAGIK: 通过想象力驱动的知识迁移映射到类比目标

Ajsal Shereef Palattuparambil, Thommen George Karimpanal, Santu Rana

机构 * Applied Artificial Intelligence Initiative, Deakin University School of IT, Deakin University（应用人工智能倡议，德克萨斯大学IT学院，德克萨斯大学） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出MAGIK框架，利用想象力机制将目标任务实体映射到源域类比物，实现零样本知识迁移，在MiniGrid和MuJoCo任务上验证有效性。

Enhancing Hardware Fault Tolerance in Machines with Reinforcement Learning Policy Gradient Algorithms

通过强化学习策略梯度算法增强机器的硬件容错能力

Sheila Schoepp, Mehran Taghian, Shotaro Miwa, Yoshihiro Mitsuka, Shadan Golestan, Osmar Zaïane

机构 * Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系） ； Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所） ； Advanced Technology R&D Center, Mitsubishi Electric Corporation（三菱电机株式会社先进技术研发中心） ； Information Technology R&D Center, Mitsubishi Electric Corporation（三菱电机株式会社信息技术研发中心） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次系统比较PPO和SAC两种强化学习算法在硬件故障容错中的表现，并研究四种知识迁移策略，实验表明算法能快速恢复故障并存在性能权衡。

Exploration and Online Transfer with Behavioral Foundation Models

基于行为基础模型的探索与在线迁移

Louis Bagot, Mathieu Lefort, Laëtitia Matignon

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 针对零样本强化学习中在线迁移的探索问题，提出利用行为基础模型生成探索策略，将在线学习建模为类似多臂赌博机的探索-利用问题，并通过不确定性矩阵特征值最小化实现探索。

Comments Retirer la mention ''European Workshop on Reinforcement Learning'' (qui correspond {à} la template de la version {é}tendue, mais le papier n'y est pas encore accept{é})

Journal ref Conf{é}rence sur l'Apprentissage automatique, Universit{é} de Montpellier, Jul 2026, Montpellier, France

TraCeS: Learning Per-Timestep Constraint-Violation Credit from Sparse Trajectory-Level Labels

TraCeS: 从稀疏轨迹级标签学习每时间步约束违反信用

Siow Meng Low, Ze Gong, Akshat Kumar

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出TraCeS方法，通过稀疏轨迹级标签学习每时间步的约束违反信用，用于强化学习中的安全约束优化，无需已知成本函数或阈值，在连续控制基准上提升约束满足和反馈效率。

Comments Accepted at ICML 2026. Code available at https://github.com/siowmeng/TraCeS

Compositional Concept-Based Neuron-Level Interpretability for Deep Reinforcement Learning

基于组合概念的深度强化学习神经元级可解释性

Zeyu Jiang, Hai Huang, Xingquan Zuo

机构 * School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种自动将神经元激活与逻辑公式对齐的概念解释框架，通过值敏感离散化将连续状态转化为可解释原子概念，为深度强化学习模型提供细粒度神经元级解释。

Comments 12 pages, 5 figures. Accepted by PAKDD 2026. The final authenticated version is available online at Springer

Journal ref Data Science: Foundations and Applications. PAKDD 2026. Lecture Notes in Computer Science, vol 16117, pp. 52-64. Springer, Singapore (2026)

When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

何时LLMs足以作为序列RL任务的策略优化器？

Stephane Hatgis-Kessell, Emma Brunskill

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 提出PromptPO方法，利用LLM通过Python描述状态空间、动作空间和奖励函数，基于rollout反馈迭代生成和优化可执行策略，在多种环境中匹配或超越标准RL基线，但在细粒度连续控制任务中表现不足。

EMFusion: Uncertainty-Aware Conditional Diffusion Model for Multivariate Narrow-band Exposure Forecasting

EMFusion: 一种考虑不确定性的条件扩散框架用于无线网络中频率选择性电磁场预测

Zijiang Yan, Yixiang Huang, Jianhua Pei, Hina Tabassum, Luca Chiaraviglio

机构 * department of Electrical Engineering and Computer Science, York University（电气工程与计算机科学系，约克大学） ； School of Electrical and Electronic Engineering, Huazhong University of Science and Technology（电子与电气工程学院，华中科技大学） ； Central China Branch of State Grid Corporation of China（国家电网公司中部分部） ； Department of Electronic Engineering, University of Rome Tor Vergata（罗马大学Tor Vergata电子工程系） ； Consorzio Nazionale Interuniversitario per le Telecomunicazioni (CNIT)（国家大学间电信研究会（CNIT）） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出EMFusion框架，通过整合时间、季节等上下文因素，提供不确定性估计，以提升无线网络中频率选择性电磁场预测的准确性。

Comments Accepted in IEEE Transactions on Network Science and Engineering

Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents

边行动边学习：面向在线终身学习智能体的技能增强测试时协同进化框架

Bo Mao, Jie Zhou, Yutao Yang, Xin Li, Xian Wei, Qin Chen, Xingjiao Wu, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Software Engineering Institute, East China Normal University（东华大学软件工程学院） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出LifeSkill框架，通过验证器引导的技能学习和在线技能内化，使LLM智能体在测试时持续内化反馈，提升终身学习性能。

GAC: Stabilizing Asynchronous RL Training for LLMs via Gradient Alignment Control

GAC: 通过梯度对齐控制稳定大语言模型的异步RL训练

Haofeng Xu, Junwei Su, Yukun Tian, Lansong Diao, Zhengping Qian, Chuan Wu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； Alibaba Group（阿里巴巴集团） ； Southeast University（东南大学） 纠错

专题命中 规划决策 ：AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题，提出梯度对齐控制（GAC）方法，通过梯度投影调节陈旧对齐方向，恢复稳定训练并匹配同步基线。

A Survey of On-Policy Distillation for Large Language Models

大型语言模型的在线策略蒸馏综述

Mingyang Song, Mao Zheng

机构 * Tencent, China（腾讯，中国） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的在线策略蒸馏方法，探讨了蒸馏过程中如何通过反馈减少累积误差，提出了基于f-散度最小化的蒸馏框架，并分析了蒸馏与强化学习之间的联系。

Comments Ongoing Work

Enhancing Generative Auto-bidding with Offline Reward Evaluation and Policy Search

增强生成式自动出价：结合离线奖励评估与策略搜索

Zhiyu Mou, Yiqin Lv, Miao Xu, Qi Wang, Yixiu Mao, Jinghao Chen, Qichen Ye, Chao Li, Rongquan Bai, Chuan Yu, Jian Xu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有生成式自动出价方法无法超越静态数据集进行探索的性能瓶颈，提出AIGB-Pearl方法，通过轨迹评估器和KL-Lipschitz约束的分数最大化方案实现安全高效探索，在模拟和真实广告系统中取得最优性能。

Trust Region On-Policy Distillation

信任区域在线策略蒸馏

Xingrun Xing, Haoqing Wang, Boyan Gao, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； University of Oxford（牛津大学） ； Peking University（北京大学） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.CL、cs.LG

AI总结 提出信任区域在线策略蒸馏（TrOPD），通过信用分配策略和信任区域学习解决师生分布差异导致的训练不稳定问题，在数学推理、代码生成和通用基准上超越现有方法。

ActMem: Bridging the Gap Between Memory Retrieval and Reasoning in LLM Agents

ActMem：弥合LLM代理中记忆检索与推理之间的差距

Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yaqin Jin, Yazhong Zhang, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； Alibaba Group, Hangzhou, China（阿里巴巴集团，杭州，中国） ； National Institute of Healthcare Data Science, Nanjing University, China（南京大学健康数据科学国家研究院） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出ActMem框架，通过将非结构化对话历史转化为结构化因果语义图，结合反事实推理和常识补全，实现主动因果推理，显著提升LLM代理在复杂记忆依赖任务中的表现。

DICE: Diffusion Large Language Models Excel at Generating CUDA Kernels

DICE：扩散大语言模型在生成CUDA内核方面表现出色

Haolei Bai, Lingcheng Kong, Xueyi Chen, Jianmian Wang, Zhiqiang Tao, Huan Wang

机构 * Westlake University（西湖大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.CL、cs.LG

AI总结 提出CuKe数据集和BiC-RL训练框架，构建DICE系列扩散大语言模型（1.7B/4B/8B），在KernelBench上显著优于同类自回归和扩散模型，实现CUDA内核生成新SOTA。

Comments v2: Expanded with dLLM vs. autoregressive LLM comparisons, ablation studies, and qualitative case studies

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

OmniRetarget：面向人形全身运动操控与场景交互的交互保持数据生成

Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi

机构 * Amazon FAR (Frontier AI & Robotics)（亚马逊前沿人工智能与机器人实验室） ； MIT（麻省理工学院） ； UC Berkeley（伯克利大学） ； Stanford University（斯坦福大学） ； CMU（卡内基梅隆大学） 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出OmniRetarget引擎，通过交互网格显式建模并保持智能体、地形和物体间的空间与接触关系，将人类运动重定向为机器人运动，生成高质量轨迹以训练强化学习策略，实现长时间跑酷和操控技能。

Comments Project website: https://omniretarget.github.io

Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving

Tangram: 解锁非均匀KV缓存以实现高效的多轮LLM服务

Hyungmin Kim, Minsoo Kim, Hongseok Kim, Jungwook Choi

机构 * Hanyang University（翰林大学） ； Rebellions Republic of Korea（Rebellions） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.LG、cs.SE

AI总结 针对多轮LLM服务中KV缓存线性增长导致的GPU内存和带宽压力，提出Tangram系统，通过确定性预算分配、头组页面和提前负载均衡三项技术实现非均匀KV缓存的高效管理，吞吐量提升达2.6倍。

Comments 13 pages. 15 figures

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

UniT：统一多模态思维链测试时扩展

Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

机构 * Stanford University（斯坦福大学） ； Meta Superintelligence Labs（Meta超级智能实验室） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 规划决策 ：agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出UniT框架，通过多轮推理、验证和细化实现统一多模态模型的测试时扩展，实验表明短推理轨迹可泛化到长链，顺序思维链比并行采样更高效。

Comments CVPR 2026

Explainable deep learning improves human mental models of self-driving cars

可解释深度学习提升人类对自动驾驶汽车的心理模型

Eoin M. Kenny, Akshay Dharmavaram, Sang Uk Lee, Tung Phan-Minh, Shreyas Rajesh, Yunqing Hu, Laura Major, Momchil S. Tomov, Julie A. Shah

机构 * Computer Science & Artificial Intelligence Laboratory (CSAIL), Massachusetts Institute of Technology（计算机科学与人工智能实验室（CSAIL），麻省理工学院） ； Motional AD Inc.（Motional AD公司） ； Department of Psychology and Center for Brain Science, Harvard University（心理学系和大脑科学中心，哈佛大学） ； Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（航空与宇航系，麻省理工学院） 纠错

专题命中 规划决策 ：autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出概念包装网络（CW-Net），在真实自动驾驶车上实现可解释规划，通过因果性概念解释提升驾驶员对车辆行为的预测能力，尤其在意外场景中。

Comments MST & JAS contributed equally to this work

Metacognitive Myopia in Large Language Models

大型语言模型中的元认知近视

Florian Scholten, Tobias R. Rebholz, Mandy Hütter

机构 * Psychology Department, University of Tübingen（图宾根大学心理学系） 纠错

专题命中 规划决策 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出元认知近视框架解释LLM偏见，认为信息环境中的有偏样本导致五种症状，并通过监控与控制机制近似技术缓解。

Chronological Thinking in Full-Duplex Spoken Dialogue Language Models

全双工口语对话语言模型中的时间顺序思考

Donghang Wu, Haoyang Zhang, Chen Chen, Tianyu Zhang, Fei Tian, Xuerui Yang, Gang Yu, Hexin Liu, Nana Hou, Yuchen Hu, Eng Siong Chng

机构 * Nanyang Technological University（南洋理工大学） ； StepFun ； Mila 纠错

专题命中 规划决策 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出Chronological Thinking机制，让全双工对话模型在听用户说话时增量推理，不增加延迟，提升响应质量。

Comments Accepted by SIGDIAL 2026

Variational Learning for Insertion-based Generation

基于插入生成的变分学习

Yangtian Zhang, Zhe Wang, Arthur Gretton, Rex Ying, David van Dijk, Michalis K. Titsias, Jiaxin Shi

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 规划决策 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 提出插入过程（IP）模型，通过排列变分推断联合学习插入位置、内容和终止条件，支持变长生成并提升非自回归序列建模质量。