Peking University（北京大学）

Bridging the Agent-World Gap: Text World Models for LLM-based Agents

弥合智能体-世界鸿沟：面向基于LLM的智能体的文本世界模型

Yixia Li, Hongru Wang, Peng Lai, Zhiwen Ruan, He Zhu, Youxin Zhu, Ganlong Zhao, Minda Hu, Yun Chen, Sibei Yang, Peng Li, Jeff Z. Pan, Jia Pan, Guanhua Chen, Yang Liu, Guanbin Li

机构 * Southern University of Science and Technology（南方科技大学） ； University of Edinburgh（爱丁堡大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

AI总结 本文系统综述了面向基于LLM的智能体的文本世界模型，围绕形式化框架和智能体生命周期，涵盖基础定义、构建范式、应用（训练时经验合成与推理时规划、验证、适应）及评估，旨在整合该领域并明确设计空间与开放挑战。

Comments Code: https://github.com/sustech-nlp/awesome-text-world-models

A multi-agent system for spine MRI report generation from multi-sequence imaging

基于多序列影像的脊柱MRI报告生成多智能体系统

Zhiping Xiao, Junwei Yang, Gongbo Sun, Han Zhang, Hanwen Xu, Yi Yao, Zachary D. Miller, William E. King, Mohammed M. Kanani, Jalal B. Andre, Sammy Chu, Ming Zhang, Paul E. Kinahan, Nathan M. Cross, Sheng Wang

机构 * University of Washington（华盛顿大学） ； Peking University（北京大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； New York University（纽约大学） ； University of Washington Medical Center（华盛顿大学医学中心） 纠错

AI总结 提出SpineAgent多智能体框架，利用多序列基础模型整合T1/T2等序列信息，实现脊柱MRI报告生成、病理定位和图文检索，在跨厂商和跨队列评估中表现优异。

Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

Dream-Tac: 用于接触丰富机器人操作任务的统一触觉世界动作模型

Yunfan Lou, Yifan Ye, Yankai Fu, Jun Cen, Xiaowei Chi, Yaoxu Lyu, Peidong Jia, Sirui Han, Zhihe Lu, Shanghang Zhang

机构 * Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanjing University（南京大学） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） 纠错

AI总结 提出Dream-Tac统一触觉世界动作模型，通过接触门控视觉-触觉融合和接触感知注意力偏置，联合建模动作、未来视觉观察和触觉动态，在六项接触丰富操作任务中平均动作准确率提升31.7%。

Comments 16 pages,13 figures

Thinking Without Images: Internalizing Visual Manipulation with On-Policy Self-Distillation

无图像思考：通过在线自我蒸馏内化视觉操作

Yishuo Cai, Jiahui Liu, Yuanxin Liu, Haobo Deng, Linli Yao, Yuhao Zheng, Kun Ouyang, Zhimo Li, Ziyue Wang, Xu Sun, Haoli Bai, Xiaohui Li

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Central South University（中南大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Huawei Technologies（华为技术有限公司） 纠错

AI总结 提出Imagine-OPD框架，通过在线自我蒸馏将“用图像思考”的视觉推理能力内化为“用想象思考”，在不调用外部工具的情况下生成内部视觉线索，在保持性能的同时显著降低推理开销。

PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping

PRPO: 通过令牌级动态优势重塑的感知强化策略优化

Qiming Li, Tianlun Li, Xiaolong Cheng, Hangyu Li, Ruiyan Gong, Kangning Niu, Kaitao Jiang, Mu Xu

机构 * Amap CV Lab, Alibaba Group（阿里巴巴集团高德地图计算机视觉实验室） ； Peking University（北京大学） 纠错

AI总结 提出令牌级强化学习框架PRPO，通过鲁棒视觉依赖（RVD）指标识别关键感知令牌，并利用感知优势重塑（PAR）技术增强其学习信号，在7个多模态推理基准上平均提升23.3%（3B模型）和21.1%（7B模型）。

Real-IKEA: Physical Fidelity is the Prerequisite for Robust Manipulation

Real-IKEA：物理保真度是鲁棒操作的前提

Kunqi Xu, Zhenhao Huang, Siyuan Luo, Ziqiu Zeng, Fan Shi

机构 * National University of Singapore（新加坡国立大学） ； Peking University（北京大学） 纠错

AI总结 针对仿真与现实物理差异导致操作鲁棒性不足的问题，提出Real-IKEA数据集与仿真框架，通过高保真资产和阻力校准配置，使强化学习策略发现优先利用机械优势的鲁棒策略。

OctaOctree Neural Radiosity for Real-time Glossy Material Rendering

OctaOctree神经辐射度用于实时光泽材质渲染

Jierui Ren, Haojie Jin, Bo Pang, Meng Gai, Fei Zhu, Yisong Chen, Sheng Li

机构 * Peking University（北京大学） 纠错

AI总结 提出OctaOctree表示，通过空间自适应八叉树耦合八面体方向图，高效编码高频出射辐射分布，实现单次网络查询的实时高质量全局光照。

Comments 11 pages, 9 figures

GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

GraspFoM：基于3D基础先验的重建驱动机器人抓取

Dongli Wu, Xiaobao Wei, Hao Wang, Qiaochu Dong, Ying Li, Qingpo Wuwu, Ming Lu, Wufan Zhao

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

AI总结 提出GraspFoM框架，利用3D基础先验（SAM3D）构建共享3D物体潜变量，联合优化重建与抓取姿态预测，通过锚点初始化的截断姿态推理扩散器生成连续多模态抓取，实现高保真重建与最优抓取。

TrustMargin: Training-Free Arbitration between Parametric Memory and Retrieved Evidence in Large Language Models

TrustMargin: 大语言模型中参数化记忆与检索证据之间的无训练仲裁

Jingyan Xu, Hong Shi, Yi Shan, Penghui Liu, Yunhao Bai, Ningyuan Li, Xueyang Liu

机构 * Peking University（北京大学） 纠错

AI总结 针对大语言模型在知识问答中参数记忆与检索证据冲突的问题，提出无训练仲裁层TrustMargin，利用模型自身似然度评分选择更可信的答案，无需微调或外部评判。

Comments 13 pages, 6 figures, 9 tables. Code and data are available at https://github.com/mojixu/TrustMargin.git

ZAS-SQL: Distilling Rules from Failures for Zero-Shot Text-to-SQL

ZAS-SQL: 从失败中提炼规则用于零样本文本到SQL

Hongzhou Zheng, Yixin Gou, Wenjia Zhang

机构 * Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海自主智能无人系统科学中心） ； College of Architecture and Urban Planning, Tongji University（同济大学建筑与城市规划学院） ； Behavioral and Spatial AI Lab, Peking University & Tongji University（北京大学与同济大学行为与空间人工智能实验室） 纠错

AI总结 提出ZAS-SQL零样本框架，通过Map-Reduce规则蒸馏从失败案例中提取核心生成规则，结合知识增强模式表示、规则驱动结构化推理和执行引导早停三个模块，在Spider上达到87.2%和88.6%执行准确率，超越多个少样本和微调方法。

Support Vector Rubrics: Closing the Gap Between Self-Generated and Human Rubrics

支持向量评分准则：弥合自生成与人工评分准则之间的差距

Mengyuan Sun, Yu Li, Zhuohao Yu, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对自生成评分准则在困难实例上落后于人工标注的问题，提出SVR框架，将准则构建转化为偏好数据上的最大间隔边界学习，通过对比特征挖掘、提示条件选择器和迭代优化，显著缩小与人工准则的差距，并展现出广泛的奖励建模能力。

PAFO: Pareto Fairness Optimization for Personalized Reward Modeling

PAFO: 个性化奖励建模的帕累托公平优化

Xiaoyan Zhao, Haoting Ni, Yang Zhang, Chunyuan Zheng, Haoxuan Li, Fuli Feng

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） 纠错

AI总结 针对个性化奖励模型因训练数据偏好不平衡导致对少数用户群体存在偏见的问题，提出PAFO框架，通过帕累托公平优化提升弱势群体性能而不损害其他群体，实验表明能同时提高少数和多数群体准确率并降低不公平性。

ChronoPhyBench: Do MLLMs Truly Understand the World or Merely Exploit Language Priors?

ChronoPhyBench：多模态大语言模型真正理解世界还是仅仅利用语言先验？

Bin Zhu, Yanhao Jia, Kexin Zhao, Jie Wang, Munan Ning, Hao Li, Yuwei Niu, Tanqing Sun, Huangchong Yan, Mingjun Pan, Xinyi Wu, Qishen Yin, Yunyang Ge, Shuai Zhao, Li Yuan

机构 * Peking University, Shenzhen Graduate School（北京大学深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； Rabbitpre Intelligence ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） 纠错

AI总结 提出ChronoPhyBench基准，通过视频上下文和文本描述强制模型进行物理状态推理，揭示当前开源模型物理推理能力仍处初级阶段。

Rosetta Memory: Adaptive Memory for Cross-LLM Agents

Rosetta Memory: 跨LLM智能体的自适应记忆

Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Weixin, Tencent（腾讯微信） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

AI总结 提出记忆中心式LLM自适应方法，通过双轮廓条件算子与最小增益采样课程，解决上游记忆激活下游LLM的跨模型适应问题，在多项QA任务中优于基线。

Comments 19 pages, 7 figures

ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization

ScaleSweep: 通过块尺度初始化实现LLM的精确NVFP4训练后量化

Li Lin, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） 纠错

AI总结 提出ScaleSweep方法，通过扫描可行块尺度候选并选择最小化目标函数的候选，优化NVFP4量化中的尺度初始化，理论推导扫描范围边界，在Llama和Qwen模型上提升量化性能，缩小与全精度的差距。

Comments under review

TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles

TinyJudge: 通过轻量级专家集成实现不可验证约束对齐

Yirong Zeng, Yufei Liu, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Qixun Zhang, Yuxiang He, Bibo Cai, Ting Liu

机构 * Harbin Institute of Technology SCIR Lab（哈尔滨工业大学SCIR实验室） ； Peking University（北京大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

AI总结 针对LLM遵循不可验证约束时奖励黑客和计算开销大的问题，提出TinyJudge框架，利用多个小型语言模型集成提供奖励，在五个基准上平均性能提升约10%，奖励精度提升12%，训练速度提升3倍。

Comments ACL 2026 Main Conference;15 pages, 9 figures

Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization

加速去中心化随机梯度下降用于强凸优化

Ming Sun, Kun Yuan

机构 * Center for Machine Learning Research Peking University（机器学习研究中心北京大学） 纠错

AI总结 提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

Watch, Remember, Reason: 基于多模态大语言模型的人类视角视频理解

Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

机构 * School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院） ； Wuhan University（武汉大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； University of Tokyo（东京大学） ； University of Liverpool（利物浦大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； UC Merced（加州大学默塞德分校） 纠错

AI总结 提出人类视角下视频理解的三个功能能力（观看、记忆、推理），构建统一框架分析视频MLLM的感知、记忆、推理和预测，并总结挑战、方法、应用及未来方向。

LIMMT: Less is More for Motion Tracking

LIMMT：少即是多的运动追踪

Yu Guan, Zekun Qi, Chenghuai Lin, Xuchuan Chen, Dairu Liu, Wenyao Zhang, Jilong Wang, Xinqiang Yu, He Wang, Li Yi

机构 * Tsinghua University（清华大学） ； GalBot ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Shanghai Qi Zhi Institute（上海启智研究院） 纠错

AI总结 提出数据驱动的运动追踪框架LIMMT，通过物理可行性、多样性和复杂性三维度筛选高质量运动数据，仅用AMASS的3%数据即可超越全量训练效果。

Comments Accepted at ICML 2026

Diagnosing Visual Ignorance in Vision-Language Models

诊断视觉语言模型中的视觉忽视

Runyu Zhou, Qi Zhang, Qixun Wang, Yisen Wang

机构 * Peking University（北京大学） 纠错

AI总结 研究视觉语言模型依赖语言先验的内部机制，通过层替换和探针分析揭示多阶段瓶颈，并引入渐进视觉退化指标发现基准测试可能奖励视觉忽视。

MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models

MotionEnhancer: 利用视频扩散模型增强运动感知的视觉-语言模型

Yifan Xu, Chao Zhang, Ruifei Ma, Fei Gao, Zhifei Yang, Jiaxing Qi, Zhipeng Chen

机构 * School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） ； Beijing Digital Native Digital City Research Center（北京数字原生数字城研究中心） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） 纠错

AI总结 提出MotionEnhancer，通过从视频扩散模型中提取运动先验并利用注意力对齐增强视觉-语言模型的运动理解能力，无需额外参数或架构修改，在运动级视频理解基准上取得一致提升。

Comments Accepted by CVPR 2026

GOPAgen: Motion-Aware and Efficient Agentic Long-Video Understanding with Structural Memory and Hierarchical Reasoning

GOPAgen: 基于结构记忆与层次推理的运动感知高效智能长视频理解

Haozhe Chi, Yang Jin, Yadong Mu

机构 * Peking University（北京大学） 纠错

AI总结 提出GOPAgen方法，通过视频编解码的GOP运动代理、GOP树推理算法和结构记忆机制，实现高效长视频理解，在多个VQA基准上取得领先性能。