Shanghai Jiao Tong University（上海交通大学）

The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoning

多模态焦点的潮起潮落：为基于视觉的语言模型推理调度视觉中继窗口

Wencheng Ye, Yi Bin, Yujuan Ding, Hongye Fang, Zheng Wang, Xing Xu, Jingkuan Song, Yun Zhang, Sirui Da, Heng Tao Shen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； School of Fashion and Textiles, The Hong Kong Polytechnic University（香港理工大学纺织及制衣学院） ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

AI总结 研究视觉语言模型视觉证据不稳定问题，通过剖析其内部多模态注意力焦点的三阶段分布，提出TRACE框架，该框架能自适应控制推理，在多模型和多基准测试中显著提升基于证据的多模态推理能力。

RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

RESOURCE2SKILL: 从人类创建的多模态资源中提取可执行智能体技能

Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft（微软） 纠错

AI总结 提出RESOURCE2SKILL框架，从教程视频、代码库、文章等人类多模态资源中提取可执行技能，构建分层多模态技能维基，提升智能体在七个领域的任务表现。

Dichotomous Diffusion Policy Optimization

二元扩散策略优化

Ruiming Liang, Yinan Zheng, Kexin Zheng, Tianyi Tan, Jianxiong Li, Liyuan Mao, Zhihao Wang, Guang Chen, Hangjun Ye, Jingjing Liu, Jinqiao Wang, Xianyuan Zhan

机构 * Fundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（基础模型研究中心，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Xiaomi EV（小米电动车） 纠错

AI总结 DIPOLE是一种新的RL算法，通过二元策略分解实现稳定可控的扩散策略优化，适用于复杂现实应用。

RAD: Retrieval High-quality Demonstrations to Enhance Decision-making

RAD：检索高质量示范以增强决策

Lu Guo, Yixiang Shan, Zhengbang Zhu, Qifan Liang, Lichang Song, Ting Long, Weinan Zhang, Yi Chang

机构 * School of Artificial Intelligence, Jilin University, Changchun, China（吉林大学人工智能学院） ； School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机学院） 纠错

AI总结 研究针对离线强化学习泛化能力受限问题，提出RAD方法，通过引入检索机制，从离线数据集检索高回报可达状态作目标，利用生成模型生成子轨迹规划，经实验验证该方法在多基准测试中性能优越。