多模态大模型

Scene Graph Thinking: Reinforcing Structured Visual Reasoning for Multimodal Large Language Models

场景图思维：增强多模态大语言模型的结构化视觉推理

Zhiwei Yang, Yuanchen Wu, Nan Zhang, Yucong Meng, Ke Yan, Shouhong Ding

机构 * Fudan University（复旦大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型忽视结构化关系的问题，提出场景图思维（SaGe）范式，通过自动数据引擎转换数据、构建训练数据，采用两阶段图对齐训练范式，在多模态基准测试中取得显著改进，提升细粒度感知和推理能力。

Comments ICML 2026

SVR-R1: Bootstrapping Multi-modal Reasoning with Self-verification in Reinforcement Learning

SVR-R1：在强化学习中通过自我验证引导多模态推理

Mingyuan Wu, Jingcheng Yang, Shengyi Qian, Xudong Wang, Jize Jiang, Qifan Wang, Aashu Singh, Khoi Pham, Fei Liu, Zhaolun Su, Zhuokai Zhao, Klara Nahrstedt, Jianyu Wang, Hanchao Yu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 SVR-R1是一个多轮强化学习框架，将模型自身验证转化为学习信号。通过GRPO和异步多轮展开框架实现，无需外部监督。在视觉语言推理基准上评估，大幅提高准确率，弥合推理时自我优化与强化学习训练交叉点，还将开源以促研究。

Comments Under submission

CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models

CAIRN：使用拓扑感知大型多模态模型进行跨房间3D场景理解

He Liang, Chenyang Ma, Yiming Zhang, Sangyun Shin, Andrew Markham, Niki Trigoni, Yuhang He

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） ； Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV

AI总结 研究针对现有3D-LLMs不能处理多房间场景问题，提出拓扑感知3D-LLM即CAIRN。其将Transformer注意力与场景层次对齐，通过多种方式增强模型能力。在新基准CAIRN-MR上实验，CAIRN在多房间任务中大幅超越前人，单房间任务也具竞争力。

Comments Project Page: https://oceansdepp.github.io/cairn_web/

XR-1: Towards Versatile Vision-Language-Action Models via Learning Unified Vision-Motion Representations

XR-1：通过学习统一的视觉-运动表示实现多功能的视觉-语言-动作模型

Shichao Fan, Kun Wu, Zhengping Che, Xinhua Wang, Di Wu, Fei Liao, Ning Liu, Yixue Zhang, Zhen Zhao, Zhiyuan Xu, Meng Li, Qingjie Liu, Shanghang Zhang, Min Wan, Jian Tang

机构 * Beijing Innovation Center of Humanoid Robotics, Beijing, China（北京人形机器人创新中心，北京，中国） ； School of Mechanical Engineering and Automation, Beihang University, Beijing, China（北京航空航天大学机械工程及自动化学院，北京，中国） ； State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，SCSE，北京航空航天大学，北京，中国） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，北京大学，北京，中国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 XR-1通过学习统一的视觉-运动表示，解决视觉-语言-动作模型在低级动作生成和跨数据源领域差距的挑战，提出三阶段训练方法并验证了其在多种机器人和任务上的优越性能。

Comments Accepted to ICML2026 as Oral

Think When It Matters: Conditional VLM Reasoning for Social Navigation with RL Policies

在重要时刻思考：用于社交导航的基于RL策略的条件VLM推理

Ali Ahmadi, Hamed Rahimi, Adrien Jacquet Cretides, Marie Samson, Mahdi Khoramshahi, Mohamed Chetouani

机构 * Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究社交机器人导航中强化学习策略缺乏语义推理能力的问题，提出HUMA混合架构，动态平衡RL策略与VLM的优势。在基准测试中任务成功率提高，减少碰撞，消融研究验证组件，实际部署证明方法可行。

Comments CoRL 2026 submission. 15 pages, 7 figures

Detecting AI-Generated Video: A Vision-Language Dual-View Survey

检测人工智能生成的视频：视觉-语言双视角综述

Dylan Xinming Hou, Juntian Zhang, Xu Gu, Yichen Wu, Nils Lukas, Gus Xia, Xiuying Chen, Yuhan Liu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学中关村人工智能学院） ； Harvard University（哈佛大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 综述人工智能生成视频检测，将任务重定义为事实保真度验证，提出视觉-语言双视角分类法，基于对221篇论文回顾，综合生成范式、审视检测方法、回顾评估指标，讨论挑战并指出未来方向。

Comments 51 pages, accepted by ACL 2026

Journal ref Association for Computational Linguistics 2026 pages 32221 to 32255

WasteAssistant: Regulation-Guided Visual Question Answering Framework for Intelligent Waste Segregation and Sustainable Managemen

WasteAssistant：用于智能垃圾分类与可持续管理的监管引导视觉问答框架

Khush Kataruka, Harshit Maurya, Anuja Vats, Murari Mandal, Kiran Raja, Praveen Kumar Chandaliya

机构 * SVNIT（萨达尔·瓦拉巴伊·国家理工学院） ； NTNU（挪威科技大学） ； KIIT（卡林加工业技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对现有智能垃圾分类系统的不足，提出集成视觉语言模型和多模态大语言模型的框架，构建新数据集，经实验验证基于BLIP的模型效果更佳，提升了分类准确率，确保监管合规，推动多模态AI在垃圾管理中的应用。

Comments 12 Pages, 5 Figures

MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

MonkeyOCRv2：用于文档人工智能的视觉-文本基础模型

Yuliang Liu, Zhang Li, Ziyang Zhang, Shuo Zhang, Qiang Liu, Jiajun Song, Zidun Guo, Xinhan Wang, Handong Zheng, Yang Liu, Dongliang Luo, Zhiyin Ma, Jiarui Zhang, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Kingsoft Office（金山办公软件） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对主流视觉编码器难以应用于文档图像的问题，提出MonkeyOCRv2模型。通过构建大型文档图像预训练语料库及采用联合预训练策略，在多个文档分析任务中提升性能，并验证其作为视觉编码器在文档解析和理解任务中的有效性。

Mixture of Cognitive Experts in Large Vision-Language Models

大型视觉语言模型中的认知专家混合体

Robert Wijaya, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究大型视觉语言模型中多编码器专家整合难题，提出证据驱动的多模态推理框架，利用布鲁姆分类法及两阶段认知语言化，改进感知和推理能力，实现细粒度分析。

Imperceptible and Reversible Adversarial Examples against Vision-Language Models for Privacy Protection

用于隐私保护的针对视觉语言模型的不可察觉且可逆的对抗性示例

Qi Lu, Ziqi Zhou, Yufei Song, Zijing Li, Lulu Xue, Minghui Li, Shengshan Hu, Leo Yu Zhang

机构 * School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院） ； College of Computer Science, Chongqing University（重庆大学计算机科学学院） ； School of Software and engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型基于文本的隐私攻击问题，提出CloakDiff框架，结合扩散对抗编辑与可逆网络生成不可察觉的对抗性示例，设计EDM启发式采样提高保真度，实验证明该框架能实现多模态隐私保护且具高视觉质量和可逆性。

Comments Accepted by ACM MM 2026

BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation

BARD：通过高效渐进性块合并和分阶段蒸馏桥接自回归与扩散视觉-语言模型

Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Liwei Zhang, Yuxuan Yao, Weihao Yuan, Siyu Zhu

机构 * Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型，实现在大块规模下性能恢复与解码效率提升。

Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices

镜头中的恶魔：分析并防御可穿戴设备上针对视觉语言模型的物理提示注入

Yaxin Li, Hao Wang, Yanda Shao, Shuhao Zhang, Yan Long

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。

RL Forgets! Towards Continual Policy Optimization

强化学习会遗忘！迈向持续策略优化

Mao-Lin Luo, Zhe-Xu Wang, Zi-Hao Zhou, Bo Ye, Jian Zhao, Min-Ling Zhang, Tong Wei

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education（教育部计算机网络和信息集成重点实验室（东南大学）） ； Zhongguancun Academy（中关村科学城公司） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究持续训练中强化学习易遗忘问题，引入MRCL基准测试，提出持续策略优化框架CPO，通过参数移动正则化减少遗忘，多模型规模实验验证了其有效性。