多模态大模型

BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning

BalCapRL：一种基于RL的MLLM图像描述的平衡框架

Shaokai Ye, Vasileios Saveris, Yihao Qian, Jiaming Hu, Elmira Amirloo, Peter Grasch

机构 * Apple（苹果公司） 纠错

专题命中 图文多模态 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BalCapRL框架，通过联合优化正确性、参考覆盖和语言质量，解决图像描述中因评价指标狭窄导致的权衡问题，并通过改进的奖励解耦归一化和长度条件奖励遮蔽提升性能。

Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding

打破幻觉：当积极与消极在多模态解码中相遇

Yubo Jiang, Yitong An, Xin Yang, Abudukelimu Wuerkaixi, Xuxin Cheng, Fengying Xie, Zhiguo Jiang, Cao Liu, Ke Zeng, Haopeng Zhang

机构 * School of Astronautics, Beihang University（北京航空航天大学航天学院） ； Longcat Interaction Team, Meituan（美团Longcat交互团队） ； Tianmushan Laboratory, Beihang University（北京航空航天大学天门山实验室） 纠错

专题命中 图文多模态 ：multimodal(title)

AI总结 本文提出PND框架，通过在解码过程中引入正负对比路径，增强视觉真实性，无需重新训练即可在POPE、MME和CHAIR数据集上取得最佳性能。

Comments Accepted by CVPR 2026 (Conference on Computer Vision and Pattern Recognition). 11 pages, 5 figures. Code available at: https://github.com/JiangYubo4399/PND

Skip-It? Theoretical Conditions for Layer Skipping in Vision-Language Models

跳过层？视觉-语言模型中层跳过的理论条件

Max Hartman, Vidhata Jayaraman, Moulik Choraria, Akhil Bhimaraju, Lav R. Varshney

机构 * Department of Electrical and Computer Engineering, The University of Illinois, Champaign, IL, United States（电气与计算机工程系，伊利诺伊大学香槟分校） ； Department of Mathematics, The University of Illinois, Champaign, IL, United States（数学系，伊利诺伊大学香槟分校） ； AI Innovation Institute, Stony Brook University, Stony Brook, NY, United States（人工智能创新研究所，石溪大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出统一框架，通过可验证的冗余概念，理论分析视觉-语言模型中层跳过的条件，验证早期和晚期视觉token的冗余性，并统一现代层跳技术的理论基础。

From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG

从云层到幻觉：遥感视觉-语言RAG中的大气检索劫持

Jiaju Han, Chao Li, Chengyin Hu, Qike Zhang, Xuemeng Sun, Xin Wang, Fengyu Zhang, Xiang Chen, Yiwei Wei, Jiahuan Long, Jiujiang Guo

机构 * China University of Petroleum, Beijing at Karamay（中国石油大学（北京）克拉玛依校区） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出CloudWeb攻击，通过修改输入图像实现遥感多模态RAG中的大气证据劫持，展示了大气变化对检索阶段的影响，并揭示了自然外观的天气变化可能破坏证据检索。

PRPO: Paragraph-level Policy Optimization for Vision-Language Deepfake Detection

PRPO：用于视觉-语言深度伪造检测的段级策略优化

Tuan Nguyen, Naseem Khan, Khang Tran, NhatHai Phan, Issa Khalil

机构 * Qatar Computing Research Institute, Hamad Bin Khalifa University, Doha, Qatar（卡塔尔计算研究所，哈马德·本·哈利法大学，多哈） ； New Jersey Institute of Technology, NJ, USA（新泽西理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PRPO算法，通过段级相对策略优化提升深度伪造检测的准确性与推理能力，实验显示其在检测准确率和推理评分上均显著优于现有方法。

Comments Accepted at ICML 2026

Fine-tuning a vision-language model for fracture-surface morphology recognition

对骨折表面形貌识别进行视觉-语言模型的微调

Quanliang Liu, Jungtaek Kim, Kangwook Lee, Hyunseok Oh

机构 * Department of Materials Science & Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校材料科学与工程系） ； Department of Electrical & Computer Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校电气与计算机工程系） ； KRAFTON ； Ludo Robotics 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文通过微调开源视觉-语言模型，利用定制化的13168张骨折表面图像数据集，提升了对骨折表面形貌的识别能力，展示了在材料表征中的应用潜力。

How Far Are VLMs from Privacy Awareness in the Physical World? An Empirical Study

VLMs在物理世界中离隐私意识还有多远？一项实证研究

Junran Wang, Xinjie Shen, Zehao Jin, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 图文多模态 ：audio-visual(abstract)；分类 cs.AI

AI总结 本文通过实证研究揭示VLMs在物理环境中隐私意识的不足，提出ImmersedPrivacy框架评估模型在复杂场景中的隐私感知能力，发现现有模型在感知和隐私冲突处理上存在显著缺陷。

Cross-Modal Backdoors in Multimodal Large Language Models

多模态模型中的跨模态后门

Runhe Wang, Li Bai, Haibo Hu, Songze Li

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 研究提出一种利用轻量级连接器漏洞的跨模态后门攻击，通过污染连接器实现跨模态后门激活，展示攻击的有效性和可迁移性，揭示多模态对齐中的基本漏洞。

PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

PRIMED: 通过偏见竞争实现适应性模态抑制的指引用视听分割

Yuchen He, Jing Zhang

机构 * School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 PRIMED通过偏见竞争理论，实现适应性模态抑制，提升指引用视听分割的准确性，通过模态先验解码器和token蒸馏器增强多模态融合，实验表明其在Ref-AVS基准上达到最优性能。

Comments 11 pages, 8 figures

TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos

TraceAV-Bench: 多跳轨迹推理长音频视频基准测试

Hengyi Feng, Hao Liang, Mingrui Chen, Bohan Zeng, Meiyi Qiang, Zhengyang Zhao, Zimo Meng, Zeang Sheng, Wentao Zhang

机构 * University of Electronic Science and Technology of China（电子科学与技术大学） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 TraceAV-Bench首次评估多跳轨迹推理和多模态幻觉鲁棒性，包含2200道多选题，覆盖4个维度15个子任务，揭示多模态推理与幻觉鲁棒性脱节问题。

MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes

MIST：面向智能家居的多模态交互语音工具调用对话助手

Maximillian Chen, Xuanming Zhang, Michael Peng, Zhou Yu, Alexandros Papangelis, Yohan Jo

机构 * Columbia University（哥伦比亚大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 本文提出MIST数据集，用于研究具备物理世界约束推理能力的多模态语音助手，发现开放和闭源多模态LLM在该任务上存在显著差距。

Comments Project Page: https://billyzhang24kobe.github.io/mist-smarthome/

AudioFace: Language-Assisted Speech-Driven Facial Animation with Multimodal Language Models

AudioFace: 基于语言的语音驱动面部动画与多模态语言模型

Kai Zheng, Zejian Kang, Rui Mao, Hongyuan Zou, Yuanchen Fei, Xuanyang Xu, Xiangru Huang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Tiangong University（天工大学） ； Hunan University（湖南大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出AudioFace框架，通过语言和发音信息指导语音驱动的面部动作生成，提升语音与面部运动的对应精度。

EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting

EggHand：一种用于第一人称手姿态预测的多模态基础模型

Jaeyoung Choi, Hyeondong Kim, Yujin Kim, Daehee Park

机构 * DGIST, Republic of Korea（韩国忠南科学技术院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.CV

AI总结 本文提出EggHand模型，通过结合视觉-语言-动作模型的动作解码器和第一人称视频-文本编码器，实现对第一人称视频中手姿态序列的预测，提升了在剧烈视角变化下的鲁棒性和可控性。

Comments CVPR Findings 2026

EviDep: Trustworthy Multimodal Depression Estimation via Disentangled Evidential Learning

EviDep：通过解耦证据学习实现可信的多模态抑郁估计

Fangyuan Liu, Sirui Zhao, Zeyu Zhang, Jinyang Huang, Feng-Qi Cui, Bin Luo, Meng Li, Tong Xu, Enhong Chen

机构 * School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； Department of Psychiatry, The First Affiliated Hospital of University of Science and Technology of China, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学附属第一医院精神科，生命科学与医学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出EviDep框架，通过解耦证据学习量化抑郁严重程度及不确定性，提升多模态抑郁估计的可信度和不确定性校准能力。

DPG-CD: Depth-Prior-Guided Cross-Modal Joint 2D-3D Change Detection

DPG-CD: 基于深度先验的跨模态联合2D-3D变化检测

Luqi Zhang, Zhen Dong, Bisheng Yang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DPG-CD框架，通过引入深度先验和多阶段跨时序跨模态融合，有效解决影像与DSM间模态差异导致的3D变化检测难题，提升2D语义和3D高度变化检测性能。

123D: Unifying Multi-Modal Autonomous Driving Data at Scale

123D：规模化统一多模态自动驾驶数据

Daniel Dauner, Valentin Charraut, Bastian Berle, Tianyu Li, Long Nguyen, Jiabao Wang, Changhui Jing, Maximilian Igl, Holger Caesar, Boris Ivanovic, Yiyi Liao, Andreas Geiger, Kashyap Chitta

机构 * KE:SAI ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； NVIDIA Research（NVIDIA研究） ； Valeo Brain（法雷奥大脑） ； OpenDriveLab at Shanghai Innovation Institute（上海创新研究院自动驾驶实验室） ； Zhejiang University（浙江大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 123D通过单一API统一多模态自动驾驶数据，解决数据碎片化、同步难题，并提供分析工具，支持跨数据集3D目标检测和强化学习规划应用。

Towards multi-modal forgery representation learning for AI-generated video detection and localization

迈向多模态伪造表示学习的AI生成视频检测与定位

Dat Le, Khoa Nguyen, Xin Wang, Shu Hu

机构 * Purdue University（普渡大学） ； University at Albany, SUNY（纽约州立大学阿尔巴尼分校） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出多模态融合框架，结合语义、时空视觉与多尺度音频分支，实现AI生成视频的检测与细粒度时间定位，优于现有方法。

EyeCue: Driver Cognitive Distraction Detection via Gaze-Empowered Egocentric Video Understanding

EyeCue：通过眼动增强的视点视频理解进行驾驶员认知分心检测

Lang Zhang, JinYi Yoon, Matthew Corbett, Abhijit Sarkar, Bo Ji

机构 * Virginia Tech（弗吉尼亚理工大学） ； Inha University（inha大学） ； Army Cyber Institute at West Point（西点军营陆军网络学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EyeCue框架，通过眼动与视觉上下文的交互建模，实现驾驶员认知分心检测，利用CogDrive数据集验证其在多种驾驶场景下的高准确率和泛化能力。

Comments Accepted to the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)

RCoT-Seg: Reinforced Chain-of-Thought for Video Reasoning and Segmentation

RCoT-Seg：强化链式推理用于视频推理与分割

Junwei Wen, Deshui Miao, Guangming Lu, Xin Li, Wenjie Pei

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Pazhou Lab (Huangpu)（琶洲实验室（黄埔）） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出RCoT-Seg框架，通过分离时间推理与空间感知，改进视频分割中关键帧选择与定位，提升多目标场景下的鲁棒性与精度。

Comments 21 pages

EmambaIR: Efficient Visual State Space Model for Event-guided Image Reconstruction

EmambaIR：用于事件引导图像重建的高效视觉状态空间模型

Wei Yu, Yunhang Qian

机构 * Harbin Institute of Technology（哈尔滨理工大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EmambaIR，一种高效的视觉状态空间模型，通过跨模态Top-k稀疏注意力模块和门控状态空间模块，提升事件流图像重建的效率与性能，实现更高效的全局上下文捕捉。

Video Understanding Reward Modeling: A Robust Benchmark and Performant Reward Models

视频理解奖励建模：一个稳健的基准和高效的奖励模型

Yuancheng Wei, Linli Yao, Lei Li, Haojie Zhang, Hao Zhou, Fandong Meng, Xu Sun

机构 * South China University of Technology（华南理工大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） ； Tencent（腾讯） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Video Understanding Reward Bench基准和VideoDRM/VideoGRM模型，通过大规模高质量数据提升视频理解奖励建模性能。

VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding

VideoRouter: 为高效长视频理解的查询适应双路由

Kuanwei Lin, Wenhao Zhang, Ge Li

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VideoRouter通过双路由框架实现高效长视频理解，通过语义路由和图像路由动态分配证据，减少冗余token，提升压缩效率。

EgoPro-Bench: Benchmarking Personalized Proactive Interaction in Egocentric Video Streams

EgoPro-Bench：基于眼动视频流的个性化主动交互基准测试

Dongchuan Ran, Linyu Ou, Xueheng Li, Wenwen Tong, Chenxu Guo, Hewei Guo, Kaibing Wang, Lewei Lu

机构 * Beijing Institute of Technology（北京理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EgoPro-Bench，通过模拟用户画像生成多样化意图，构建高保真人机交互数据，评估主动交互能力，提升多模态大语言模型的意图理解与交互时机识别能力。

Comments 8 pages

A$^2$RD: Agentic Autoregressive Diffusion for Long Video Consistency

A$^2$RD：基于代理的自回归扩散用于长视频一致性

Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

机构 * Google Cloud AI Research（谷歌云人工智能研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 A$^2$RD通过Retrieve-Synthesize-Refine-Update循环实现长视频一致性合成，提升视频生成的连贯性和叙事一致性。

Comments Project page: http://dxlong2000.github.io/AARD

SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere

SphereVAD: 基于单位超球面几何推断的无训练视频异常检测

Chao Huang, Penfei Wei, Wei Wang, Jie Wen, Zhihua Wang, Li Shen, Wenqi Ren, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SphereVAD通过几何推断在单位超球面上实现无训练视频异常检测，利用预训练多模态大语言模型的中间层特征，通过Frechet均值中心化、Holistic Scene Attention和vMF引导的球面几何拉近技术，实现零样本异常识别。

Comments 48 pages, 25 figures

Large Video Planner Enables Generalizable Robot Control

大视频规划器实现通用机器人控制

Boyuan Chen, Tianyuan Zhang, Haoran Geng, Caiyi Zhang, Peihao Li, Kiwhan Song, William T. Freeman, Jitendra Malik, Pieter Abbeel, Russ Tedrake, Vincent Sitzmann, Yilun Du

机构 * MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； Harvard（哈佛大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。

Comments 29 pages, 16 figures

Federated Spatiotemporal Graph Learning for Passive Attack Detection in Smart Grids

联邦时空图学习用于智能电网中的被动攻击检测

Bochra Al Agha, Razane Tajeddine

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种基于图的多模态检测器，通过融合物理层和行为指标检测智能电网中的被动攻击，采用联邦学习框架提升鲁棒性，实现高准确率和低误报率。

Towards Billion-scale Multi-modal Biometric Search

迈向十亿级多模态生物特征搜索

Arka Koner, Chetan S. Naik, Lokesh Kurre, Vivek Raghavan, Barada P. Sabut, Tanusree Deb Barma, Anoop M. Namboodiri, Anil K. Jain

机构 * Unique Identification Authority of India（印度唯一身份权威机构） ； IIIT Hyderabad（海得拉巴IIIT） ； Michigan State University（密歇根州立大学） 纠错

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Bharat ABIS系统，通过多模态预处理和特征提取实现十亿级生物特征库的1:N搜索，验证了其在印度Aadhaar数据库上的高效性与准确性。

Multimodal Cancer Modeling in the Age of Foundation Model Embeddings

多模态癌症建模：在基础模型嵌入时代

Steven Song, Morgan Borjigin-Wang, Irene Madejski, Robert L. Grossman

机构 * Center for Translational Data Science（转化数据科学中心） ； Department of Computer Science（计算机科学系） ； University of Chicago（芝加哥大学） ； Medical Scientist Training Program（医学科学家培训计划） ； Brown University（布朗大学） ； Section of Biomedical Data Science（生物医学数据科学部门） ； Department of Medicine（医学系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文探讨了利用基础模型嵌入进行多模态癌症建模的可能性，展示了多模态融合的优势，并评估了病理报告文本和文本摘要对模型性能的影响。

Comments camera ready version for ML4H 2025, typo corrected

Journal ref Proceedings of the Fifth Machine Learning for Health Symposium, PMLR 297:202-227, 2026

CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval

CSMCIR: 基于记忆库的增强对称对齐用于复合图像检索

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Yiwei Ma, Jiayi Ji, Chenyi Lei, Han Li, Xiaoshuai Sun

机构 * Kuaishou Technology（快播科技） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CSMCIR，通过多级链式思维提示策略、对称双塔架构和熵基记忆库策略，实现高效查询-目标对齐，提升复合图像检索性能。