多模态大模型

DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

DiG：通过差异 grounding 提升多模态大语言模型的细粒度感知

Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiG框架，通过学习相似图像对的差异识别提升多模态大语言模型的细粒度感知能力，实验表明其在多个视觉感知基准上表现优异。

AutothinkRAG: Complexity-Aware Control of Retrieval-Augmented Reasoning for Image-Text Interaction

AutothinkRAG: 多模态文档问答中检索增强推理的复杂度感知控制

Jiashu Yang, Chi Zhang, Abudukelimu Wuerkaixi, Xuxin Cheng, Cao Liu, Ke Zeng, Xu Jia, Xunliang Cai

机构 * Dalian University of Technology（大连理工大学） ； Tsinghua University（清华大学） ； Meituan LongCat Interaction Team（美团LongCat交互团队） 纠错

专题命中 图文多模态 ：image-text(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出AutoThinkRAG，通过查询复杂度路由器和感知-推理解耦架构，提升多模态文档问答的效率与鲁棒性，实验表明在DocBench和MMLongBench上准确率提升，且降低计算与成本消耗。

ERGO: Efficient High-Resolution Visual Understanding for Vision-Language Models

ERGO：高效高分辨率视觉理解用于视觉-语言模型

Jewon Lee, Wooksu Shin, Seungmin Yang, Ki-Ung Song, DongUk Lim, Jaeyeon Kim, Tae-Ho Kim, Bo-Kyeong Kim

机构 * Nota Inc.（Nota公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 ERGO提出一种两阶段'粗到细'推理流程，通过下采样图像识别任务相关区域，再以全分辨率裁剪处理，从而在降低计算成本的同时保留必要的细粒度视觉细节，提升视觉-语言模型的效率与准确性。

IOSVLM: A 3D Vision-Language Model for Unified Dental Diagnosis from Intraoral Scans

IOSVLM：一种用于从牙科内窥扫描进行统一牙科诊断的3D视觉-语言模型

Huimin Xiong, Zijie Meng, Tianxiang Hu, Chenyi Zhou, Yang Feng, Zuozhu Liu

机构 * ZJU-UIUC Institute, Zhejiang University, Haining, 314400, China（浙大浙ICU研究所，浙江大学，海宁，314400，中国） ； Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine, Hangzhou, 310058, China（口腔医院，口腔医学院，浙江大学医学院，杭州，310058，中国） ； Angelalign Research Institute, Angel Align Inc., Shanghai, 200011, China（天使对齐研究院，天使对齐公司，上海，200011，中国） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IOSVLM，一种端到端的3D视觉-语言模型，利用点云表示内窥扫描，并结合大规模多源数据集，提升牙科诊断和生成式视觉问答的性能。

Segmentation-Based Attention Entropy: Detecting and Mitigating Object Hallucinations in Large Vision-Language Models

基于分割的注意力熵：在大视觉-语言模型中检测和缓解对象幻觉

Jiale Song, Jiaxin Luo, Xue-song Tang, Kuangrong Hao, Mingbo Zhao

机构 * School of Information and Intelligent Science, Donghua University, Shanghai, 201620, China（信息与智能科学学院，东华大学，上海，201620，中国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出基于分割的注意力熵(SAE)，通过语义分割量化视觉注意力不确定性，设计可靠性评分和注意力调整方法，有效缓解大视觉-语言模型中的对象幻觉问题。

Parallel In-context Learning for Large Vision Language Models

大规模视觉语言模型的并行上下文学习

Shin'ya Yamaguchi, Daiki Chijiwa, Tamao Sakao, Taku Hasegawa

机构 * NTT（日本电信电话研究所） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出并行上下文学习方法，通过将长上下文分割为短片段并行处理，提升大视觉语言模型的推理效率，同时保持性能与传统多模态上下文学习相当。

Comments Accepted to CVPR 2026 (Findings); Code is available at https://github.com/yshinya6/parallel-icl

Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models

大部分文本，智能视觉：不对称文本-视觉剪枝用于大型视觉-语言模型

Sijie Li, Biao Qian, Jungong Han

机构 * University of Sheffield, UK（英国谢菲尔德大学） ； Tsinghua University, China（清华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出不对称文本-视觉剪枝方法，通过解耦文本和视觉token的权重，发现文本路径需用文本token校准，视觉路径可实现50%稀疏率，验证了其在多模态基准上的优越性。

Comments CVPR 2026. Code available here: https://github.com/LezJ/ATV-Pruning

Urban Socio-Semantic Segmentation with Vision-Language Reasoning

城市社会语义分割与视觉-语言推理

Yu Wang, Yi Wang, Rui Dai, Yujie Wang, Kaikui Liu, Xiangxiang Chu, Yansheng Li

机构 * Wuhan University（武汉大学） ； Amap, Alibaba Group（阿里巴巴集团地图部门） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SocioReasoner框架，通过视觉-语言推理实现城市社会语义分割，引入SocioSeg数据集，实验显示优于现有方法且具备强零样本泛化能力。

Reliable Reasoning in SVG-LLMs via Multi-Task Multi-Reward Reinforcement Learning

通过多任务多奖励强化学习实现SVG-LLMs的可靠推理

Haomin Wang, Qi Wei, Qianli Ma, Shengyuan Ding, Jinhui Yin, Kai Chen, Hongjie Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出CTRL-S框架，通过多任务多奖励优化提升SVG生成的结构连贯性和视觉保真度，实验表明其在任务成功率和SVG代码质量上优于现有方法。

Think3D: Thinking with Space for Spatial Reasoning

Think3D: 基于空间的思考以实现空间推理

Zaibin Zhang, Yuhan Wu, Lianjie Jia, Yifan Wang, Zhongbo Zhang, Yijiang Li, Binghao Ran, Fuxi Zhang, Zhuohan Sun, Zhenfei Yin, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Think3D通过引入交互式3D推理框架，提升多模态代理的空间推理能力，实现在BLINK Multi-view和MindCube上的7.8%性能提升，并通过Think3D-RL优化小模型性能。

Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description

面向增材制造场景的红外工业感知的视觉-语言模型

Nazanin Mahjourian, Vinh Nguyen

机构 * Department of Mechanical and Aerospace Engineering, Michigan Technological University（机械与航空航天工程系，密歇根技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出VLM-IRIS框架，通过预处理红外图像为RGB兼容输入，利用CLIP编码器实现无监督的零样本工作件存在检测，展示了在热成像中的高精度应用。

Metamorphic Testing of Vision-Language Action-Enabled Robots

视觉-语言-动作机器人元测试

Pablo Valle, Sergio Segura, Shaukat Ali, Aitor Arrieta

机构 * Mondragon University（蒙达龙大学） ； University of Seville（塞维利亚大学） ； Simula Research Laboratory（Simula研究实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文探讨元测试能否缓解视觉-语言-动作机器人测试 oracle 问题，提出两种关系模式和五种关系，通过实验证明其有效性，并展示其在不同任务和机器人上的通用性。

Coherent Audio-Visual Editing via Conditional Audio Generation Following Video Edits

通过条件音频生成实现一致的音频视觉编辑

Masato Ishii, Akio Hayakawa, Takashi Shibuya, Yuki Mitsufuji

机构 * Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM

AI总结 本文提出一种联合音频视觉编辑 pipeline，通过条件音频生成实现视频编辑与音频的协调一致，实验表明其在保持音频视觉一致性方面优于现有方法。

Comments Source code: https://github.com/SonyResearch/CoherentAVEdit

CAST-TTS: A Simple Cross-Attention Framework for Unified Timbre Control in TTS

CAST-TTS: 一种用于语音合成中统一音色控制的跨注意力框架

Zihao Zheng, Wen Wu, Chao Zhang, Mengyue Wu, Xuenan Xu

机构 * Shanghai AI Lab（上海人工智能实验室） ； MoE Key Lab of Artificial Intelligence, X-LANCE Lab, Shanghai Jiao Tong University（人工智能大规模并行计算关键实验室，X-LANCE实验室，上海交通大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 本文提出CAST-TTS框架，通过统一语音和文本提示的音色控制，采用多阶段训练策略和单个跨注意力机制实现高效合成，实验表明其性能接近专用单输入模型。

Comments Submitted to Interspeech 2026

ExpressMind: A Multimodal Pretrained Large Language Model for Expressway Operation

ExpressMind：一种用于高速公路运营的多模态预训练大语言模型

Zihe Wang, Yihuan Wang, Haiyang Yu. Zhiyong Cui, Xiaojian Liao, Chengcheng Wang, Yonglin Tian, Yongxin Tong

机构 * Beihang University（北航） ； Shandong Hi-speed Group Co., Ltd（山东高速集团有限公司） ； Institute of automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；MLLM(abstract)；cross-modal(abstract)

AI总结 本文提出ExpressMind，一种针对高速公路运营的多模态预训练大语言模型，通过构建全栈数据集和双层预训练方法，提升事件检测、安全响应生成和复杂交通分析能力。

Surg$Σ$: A Spectrum of Large-Scale Multimodal Data and Foundation Models for Surgical Intelligence

Surg$Σ$: 一种大规模多模态数据和基础模型的光谱，用于外科智能

Zhitao Zeng, Mengya Xu, Jian Jiang, Pengfei Guo, Yunqiu Xu, Zhu Zhuo, Chang Han Low, Yufan He, Dong Yang, Chenxi Lin, Yiming Gu, Jiaxin Guo, Yutong Ban, Daguang Xu, Qi Dou, Yueming Jin

机构 * NUS（新加坡国立大学） ； CUHK（香港中文大学） ； SJTU（上海交通大学） ； NVIDIA（英伟达） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 本文提出Surg$Σ$，通过大规模多模态数据和基础模型提升外科智能，解决现有框架任务特定、泛化能力差的问题，展示统一语义设计和结构化推理标注的改进效果。

VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding

VideoITG: 多模态视频理解中的指导性时间定位

Shihao Wang, Guo Chen, De-an Huang, Zhiqi Li, Minghan Li, Guilin Liu, Jose M. Alvarez, Lei Zhang, Zhiding Yu

机构 * The Hong Kong Polytechnic Univ（香港理工大学） ； Nanjing Univ（南京大学） ； NVIDIA（NVIDIA公司） ； Harvard Univ（哈佛大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 VideoITG通过设计VidThinker流水线，自动生成指令条件化描述，检索相关视频片段并选择关键帧，提升多模态视频理解任务的性能。

Comments Accepted by CVPR

When Thinking Hurts: Mitigating Visual Forgetting in Video Reasoning via Frame Repetition

当思考带来痛苦：通过帧重复缓解视频推理中的视觉遗忘

Xiaokun Sun, Yubo Wang, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出FrameRepeat框架，通过轻量级重复评分模块和Add-One-In策略，有效增强视频推理中的视觉线索，提升模型性能和泛化能力。

TennisExpert: Towards Expert-Level Analytical Sports Video Understanding

TennisExpert: 向专家级分析体育视频理解迈进

Zhaoyu Liu, Xi Weng, Lianyu Hu, Zhe Hou, Kan Jiang, Jin Song Dong, Yang Liu

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TennisExpert框架，通过整合视频语义解析器和基于Qwen3-VL-8B的记忆增强模型，实现高效多模态网球理解，提升战术分析和比赛动态捕捉能力。

VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

VideoReasonBench: 大规模语言模型能否进行以视觉为中心的复杂视频推理？

Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Moonshot AI ； Nanjing University（南京大学） ； School of Mathematical Sciences, Peking University（数学科学学院，北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VideoReasonBench评估了基于视觉的复杂视频推理能力，发现大多数先进多模态语言模型在复杂视频推理任务上表现不佳，而增强推理能力的Gemini-2.5-Pro表现突出。

Comments Project Page: https://llyx97.github.io/video_reason_bench/

Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval

Evo-Retriever：基于观点-路径协作的LLM引导课程进化多模态文档检索框架

Weiqing Li, Jinyue Guo, Yaqi Wang, Haiyang Xiao, Yuewei Zhang, Guohua Liu, Hao Henry Wang

机构 * Alibaba Cloud Computing（阿里巴巴云计算） 纠错

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出Evo-Retriever框架，通过LLM引导的课程进化和观点-路径协作提升多模态文档检索性能，实现在ViDoRe V2和MMEB数据集上达到SOTA水平。

Comments Accepted by CVPR2026

Finder: A Multimodal AI-Powered Search Framework for Pharmaceutical Data Retrieval

Finder：一种多模态AI驱动的制药数据检索框架

Suyash Mishra, Srikanth Patil, Satyanarayan Pati, Sagar Sahu, Baddu Narendra

机构 * Researcher, Global Product Strategy F. Hoffmann-La Roche Ltd. Basel, Switzerland（全球产品战略研究员 罗氏有限公司 巴塞尔，瑞士） ； Associate Vice President (Gen AI) Involead Services Pvt Ltd. Pune, India（高级副总裁（生成式人工智能） Involead服务私人有限公司 普纳，印度） ； Lead Data Scientist Involead Services Pvt Ltd. Delhi, India（首席数据科学家 Involead服务私人有限公司 德里，印度） ； Data Scientist Involead Services Pvt Ltd. Bhubaneswar, India（数据科学家 Involead服务私人有限公司 奇塔拉，印度） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 Finder利用混合向量搜索统一文本、图像、音频和视频的检索，通过稀疏词汇和密集语义模型提升多模态内容处理能力，支持自然语言推理搜索，已处理超过29万文档、3.1万视频和1192音频文件。

Retrieving Counterfactuals Improves Visual In-Context Learning

检索反事实改进视觉上下文学习

Guangzhi Xiong, Sanchit Sinha, Zhenghao He, Aidong Zhang

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出CIRCLES框架，通过主动检索反事实样例提升视觉语言模型的因果推理能力，实验表明其在多个数据集上优于现有方法，尤其在小规模模型和信息稀缺场景下表现突出。

Comments CVPR 2026

Homogeneous and Heterogeneous Consistency progressive Re-ranking for Visible-Infrared Person Re-identification

同质与异质一致性渐进重排序用于可见-红外人重识别

Yiming Wang

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HHCR方法，通过同质和异质一致性重排序解决跨模态人重识别中的模态差异问题，实验表明其方法具有泛化能力并达到最优性能。

FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment

FALCON：视觉-语言对齐中对比负样本的假阴性感知学习

Myunsoo Kim, Seongwoong Shim, Byung-Jun Lee

机构 * Korea University（韩国大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 FALCON通过动态选择合适难度的负样本平衡硬负样本与假阴性，提升视觉-语言对齐性能，验证其在多种框架和任务中的有效性。

Comments Accepted at CVPR 2026

BUSSARD: Normalizing Flows for Bijective Universal Scene-Specific Anomalous Relationship Detection

BUSSARD：基于归一化流的生物jective通用场景特定异常关系检测

Melissa Schween, Mathis Kruse, Bodo Rosenhahn

机构 * Institute for Information Processing, L3S - Leibniz University Hannover（信息处理研究所，L3S-汉诺威莱布尼茨大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出BUSSARD模型，通过归一化流学习场景图中对象-关系-对象三元组到基础分布的可逆变换，实现异常关系检测。在SARD数据集上取得优于当前SOTA的AUROC提升，并展示出更强的鲁棒性和通用性。

Comments CVPR 2026 Main Track

REFORGE: Multi-modal Attacks Reveal Vulnerable Concept Unlearning in Image Generation Models

REFORGE：多模态攻击揭示图像生成模型中的脆弱概念反向学习

Yong Zou, Haoran Li, Fanxiao Li, Shenyang Wei, Yunyun Dong, Li Tang, Wei Zhou, Renyang Liu

机构 * Yunnan University（云南大学） ； Northeastern University（东北大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 REFORGE通过对抗性图像提示评估图像生成模型反向学习的鲁棒性，揭示现有方法的持续漏洞，提出更高效的多模态对抗攻击策略。

Comments Accepted by ICME 2026

HYDRA: Unifying Multi-modal Generation and Understanding via Representation-Harmonized Tokenization

HYDRA：通过表征协调的标记化统一多模态生成与理解

Xuerui Qiu, Yutao Cui, Guozhen Zhang, Junzhe Li, JiaKui Hu, Xiao Zhang, Yang Li, Songtao Liu, Miles Yang, Yu Shi, Zhao Zhong, Liefeng Bo

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯文英） ； Zhongguancun Academy（中关村学院） ； Nanjing University（南京大学） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 HYDRA通过表征协调的标记化统一多模态生成与理解，提出了一种新的统一框架，在单一参数空间内整合感知与生成，实验表明其在视觉重建和生成任务中均取得新突破。

Comments Work in progress: We are actively scaling up the models. More updates coming soon

3M-TI: High-Quality Mobile Thermal Imaging via Calibration-free Multi-Camera Cross-Modal Diffusion

3M-TI: 通过无校准多相机跨模态扩散实现高质量移动热成像

Minchong Chen, Xiaoyun Yuan, Junzhe Wan, Jianing Zhang, Jun Zhang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能联合实验室，人工智能研究院，上海交通大学） ； School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出3M-TI，一种无需校准的多相机跨模态扩散框架，通过跨模态自注意力模块提升热成像的分辨率和细节，验证其在实际应用中的优越性能。

Comments Accepted by CVPR 2026, Code: https://github.com/work-submit/3MTI, Project page: https://lab.xiaoyunyuan.net/index.html?project=3m-ti

Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models

Meta-TTRL：一种用于统一多模态模型中自改进测试时间强化学习的元认知框架

Lit Sin Tan, Junzhe Chen, Xiaolong Fu, Lichen Ma, Junshi Huang, Jianzhong Shi, Yan Li, Lijie Wen

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 Meta-TTRL通过元认知信号实现测试时间参数优化，提升统一多模态模型的自改进能力，在文本到图像生成任务中取得显著成果。

Comments 8 pages