多模态大模型

MAIL++: Multi-Modal Bi-directional Agent Layer for Vision-Language Models

MAIL++: 视觉语言模型的多模态双向智能体层

Kaixiang Chen, Pengfei Fang, Hui Xue

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用国家重点实验室（东南大学），中华人民共和国教育部，中国） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出MAIL/MAIL++方法，通过将跨模态耦合嵌入VLM内在计算模块并引入双向桥接，实现参数高效微调，在少样本分类和跨域检索中超越现有方法。

CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning

CMAP: 面向多域任务增量学习的跨模态自适应提示

Sriram Mandalika

机构 * Hasso Plattner Institute（霍普斯·普拉特纳研究所） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对多域任务增量学习，提出跨模态自适应提示方法，利用CLIP文本嵌入空间进行任务路由、置信度估计和编码器适应，在MTIL基准上超越现有技术。

AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

AnatomiX：一种解剖学感知的胸部X光解读多模态大语言模型

Anees Ur Rehman Hashmi, Numan Saeed, Christoph Lippert

机构 * Hasso Plattner Institute（霍普夫纳研究所） ； MBZUAI（穆萨大学人工智能研究所） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出AnatomiX，一种两阶段解剖学感知多模态大语言模型，通过先识别解剖结构再执行下游任务，在解剖定位、短语定位、定位诊断和定位描述任务上相比现有方法提升超过25%。

DUEL: Adversarial Self-Play for Multimodal Reasoning

DUEL: 用于多模态推理的对抗性自我对弈

Lin Qiu, Hanqing Zeng, Yao Liu, Bingjun Sun, Guangdeng Liao, Ji Liu

机构 * Meta AI 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 提出DUEL框架，通过对抗性自我对弈从预训练VLM生成监督信号，结合长度归一化对数似然奖励，无需人工标注即可提升视觉推理与判别能力。

FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model

FG-CLIP 2: 一种双语细粒度视觉-语言对齐模型

Chunyu Xie, Bin Wang, Fanjing Kong, Jincheng Li, Dawei Liang, Ji Ao, Dawei Leng, Yuhui Yin

机构 * AI Research（360人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FG-CLIP 2双语视觉语言模型，通过区域-文本匹配、长描述建模和文本内模态对比损失等细粒度监督，在英中双语上实现细粒度对齐，在29个数据集上取得最优结果。

Comments Accepted in ICML2026

Language Bias in LVLMs: From In-Depth Analysis to Simple and Effective Mitigation

LVLMs中的语言偏差：从深入分析到简单有效的缓解方法

Yangneng Chen, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统研究了大视觉语言模型中的语言偏差问题，发现其根源在于训练中的模态未对齐，并提出了两种简单有效的缓解方法：语言偏差正则化（LBR）和语言偏差惩罚（LBP）。

Comments Accepted by ICML 2026

Mitigating Object Hallucinations in Vision-Language Models through Region-Aware Attention Recalibration

通过区域感知注意力重校准减轻视觉语言模型中的对象幻觉

Yuanzhi Xu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Sixue Lin, Yuteng Xiao

机构 * Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）） ； China Telecom Digital Intelligence Technology Co, Ltd（中国电信数字智能技术有限公司） ； Shenyang Aerospace University（沈阳航空航天大学） ； Qilu Institute of Technology（齐鲁理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种无需训练的区域感知自适应加权机制，通过计算注意力头的稳健统计中点并利用跨头分歧动态调整干预预算，以连续惩罚调制抑制幻觉路径，有效纠正视觉语义错位，同时保持生成流畅性。

CLIP-Guided SAM: Parameter-Efficient Semantic Conditioning for Promptable Segmentation

CLIP引导的SAM：用于可提示分割的参数高效语义条件

Shayan Jalilian, Abdul Bais

机构 * University of Regina, Regina, SK, Canada（里贾纳大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出CLIP-Guided SAM框架，通过轻量级多模态语义适配器将CLIP特征注入SAM图像编码器，实现内部语义条件化，在低标注数据下提升分割性能并支持手动和半自动两种模式。

Grounding-Driven Attack: Improving Encoder-based Adversarial Transferability against Large Vision-Language Models

基于文本驱动的攻击：提升编码器对抗迁移性以攻击大型视觉-语言模型

Xinwei Zhang, Li Bai, Tianwei Zhang, Youqian Zhang, Qingqing Ye, Yingnan Zhao, Ruochen Du, Haibo Hu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） ； Harbin Engineering University（哈尔滨工程大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出文本驱动攻击（GDA），通过将扰动优化与文本接地证据对齐，并采用接地感知扰动分配和接地中心证据破坏策略，显著提升编码器攻击在黑盒大型视觉-语言模型上的迁移性。

Comments Under review;

D2-V2X: Depth-Driven Cooperative V2X Reasoning for Autonomous Driving

D2-V2X: 面向自动驾驶的深度驱动协同V2X推理

Kevin Richard, Alphin Varghese, Colin Pham, David Oh, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对单车辆视觉语言模型受传感器遮挡限制的问题，提出D2-V2X基准和基线模型，通过融合3D LiDAR特征与VLM潜空间，利用链式思维推理实现遮挡目标识别和空间估计，在识别遮挡危险和降低空间估计误差上取得显著提升。

Comments Accepted to the DriveX Workshop at CVPR 2026 (Non-archival)

Mitigating Hallucinations in Large Vision-Language Models via Causal Route Gating

通过因果路由门控减轻大型视觉语言模型中的幻觉

Zhe Cheng, Wenyu Chen, Fode Zhang, Dehuan Shen

机构 * Center of Statistical Research, School of Statistics and Data Science, Southwestern University of Finance and Economics, Chengdu, China.（统计研究中心，统计与数据科学学院，西南财经大学，成都，中国） ； Department of Biomedical Engineering, College of Design and Engineering, National University of Singapore, Singapore（生物医学工程系，设计与工程学院，新加坡国立大学，新加坡） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型中因文本路径主导导致幻觉的问题，提出一种无训练、决策对齐的干预方法，通过分解注意力头为视觉和文本路由并抑制文本路由，有效减少幻觉错误。

Comments Accepted as a Spotlight Paper at ICML 2026. 33 pages, 8 figures

It's Time to Get It Right: Improving Analog Clock Reading and Clock-Hand Spatial Reasoning in Vision-Language Models

是时候正确了：提升视觉语言模型中的模拟时钟读取和指针空间推理能力

Jaeha Choi, Jin Won Lee, Siwoo You, Jangho Lee

机构 * Incheon National University（延世国立大学） ； McGill University（麦吉尔大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型在真实环境中读取模拟时钟的挑战，提出TickTockVQA数据集和Swap-DPO微调框架，显著提升时钟读取准确性和鲁棒性。

Comments Accepted to CVPR 2026 Findings

Efficient Distributed MLLM Training with Cornstarch

使用Cornstarch高效分布式多模态大语言模型训练

Insu Jang, Runyu Lu, Nikhil Bansal, Ang Chen, Mosharaf Chowdhury

专题命中 音频语音多模态 ：MLLM(title,abstract)；multimodal(abstract)

AI总结 提出Cornstarch框架，通过冻结感知流水线并行和令牌工作负载平衡的上下文并行，解决多模态大语言模型训练中的异构性问题，平均吞吐量提升2.26倍。

Comments ICML'26

StructBreak: Structural Cognitive Overload-Induced Safety Failures in MLLMs

StructBreak: 多模态大语言模型中结构性认知过载引发的安全故障

Yang Luo, Xinran Liu, Tiantian Ji, Zhiyi Yin, Lingyun Peng, Shuyu Li

机构 * Key Laboratory of Trustworthy Distributed Computing and Service (MoE), Beijing University of Posts and Telecommunications（可信分布式计算与服务重点实验室（MoE），北京邮电大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 音频语音多模态 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出StructBreak框架，通过量化结构性认知过载（SCO）揭示一种高阶认知过载攻击范式，在六种主流MLLM上实现92%平均攻击成功率，并证明该攻击通过结构性通道绕过安全过滤器。

Comments 23 pages; accepted to Findings of ACL 2026. This paper contains examples of harmful content

EMMA: Extracting Multiple physical parameters from Multimodal Data

EMMA: 从多模态数据中提取多个物理参数

Farhat Shaikh, Ayan Banerjee, Sandeep Gupta

机构 * IMPACT Lab, School of Computing & Augmented Intelligence (SCAI)（IMPACT实验室，计算与增强智能学院） ； Arizona State University, Tempe, AZ（亚利桑那州立大学，Tempe） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出EMMA框架，利用物理信息多模态融合和LTC网络，从原始视频、音频和图像时间序列中联合推断系统动力学参数，无需先验条件或专用传感器，在100+场景中优于单模态方法。

Comments Accepted at CVPR 2026 (main conference)

Talking Slide Avatars: Open-Source Multimodal Communication Approach for Teaching

Talking Slide Avatars: 面向教学的开源多模态通信方法

Xinxing Wu

机构 * School of Mathematics and Computer Science, Kentucky State University（肯塔基州立大学数学与计算机科学学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种集成OpenVoice和Ditto-TalkingHead的开源工作流，用于创建可说话的幻灯片头像，以增强在线教学中的教师存在感和叙事连续性。

Comments 15 pages

Secure Joint Source-Channel Coding of Multimodal Semantic Sources

多模态语义源的安全联合源信道编码

Denis Kozlov, Mahtab Mirmohseni, Rahim Tafazolli

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 研究在噪声窃听信道上传输多模态语义源的安全联合源信道编码问题，建立了速率-失真-感知权衡的基本界限。

ORACAL: A Robust and Explainable Multimodal Framework for Smart Contract Vulnerability Detection with Causal Graph Enrichment

ORACAL: 一种基于因果图增强的鲁棒且可解释的智能合约漏洞检测多模态框架

Tran Duong Minh Dai, Triet Huynh Minh Le, M. Ali Babar, Van-Hau Pham, Phan The Duy

机构 * Information Security Lab, University of Information Technology（信息安全部，信息科技大学） ； Vietnam National University（越南国家大学） ； School of Computer Science and Information Technology, Adelaide University（计算机科学与信息技术学院，阿德莱德大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 提出ORACAL异构多模态图学习框架，集成控制流图、数据流图和调用图，通过RAG和LLM增强关键子图，并采用因果注意力机制和PGExplainer实现鲁棒且可解释的智能合约漏洞检测。

Comments 21 pages, version 2

Is GPT-4o mini Blinded by its Own Safety Filters? Exposing the Multimodal-to-Unimodal Bottleneck in Hate Speech Detection

GPT-4o mini 是否被自身的安全过滤器蒙蔽？揭示多模态到单模态瓶颈在仇恨言论检测中的作用

Niruthiha Selvanayagam, Ted Kurti

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文通过 Hateful Memes Challenge 数据集系统分析 GPT-4o mini 在多模态仇恨言论检测中的安全架构，发现并实验验证了“单模态瓶颈”缺陷，即上下文无关的安全过滤器会优先阻断多模态推理，导致误报。

Comments This paper reports preliminary findings from a small-scale study whose sample size is insufficient to support the stated conclusions. The authors are withdrawing it to conduct a more comprehensive evaluation

Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization

Thaka at KSAA-2026 Task 2: 用于阿拉伯语音节符号化的正则化微调

Meshal Alamr, Hassan Alqaeri, Abdullah Aldahlawi

机构 * Thaka 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 针对低资源阿拉伯语音节符号化任务，通过正则化微调CATT-Whisper多模态模型，结合R-Drop一致性正则化、Optuna优化超参数和Focal Loss，在KSAA-2026共享任务中取得第一名。

Comments 4 pages, 1 figure. Published in Proceedings of OSACT7 (LREC 2026). Winning system for KSAA-2026 Task 2 on Arabic Speech Diacritization

Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

分布式部分信息谜题：在认知不对称下检验共同基础的构建

Yifan Zhu, Mariah Bradford, Kenneth Lai, Timothy Obiso, Videep Venkatesha, James Pustejovsky, Nikhil Krishnaswamy

机构 * Brandeis University（布兰迪斯大学） ； Colorado State University（科罗拉多州立大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出分布式部分信息谜题（DPIP）任务，收集多模态数据集，并评估大语言模型与动态认知逻辑方法在追踪信念状态和共同基础构建上的表现。

Comments 10 pages, 4 figures

Journal ref Proceedings of COLING-LREC 2026

EVIDENT: Routing MLLM Adaptation through Entity-Grounded Visual Evidence for Cross-Domain Video Temporal Grounding

EVIDENT: 通过实体锚定的视觉证据路由MLLM适配用于跨域视频时间定位

Geo Ahn, Jiwook Han, Youngrae Kim, Joonseok Lee, Jinwoo Choi

机构 * Kyung Hee University（庆尚大学） ； University of Southern California（南加州大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 视频多模态 ：MLLM(title,title_cn)；分类 cs.CV

AI总结 针对视频时间定位中域迁移导致性能下降的问题，提出EVIDENT框架，通过实体瓶颈适配器、实体绑定蒸馏损失和实体到证据门控机制，利用预训练MLLM的实体注意力实现参数高效的跨域鲁棒时间定位。

$M^3-Verse$: A "Spot the Difference" Challenge for Large Multimodal Models

$M^3-Verse$: 大型多模态模型的“找不同”挑战

Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

机构 * Zhejiang University, China（浙江大学） ； Shanghai AI Lab, China（上海人工智能实验室） ； Hangzhou Normal University, China（杭州师范大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出 $M^3-Verse$ 基准，通过多视角视频对评估 LMM 在一致空间中对物体动态变化的理解能力，并验证了现有模型的局限性。

MTLLFM: Multimodal-Temporal Laughter Localization: UR-FUNNY-Temporal and SMILE-Temporal Benchmarks with an Adaptive Multimodal Fusion Model

MTLLFM: 多模态时间笑声定位——UR-FUNNY-Temporal和SMILE-Temporal基准数据集与自适应多模态融合模型

Eyal Hanania, Nadav Kirsch, Daniel Arkushin, Jonathan Benvenisti, Amos Bercovich, Elie Zemmour, Sahar Froim

机构 * WSC-Sports（WSC-体育） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 针对现有方法无法精确捕捉短暂笑声事件时间边界的问题，本文提出两个完全标注的时间笑声数据集（UR-FUNNY-Temporal和SMILE-Temporal）和一个轻量级弱监督框架，通过固定HuBERT和MAE编码器结合时间softmax池化与自适应模态门控，实现从片段级标签到帧级时间定位，在体育广播数据上达到99% F1和68.1%定位精度，并将下游笑声推理CIDEr提升227%。

Comments Accepted to the Workshop on Affective & Behavior Analysis in-the-wild, CVPR 2026

Multi-modal video data-pipelines for machine learning with minimal human supervision

最小人工监督的机器学习多模态视频数据管道

Mihai-Cristian Pîrvu, Marius Leordeanu

机构 * Institute of Mathematics of the Romanian Academy "Simion Stoilow"（罗马尼亚科学院数学研究所 "Simion Stoilow"） ； Faculty of Automatic Control and Computer Science, National University of Science and Technology POLITEHNICA（自动控制与计算机科学系，波兰技术大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一种全自动数据管道，利用预训练专家模型和程序化组合，在无需人工监督下融合多种视觉模态，并基于PHG-MAE模型实现高效蒸馏，以低参数(<1M)达到与300M参数模型竞争的性能，部署于实时语义分割和深度估计任务。

AdaFuse-Det: Adaptive Cross-Modal Fusion of Event Cameras for Robust Object Detection in Low-Light RGB Imagery

AdaFuse-Det: 自适应跨模态融合事件相机用于低光照RGB图像中的鲁棒目标检测

Raju Imandi, Chethana B, Bharatesh Chakravarthi, Yong-Guk Kim, Manipriya S, Pavan Kumar B N

机构 * SRM University AP, India（印度SRM大学AP分校） ； Aptiv, Bengaluru, India（印度Aptiv公司，班加罗尔） ； Arizona State University, USA（美国亚利桑那州立大学） ； Sejong University, South Korea（韩国世宗大学） ； Indian Institute of Information Technology Sri City, India（印度Sri City信息学院） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出AdaFuse-Det双流框架，通过基于最小方差线性估计的自适应跨模态融合模块融合CLAHE增强RGB与事件数据，在低光照下实现鲁棒目标检测，在LLE-VOS基准上召回率65.54%、精确率53.85%、F1分数59.12%。

How do Humans Process AI-generated Hallucination Contents: a Neuroimaging Study

人类如何处理AI生成的幻觉内容：一项神经影像学研究

Shuqi Zhu, Yi Zhong, Ziyi Ye, Bangde Du, Yujia Zhou, Qingyao Ai, Yiqun Liu

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； Institute of Trustworthy Embodied AI, Fudan University, Shanghai, China（复旦大学可信具身人工智能研究院） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 通过EEG实验，研究人类在处理多模态大语言模型生成的幻觉与非幻觉内容时的神经动力学差异，揭示误判的幻觉内容未能触发标准神经认知事实验证通路。

StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering

StreamOV: 通过证据引导记忆与响应触发的流式全视频理解

Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 提出StreamOV框架，利用多模态证据引导的长短期记忆和隐状态驱动的触发机制，实现流式全视频理解中的在线推理与主动响应，并在新基准SOVBench上取得最优性能。

Hierarchical Local-Global Transformer for Temporal Sentence Grounding

层次化局部-全局Transformer用于时间语句定位

Xiang Fang, Daizong Liu, Pan Zhou, Zichuan Xu, Ruixuan Li

机构 * Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology（大数据安全湖北工程研究中心，华中科技大学网络安全科学与工程学院） ； Wangxuan Institute of Computer fTechnology, Peking University（王宣计算机技术研究院，北京大学） ； School of software, Dalian University of Technology（软件学院，大连理工大学） ； School of Computer Science, and Technology, Huazhong University of Science, and Technology（计算机科学与技术学院，华中科技大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 提出层次化局部-全局Transformer（HLGT），通过建模视频和查询的不同粒度层次及跨模态交互，实现更细粒度的多模态表示，并在三个数据集上取得最先进性能。

Comments Publish in IEEE Transactions on Multimedia

STaT: Resolving Shape Distortion in Non-Stationary Time Series via Tri-Modal Synergy

STaT: 通过三模态协同解决非平稳时间序列中的形状失真

Hui Cheng, Jinsheng Guo, Zhenhao Weng, Yan Qiao, Meng Li

机构 * Hefei University of Technology（合肥工业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 提出STaT多模态架构，通过符号-时间-文本三模态对齐，在降低平均误差的同时减少形状失真，在8个基准上提升幅度指标达8.9%并降低形状失真达8.5%。