多模态大模型

Compliance, Capability, and Conflict: Benchmarking Multimodal LLMs under System Messages

合规性、能力与冲突：基于系统消息的多模态大语言模型基准测试

Juan Yeo, Geewook Kim

机构 * NAVER Cloud（NAVER云） ； KAIST AI（韩国科学技术院人工智能） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究构建基准VSysBench测试多模态大语言模型在系统消息下的合规性，发现施加系统消息会降低任务准确率，开放权重模型易受用户冲突影响，视觉约束最难。

DAVSS: Distilled Audio-Visual State Space Models

DAVSS：蒸馏视听状态空间模型

Saurabhchand Bhati, Mrudula Athi, Amit S. Chhetri, James Glass

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本研究提出14M参数的DAVSS模型，通过小patch提升输入分辨率、30%参数用于联合建模，在体积远小于CAV-MAE等Transformer视听模型的同时，性能仍优于后者。

Does Listening Matter? Backchanneling and Nodding in AI Clone

倾听重要吗？AI克隆中的反馈式回应与点头动作

Koji Inoue, Kazushi Kato, Tatsuya Kawahara, Shunichi Kasahara

专题命中 音频语音多模态 ：multimodal(abstract,comments)；分类 cs.CL

AI总结 本研究将口头反馈式回应与头部点头整合到配备语音克隆及LLM响应的AI克隆中，经35人被试内研究证实，添加互动倾听行为可提升AI克隆的感知专注度、真实感与共同在场感，其保真度需涵盖倾听行为。

Comments This paper has been accepted to the Late-Breaking Results (LBR) track of the 28th International Conference on Multimodal Interaction (ICMI 2026)

ID-VTG: Image-Disambiguated Video Temporal Grounding

ID-VTG：基于图像消歧的视频时间定位

Minghang Zheng, Jingli Wei, Hongyi Yang, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视频时间定位中视觉相似实体的消歧难题，本文提出ID-VTG任务与VGD-Agg框架，构建两个基准数据集，实现了该任务的当前最优性能。

Comments ACM-MM 2026

Time-Series Retrieval for Grounding Multimodal Language Models in Remaining Useful Life

用于将多模态语言模型与剩余使用寿命关联的时间序列检索

Valeriu Dimidov, Raphaël Frank

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出时间序列检索关联的多模态大语言模型框架，在C-MAPSS基准FD001分区实验显示，该方法可提升RUL预测的误差与稳定性，且效果随模型容量变化。

Contrastive Mixed Prompt Learning for Incomplete Multimodal Sentiment Analysis with Unseen Modality Combination

针对未见模态组合的不完整多模态情感分析的对比混合提示学习

Kaixin Xu, NaiJin Liu, Yulin Kang, Tangyue Jin, Zixuan Yu, Wenxi Zhao, Yibei Liu, Qianle Zhang, Yangyang Wu, Mengying Zhu, Meng Xi

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对未见模态组合下的不完整多模态情感分析问题，提出CMPL模型，通过标签引导对比学习、带软路由的模态组合提示及三种提示对比策略，在三类数据集上较SOTA准确率提升超5%。

CVSD-Reg: Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration

CVSD-Reg：用于鲁棒激光雷达配准的跨模态视觉语义先验蒸馏

Eunsoo Im, Junghun Suh, Gyeonggwan Lee, Seunghwan Hong

专题命中 跨模态检索 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出CVSD-Reg框架，通过蒸馏视觉基础模型的语义先验提升激光雷达配准的鲁棒性，在多数据集上的成功率优于现有方法，且无需相机输入或事后ICP精修。

G-CARL: Grounded Checklist-Aligned Reward Learning for Patient-Oriented Medical Report Interpretation

G-CARL：面向患者的医学报告解读的基于 grounded 核对清单对齐的奖励学习

Shiao Xie, Siyu Chen, Jianwei Lv, Bo Yuan, Yujin Wang, Xiandong Li

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文针对现有医学视觉-语言任务无法兼顾医学事实性与患者语境沟通的问题，提出PMRI任务及G-CARL框架，构建MMedReport基准，实验证实其解读更贴合患者需求。

Loss-Resilient Semantic Communication over Packet-Loss Networks at Extreme-Low Bandwidth

极端低带宽丢包网络下的抗丢包语义通信

Shengshi Yao, Jincheng Dai, Sixian Wang, Guo Lu, Kai Niu, Wenjun Xu, Wenjun Zhang, Ping Zhang

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 针对极端低带宽丢包网络的语义通信问题，提出ResiGLC框架，结合语言模型上下文预测与掩码学习，通过渐进式解码提升抗丢包性，可在低带宽下改善通信的感知质量。

Comments Accepted to appear in IEEE TMC. 14 pages, 15 figures, and 5 tables

From Latent Influence to Language: Diffusion-Oriented Content Generation via Audience-Susceptible Features

从潜在影响到语言：面向扩散的受众易感特征内容生成

Jiaying Lei, Shengqi Dang, Runqian Bai, Ziqing Qian, Nan Cao

专题命中 多模态生成 ：multimodal(abstract)

AI总结 针对现有面向扩散的内容生成方法难以转化扩散影响信号的问题，提出三阶段框架DOCG-AS，实验显示其在预测扩散影响上优于现有基线。

RFWM: Physics-Guided World Model for Dynamic Wireless Radiance Field Generation

RFWM：用于生成动态无线辐射场的物理引导世界模型

Zijiu Yang, Qianqian Yang

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本研究针对动态未知环境下RF场建模泛化难的问题，提出物理引导的RF世界模型RFWM，采用两阶段训练策略，在新构建的基准上实现了优于现有最优方法的RF场生成性能。

When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

当无关文本起作用时：多模态大语言模型中的仿射间隔偏移

Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文研究多模态大语言模型（MLLMs）中任务无关文本对视觉判断任务的影响，发现其会使模型决策间隔发生可预测的仿射变换，为提升模型对噪声上下文的鲁棒性提供了诊断基础。

NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection

NepOOC-M：面向OOC检测的尼泊尔语-英语双语基准及多模态架构的对比分析

Sanjeev Khatiwada

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对尼泊尔语OOC虚假信息检测，构建首个尼泊尔语多语言OOC基准NepOOC，评估多模态等架构发现仅文本mBERT性能最优，数据集扩充比架构优化更有效。

Comments 12 pages, 5 figures

Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis

Inter-X++：用于多模态人与人交互分析的综合基准

Liang Xu, Chengqun Yang, Zili Lin, Xintao Lv, Yichao Yan, Xin Jin, Zhibo Chen, Xiaokang Yang, Wenjun Zeng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（宁波工程学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出多模态人与人交互基准Inter-X++，构建含精细标注的大规模数据集，开发统一HHI框架OpenHHI，其在生成与感知任务上达最优性能，验证了统一表示的有效性。

Comments 24 pages, 10 figures

MUST-PET: MUltimodal Self-supervised learning across Tracers for whole-body PET/CT-based lesion segmentation

MUST-PET：用于基于全身PET/CT的病灶分割的跨示踪剂多模态自监督学习

Bashirul Azam Biswas, Amartya Bhattacharya, Biratal Raj Wagle, Matthew E. Maeder, James B. Yu, Indrani Bhattacharya

机构 * Geisel School of Medicine at Dartmouth（达特茅斯盖泽尔医学院） ； Dartmouth Hitchcock Medical Center（达特茅斯-希区柯克医疗中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出MUST-PET多模态自监督学习框架，通过跨示踪剂的上下文感知掩码重建，实现全身PET-CT病灶的标注高效、可泛化分割，性能优于从头训练模型。

Comments Submitted to SPIE CAD 2027

Holtercare-Bench: A Multimodal Benchmark for Evaluating Long-Term Dynamic ECG Analysis

Holtercare-Bench：用于评估长期动态心电图分析的多模态基准

Yihan Xie, Hanwen Cui, Runze Ye, Juekai Lin, Haoyang Wang, Jinhao Mao, Bo Zhang, Wenqiao Zhang, Xiaogang Guo, Jun Xiao, Lei Zhang

机构 * Zhejiang University（浙江大学） ； Beijing Institute of Technology（北京理工大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation

ArmorOCR：基于观测迁移自蒸馏的 grounded 对抗性视觉感知

Linhan Cao, Siyuan Li, Jun Lan, Liangbo He, Guannan Li, Xiaolei Huang, Jun Jia, Shuheng Zhou, Huijia Zhu, Weiqiang Wang, Wei Sun

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出ArmorOCR两阶段训练框架，结合OPSD与GRPO，推出含390幅图像的AdvSpot基准，可提升对抗性OCR感知能力并保留通用OCR性能

RecPFN: Prior-Fitted Networks for In-Context-Based Recommendations

RecPFN：用于基于上下文的推荐的先验拟合网络

En Zhi Tan, Jia Xiang Lim, Bryan Lijie Chew, Tze Minh Ng, Benjamin Yan Han Yap

机构 * SAP SE（思爱普公司） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 RecPFN是一种将上下文学习引入序列推荐的先验拟合网络，经合成点击流环境预训练，在八个基准测试中实现最优零样本性能，部署高效且鲁棒，为通用推荐系统提供新路径。

Comments 12 pages, 4 figures, 8 tables

Question-Guided Evidence Acquisition for Multimodal Visual Question Answering

面向多模态视觉问答的问题引导式证据获取

Alin-Ionut Popa

机构 * Amazon Inc.（亚马逊公司） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态视觉问答中模型读取文档不可靠的问题，提出Q-Guide智能体引导感知，在两个数据集上优于基线方法，且增益来自精准感知引导而非复杂控制逻辑。

Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models

面向多模态大语言模型的符合规则的视觉空间规划

Yu Chen, Ting Lei, Yaoyi Li, Jia Cai, Zhecen Wu, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所） ； Yinwang Intelligent Technology Co., Ltd（银湾智能科技有限公司） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对多模态大语言模型的规则遵循空间规划问题，构建了RuleMaze基准，提出语言-逻辑-函数混合方法和解耦多模态规划（DMP），提升了规则遵循度与规划成功率。

Multimodal Trajectory Planning for Surface Vehicles using Turning Circle-based Control Barrier Functions

基于转向圆型控制障碍函数的水面航行器多模态轨迹规划

Changyu Lee

机构 * Kongju National University（公州国立大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 本文针对动态环境下自主水面航行器，提出结合MPC与TC-CBF的无引导路径多模态轨迹规划框架，可提升避碰成功率、减少安全违规并缓解局部极小问题。

Comments This work has been submitted to an Elsevier journal for possible publication

An Agentic Approach for Active Data Collection, Travel Behavior Modeling, and Weather-Sensitive Demand Prediction

一种用于主动数据收集、出行行为建模及天气敏感需求预测的智能体方法

Narges Ahmadi (1), Yubo Jiao (1), Jônatas Augusto Manzolli (1), Jiangbo Yu (1), Luis Miranda-Moreno (1) ((1) McGill University)

机构 * McGill University（麦吉尔大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出三智能体工作流，结合对话式调查、传统建模与多模态LLM预测，基于学生通勤数据实现天气敏感出行需求预测，视觉配置模型准确率达71.5%

Multi-Agent Orchestration with the Common-Sense Reasoning Capabilities of LLMs for Autonomous Driving

结合大语言模型常识推理能力的多智能体协同框架用于自动驾驶

Mehdi Azarafza, Faezeh Pasandideh, Ali Ehteshami Bejnordi, Stefan Henkler, Achim Rettberg

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究针对自动驾驶中强化学习等方法的上下文推理缺陷，提出结合LLM常识推理的混合多智能体协同框架，经CARLA场景验证可保留结构化控制与安全机制，具备应用潜力。

Comments 17 pages, 7 figures

Towards general embodied intelligence: integrating large language models, knowledge bases, and reasoning capabilities to build the next generation of AI agents

迈向通用具身智能：整合大语言模型、知识库与推理能力以构建下一代AI智能体

Fujiang Yuan, Xia Huang, Lusheng Wang, Jun Ding, Zhen Tian, Yuxin Wang, Shaojie Gu, Yuki Funabora, Yanhong Peng, Zebing Mao

机构 * College of Mechanical Engineering, Chongqing University of Technology（重庆理工大学机械工程学院） ； James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院） ； School of Energy and Power, Jiangsu University of Science and Technology（江苏科技大学能源与动力学院） ； Magnesium Research Center, Kumamoto University（熊本大学镁研究中心） ； Department of Information and Communication Engineering, Nagoya University（名古屋大学信息与通信工程系） ； State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University（浙江大学流体动力与机电系统国家重点实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述以LLM为核心的智能系统演进，提出整合LLMs、KBs、RA与具身性的概念框架，明确高效LLM部署等五大挑战，为开发复杂动态环境下的自适应多模态智能体提供路线图。

G-MARK: Grounded Multi-Agent Reasoning for Cooperative Driving via Knowledge Graphs

G-MARK：基于知识图谱的协同驾驶接地多智能体推理

Bhavya Gupta, Onat Gungor, Tajana Rosing

机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校） ； West Virginia University（西弗吉尼亚大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出 G-MARK 框架，通过知识图谱实现协同驾驶多智能体推理，提升遮挡推理与控制选择性能，减小通信负载，效果优于现有基线。

Comments Accepted for oral presentation at the 25th IEEE International Conference on Machine Learning and Applications (ICMLA'26)

Dynamic Gated Cross-Modal Fusion with Sarcastic-aware Contrastive Regularization for Multimodal Sarcasm Detection

面向多模态反讽检测的带反讽感知对比正则化的动态门控跨模态融合方法

Hao Guo, Subin Huang, Junjie Chen, Zhifa Geng, Sanmin Liu, Chao Kong

机构 * Renmin University of China（中国人民大学） ； Anhui Polytechnic University（安徽工程大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CL

AI总结 该研究针对多模态反讽检测任务，提出集成动态门控跨模态融合与SaCR正则化的MSD框架，经实验验证其性能优于多个强基线模型。

Comments Accepted to SEKE 2026. 6 pages, 3 figures

Robust Cross-Modal Foundation Model Perception for Underwater Robots under Degraded Visual Conditions

退化视觉条件下水下机器人的鲁棒跨模态基础模型感知

Mohammad Arif Ul Alam

机构 * College of Science and Technology, North Carolina A & T State University（北卡罗来纳农工州立大学科学技术学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对水下机器人视觉退化问题，提出感知退化的视觉-声纳门控融合方法，在极端退化下使平衡准确率较 DINOv2 基线提升 33.5%，实现鲁棒跨模态感知。

Robust Incomplete Multimodal Sentiment Analysis via Iterative Proxy Correction

基于迭代代理修正的鲁棒性不完整多模态情感分析

Zhifa Geng, Subin Huang, Hao Guo, Junjie Chen, Sanmin Liu, Chao Kong

机构 * Renmin University of China（中国人民大学） ； Anhui Polytechnic University（安徽工程大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 针对不完整多模态情感分析中一次性代理初始化粗糙的问题，提出迭代代理修正框架，在MOSI等数据集上实现了优于基线的鲁棒情感预测。

Comments Accepted to SEKE 2026. 6 pages, 4 figures

Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

搭建心智：优化多模态推理的潜在视觉目标表示

Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

机构 * Google DeepMind（谷歌DeepMind） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对潜在推理框架的 SFT 阶段潜在表示对齐差、RL 阶段缺乏探索性潜在轨迹的局限，提出 Scaffolding Minds，学习专用搭建编码器与 RL 采样器的均值方差，在多基准任务上取得显著性能提升。

Projector Is All You Train

仅训练投影器就足够

Nyx Iskandar, Saathvik Selvan, Slater Victoroff

机构 * Ramen VR（拉面VR公司） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究探究多模态大语言模型适配新模态是否需微调主干，经实验发现仅训练投影器即可实现强多模态性能，还能避免联合训练导致的语言模型能力漂移，且训练样本吞吐量约为联合训练的两倍，通过多类基准验证了结论。