多模态大模型

Unlocking the Power of Medical Tabular Data via Semantic-Aware Multimodal Pre-training

通过语义感知多模态预训练释放医疗表格数据的力量

Yingsheng Liu, Haiming Li, Jingmin Zhu, Jiajun Sun, Victoria Mar, Monika Janda, H. Peter Soyer, Zongyuan Ge, Zhen Yu

机构 * Faculty of Information Technology, Monash University（莫纳什大学信息技术学院） ； Monash University（莫纳什大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对医疗表格数据的语义利用不足问题，提出语义感知多模态预训练框架，含重要性感知自适应掩码与软标签离散化模块，在皮肤病学、眼科数据集上实现SOTA，鲁棒性与跨域泛化能力优异。

Comments INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION (ORAL presentation)

Watching Synthetic Videos: Aligning Cross-modal Representations with Visual Synthesis for Zero-shot Video Captioning

观看合成视频：针对零样本视频字幕生成的视觉合成跨模态表征对齐

Liangyu Fu, Junbo Wang, Yuke Li, Ya Jing, Xuecheng Wu, Zhiyong Wang

机构 * School of Software, Northwestern Polytechnical University（西北工业大学软件学院） ； School of Information Science and Technology, Beijing University of Technology（北京工业大学信息科学与技术学院） ； School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； School of Computer Science, The University of Sydney（悉尼大学计算机科学学院） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出WSV零样本视频字幕生成框架，通过文本到视频生成模型、抛光器、提示器弥合跨模态差距，在三个公开数据集上取得了B@4 52、CIDEr 95.7的成绩。

VisEditBench: Can Vision-Language Models Edit Visualization Code from Multimodal Feedback?

VisEditBench：视觉语言模型能否基于多模态反馈编辑可视化代码？

Mizanur Rahman, Arshia Azimlu, Shadikur Rahman, Md Tahmid Rahman Laskar, Amran Bhuiyan, Shafiq Joty, Enamul Hoque Prince

机构 * York University（约克大学） ； Nanyang Technological University（南洋理工大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究推出可视化代码编辑基准VisEditBench，评估20种VLMs的编辑能力，提出基于渲染的VisEditAgent框架，显著提升了编辑任务的通过率。

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap：通过图像字幕强化学习提升大型视觉语言模型（LVLM）的安全性

Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SafeCap是一种通过图像字幕强化学习提升LVLM安全性的框架，在多模态安全基准上安全得分提升3.7-19.0个百分点，且视觉效用相当或更优，性能优于安全SFT等方法。

Comments 16pages, 4 figures. Preprint. Project page: https://safe-vlm.github.io/SafeCap/ ; code: https://github.com/Safe-VLM/SafeCap

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

一旦投毒，任意受控：视觉语言模型（VLM）中的可编程后门

Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

专题命中 图文多模态 ：any-to-any(abstract)；分类 cs.CV

AI总结 该研究提出一种向VLM植入可编程后门的方法，通过启发式投毒策略和特征空间触发器隐写，可在推理时动态选择未见过的目标字幕并触发对应输出，攻击成功率高且能规避部分防御。

Where To Look? : Causal Tracing of Vision Encoders in VLM

看向何处？：视觉语言模型中视觉编码器的因果追踪

Naren Kumar S, Tirth Bhatt, Mayank Singh

机构 * Indian Institute of Technology Gandhinagar（印度甘地纳格尔印度理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究通过因果追踪方法，发现视觉语言模型的高因果性视觉标记常位于目标区域外，其强大多模态性能不代表存在空间定位因果表示，还揭示了视觉感知、利用与推理视觉结构的差距，提供了研究视觉信息处理的因果框架。

Comments 10 Pages, 6 figures

When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

当面试官是机器人时：多模态大语言模型（MLLM）主导的面试中的行为、故障与信任

He Zhang, Kambinachi Chukwuma, ChanMin Kim, John M. Carroll

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)

AI总结 该研究通过构建InterviewBot系统开展实证研究，分析了MLLM主导面试的行为、故障与社会动态，为以人为中心的面试自动化提供设计启示。

Comments Accepted to ACM HCOMP 2026

Rationale-Guided Learning for Multimodal Emotion Recognition

基于理由引导学习的多模态情感识别

Sujung Oh, Jung Uk Kim, Sangmin Lee

专题命中 音频语音多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态情感识别忽略人类因果推理的问题，提出理由引导学习框架，结合双加工理论与MLLM生成的理由训练模型，在IEMOCAP和MELD基准取得最优性能，且推理无额外开销。

Comments ICASSP 2026

Journal ref S. Oh, J. U. Kim and S. Lee, "Rationale-Guided Learning for Multimodal Emotion Recognition," ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2026, pp. 12577-12581

Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence

Ex-Omni-2D：具备原生视觉存在的高表达全模态对话模型

Haoyu Zhang, Zhipeng Li, Xiaoying Tang, Tianshu Yu, Yiwen Guo

专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Ex-Omni-2D是一种全模态对话框架，可生成含文本、个性化语音与参考条件视频的协同响应，通过特定机制实现高效增量生成，在指定分辨率下达成1.293的端到端RTF，提供实用的质量效率平衡点。

Visual-to-Haptic Augmentation in XR: A Wearable Glove for Perceptual Grounding in Multimodal Interaction

XR中的视觉到触觉增强：一种用于多模态交互感知接地的可穿戴手套

Faisal Mohd, Hamdi Elsaddik, Erhan Baturay Onural, Jihong Zhang, Fedwa Laamarti, Abdulmotaleb El Saddik

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 该研究针对XR系统触觉感知利用不足的问题，提出一款可穿戴手套及视觉到触觉映射算法，经20人实验验证，其触觉增强可提升XR交互的真实感与沉浸感，为多模态XR系统提供感知增强层。

Comments 11 pages, 4 figures. Published in the Proceedings of the 1st Workshop on Shaping Future Human Connection: Social Augmentation through XR Technologies (SAXR 2026), April 13, 2026, Barcelona, Spain

Journal ref Proceedings of the 1st Workshop on Shaping Future Human Connection: Social Augmentation through XR Technologies (SAXR 2026), CEUR Workshop Proceedings, Vol. 4226, pp. 252-262, 2026

Mapping Multimodal Pilot Stress and Fatigue During Flight Sessions

飞行训练期间多模态飞行员压力与疲劳的映射

Atandrila Chowdhury, Sudip Vhaduri, Julius Keller, Debra Henneberry, Mark Wilson

专题命中 视频多模态 ：multimodal(title)

AI总结 本研究结合生理信号与主观报告，分析学员飞行员飞行训练中的压力与疲劳模式，证实数据驱动方法可用于监测飞行员健康状态。

Comments Under Review

VidForensics-M1: Meta-Detection Reinforcement Learning with Verifiable Temporal Grounding for AI-Generated Video Forensics

VidForensics-M1：用于AI生成视频取证的、具备可验证时间定位的元检测强化学习

Bowei Liu, Zheng Lu, Yuhan Bian, Xinchen Zhang, Xingming Shui, Yuesheng Huang, Xuhuan Li, Zihao Liu, Yifan Yang, Jun Zhou, Xiu Li

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） ； Microsoft（微软公司） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对AI生成视频检测泛化性不足的问题，首次将元检测引入该领域，提出结合可验证时间证据的VidForensics-M1模型及相关机制，实现了鲁棒可泛化的检测。

Comments 27 pages, 15 figures

StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

StreamFlow：用于流视频理解的动态内存流

Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 StreamFlow是一种动态视觉内存框架，通过中期内存过滤冗余、长期内存整合潜变量及注意力检索，在流视频理解任务中实现最优性能，同时提升视觉依据性并降低延迟与内存。

Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation

基于几何知识蒸馏的时序锚定组合式相机运动理解

Dazhao Du, Shiyan Du, Jian Liu, Yongjian Yu, Bohai Gu, Tao Han, Hualuo Liu, Eric Liu, Yujia Zhang, Xi Chen, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent（腾讯） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出CamDistill方法，通过几何知识蒸馏实现时序锚定的组合式相机运动理解，推出含4229个片段的CamChoreo基准，提升了相机运动识别的细粒度与效率。

Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences

顺序很重要：LVLMs作为图像序列时间推理的评判者

Martina Ianaro, Guilherme Fernandes, Maurizio Gabbrielli, Joao Magalhaes

机构 * University of Bologna（博洛尼亚大学） ； NOVA School of Science and Technology（NOVA科技学院） ； NOVA Laboratory for Computer Science and Informatics（NOVA计算机科学与信息实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本研究发现大视觉语言模型（LVLMs）作为多模态评判者存在时间顺序判别缺陷，受首因、近因等结构性偏差影响，呼吁构建时间感知的视觉序列评估范式。

Comments 34 pages, camera-ready

SAR2Agri: Learning SAR Intensity Representations for Agricultural Monitoring

SAR2Agri：学习SAR强度表征用于农业监测

Moti Rattan Gupta, Anupam Sobti

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出首个仅用SAR强度影像的自监督学习流水线，通过改进时间预文本任务提升物候特征捕捉能力，在SICKLE基准上的作物类型制图任务中，其IoU较光学基线和现有SAR基线均有显著提升，验证了SAR强度编码器预训练的有效性。

SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception

SapiensID 2.0：将人类识别基础模型与人类感知对齐

Yiyang Su, Jie Zhu, Feng Liu, Anil K. Jain, Xiaoming Liu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对现有人类识别模型与人类感知脱节的问题，提出兼具语义与时间感知的SapiensID 2.0框架，通过多项技术实现最优识别性能。

R4DSG: Relative 4D Scene Graph Memory for Object-Centric Question Answering in Long Egocentric Video

R4DSG：面向长时序自我中心视频中以对象为中心的问答的相对4D场景图记忆

Ke Ma, Yamin Mao, Weiming Li, Shuai Tan, Yijie Zhong, Hao Chen, Haofen Wang, Meng Wang

机构 * Samsung R&D Institute China - Beijing（三星中国研发研究院（北京）） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：分类 cs.CV、cs.AI、cs.MM；multimodal(comments)

AI总结 该研究提出R4DSG，一种面向长时序自我中心视频的相对4D场景图记忆，在EgoLifeQA数据集的对象相关问答任务中，较EgoRAG-Text取得显著性能提升，可作为可穿戴助手等的实用记忆载体。

Comments 10 pages, 3 figures, ACM Multimedia 2026, egocentric video; 3D scene graph; temporal memory; graph retrieval; object-state reasoning; multimodal question answering

VERDICT: Training-Free Step-Wise Verification of Multimodal Reasoning via Disagreement-Aware Consensus

VERDICT：基于分歧感知共识的多模态推理无训练逐步验证方法

Rohit Sinha, Kunal Tilaganji, Tanuja Ganu, Nagarajan Natarajan, Amit Sharma, Vineeth Balasubramanian

机构 * Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校） ； Microsoft Research（微软研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型推理链易出错的问题，提出无训练的VERDICT方法，利用跨模态分歧的闭式解计算共识评分，在六个基准上提升最高达5.95%，性能接近需大量监督的特定领域评论家。

Comments European Conference on Computer Vision 2026

FiGuRO: Intrinsic Dimension Estimation for Multi-Modal Data

FiGuRO：面向多模态数据的本征维度估计

Viktoria Schuster, Sana Tonekaboni, Caroline Uhler

专题命中 跨模态检索 ：multi-modal(title,abstract)

AI总结 本研究提出FiGuRO框架，用于在模型容量与超参数约束下估计单/多模态数据的本征维度，可实现共享与私有信息解耦，性能优于现有技术且可应用于单模态预训练模型。

Rethinking Text-Based Image Retrieval in Specific Domain

重新思考特定领域的基于文本的图像检索

Jingyang Tan, Sheng Yang, Yuanpeng Chen, Jian Wang, Nianjin Ye, Chen Xing, Lanpeng Jia

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有TBIR基准的单匹配假设无法适配监控等特定领域的问题，构建了SecMM-TBIR基准，提出SAFT框架解决特定领域TBIR的语义压缩问题，在SecMM-TBIR上平均提升mAP@20达7.8点且优化通用领域性能。

Comments 13 pages

Self-Knowledge Retrieval Augmented Generation Framework for Patent Matching

用于专利匹配的自知识检索增强生成框架

Jian Zhang, Songlin Lei, Zhuohao Yang, Bangli Liu, Ziwei Wang, Xufeng Weng, Gehan Amaratunga, Yu Lin, Hongwei Wang

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对专利匹配的LLM方法存在成本高、易遗忘等问题，本文提出自知识RAG框架，结合FAISS检索与生成式匹配机制，在真实专利数据集上提升了检索匹配准确率。

Comments Accepted by IEEE CSCWD 2026

MRIComp4Flow: Compression of 3D Brain MRI for Training Multi-Modal Generative Models

MRIComp4Flow：用于训练多模态生成模型的三维脑部MRI压缩

Lisa K. Fischer, Mykhailo Riabets, Daniel Rueckert, Benedikt Wiestler, Anke Meyer-Baese, Sandeep Nagar

机构 * Technical University of Munich (TUM)（慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Imperial College London（帝国理工学院） ； Florida State University（佛罗里达州立大学） ； Institute for Advanced Study, TUM (TUM-IAS)（慕尼黑工业大学高等研究院） ； TUM University Hospital（慕尼黑工业大学医院） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对大规模多模态MRI的存储与I/O问题，采用JPEG2000或JPEG-LS压缩三维脑肿瘤MRI，在20:1压缩率下训练Wavelet Flow Matching模型，证实其合成质量与未压缩数据训练的模型相当，为可扩展三维MRI生成建模提供了实用方案。

Comments Accepted: MICCAI 2026 SASHIMI workshop

TimeRoute: Time-Aware Modality Routing and Diffusion for Multi-Modal Recommendation

TimeRoute：面向多模态推荐的时间感知模态路由与扩散模型

Pengyu Zhang, Yangqin Jiang, Klim Zaporojets, Congfeng Cao, Paul Groth

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 TimeRoute通过时间感知模态路由器和带FiLM的双流去噪扩散图重构器，解决多模态推荐的模态时间尺度不匹配问题，在三个公开数据集上提升了推荐指标。

InterPruner: Interactive Structured Pruning via Taylor-Implicit Criterion and Language-Prior Modulator for Multimodal Object Detection

InterPruner：面向多模态目标检测的、基于泰勒隐式准则与语言先验调制器的交互式结构化剪枝框架

Qi Ming, Zihan Yang, Shaoguang Huang, Si Sun, Hanqing Zhang, Nanqing Liu, Jiahui Lv, Juan Fang, Aleksandra Pizurica

机构 * Beijing University of Technology（北京工业大学） ； Southwest University（西南大学） ； China University of Geosciences Wuhan（中国地质大学（武汉）） ； Tsinghua University（清华大学） ； Beijing Institute of Technology（北京理工大学） ； Yunnan Normal University（云南师范大学） ； Beijing Forestry University（北京林业大学） ； Ghent University（根特大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出首个面向红外-可见光目标检测器的交互式结构化通道剪枝框架InterPruner，结合TIC、MIRA、SPCA方法，在FLIR数据集剪枝50%通道时mAP提升0.6%，代码将发布于GitHub。

Evidence-Grounded Trustworthy Multimodal Reasoning and Evaluation Benchmark in Complex Urban Scenes

复杂城市场景中基于证据的可信多模态推理与评估基准

Zhaoyang Wei, Bowen Jiang, Xumeng Han, Jiashu Li, Xuehui Yu, Yuling Liu, Guorong Li, Zhenjun Han, Jianbin Jiao

机构 * University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Tencent CDG（腾讯云与智慧产业事业群） ； Institute of Information Engineering, CAS（中国科学院信息工程研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对复杂城市场景中多模态大语言模型的推理可靠性问题，提出AD2-Bench基准与EGVOR模型，提升了不利条件下的多模态推理稳定性。

Comments Accepted by IJCV

PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models

PRMU：面向多模态大语言模型中以人为中心的知识遗忘的无语料基准

Huafeng Chen, Yueming Lyu, Ziyuan Chen, Wenda Tan, Chenyang Si, Liucheng Guo, Caifeng Shan

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有多模态大语言模型（MLLMs）遗忘方法依赖语料的局限，提出无语料基准PRMU及基线SGPE，实验显示SGPE在目标遗忘、局部性保留等方面权衡更优。

E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment

E³mo-Bench：基于贝叶斯成对对齐的可扩展多模态诱发与表达情感理解基准

Lancheng Gao, Ziheng Jia, Shengyan Li, Zixuan Xing, Jiarui Wang, Huiyu Duan, Xiongkuo Min

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对现有多模态情感理解基准的不足，推出E³mo-Bench基准，提出贝叶斯成对对齐方法与E³mo-Score智能体，验证了框架有效性并指出MLLMs在情感任务中的缺陷，为多模态情感智能发展指明方向。

Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration

缓解严重跨模态错位：通过显式特征域仿射配准实现端到端可见光-红外目标检测

Qi Ming, Yuyang Wang, Mingjing Zhao, Yifan Xiao, Zhixin Guo, Zhiqiang Zhou, Peng Sun, Juan Fang, Fuqiang Yang, Xudong Zhao

机构 * Beijing University of Technology（北京工业大学） ； Central South University（中南大学） ； Beijing Electronics Science & Technology Institute（北京电子科学技术研究所） ； China Aerospace Science & Industry Corporation（中国航天科技集团） ； Beijing Institute of Technology（北京理工大学） ； Information Support Force Engineering University（信息支援部队工程大学） ； Trunk Technology (Beijing) Co., Ltd.（trunk技术（北京）有限公司） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对可见光-红外目标检测的严重跨模态错位问题，提出JFRDet网络，含CMAA、IGCF、AQCG模块，构建DVMA基准，在该基准上达到69.7% mAP₅₀的SOTA性能。

Cross-modal topology decodes battery faults from sparse voltage snapshots

跨模态拓扑从稀疏电压快照解码电池故障

Jinwen Li, Yunhong Che, Simona Onori, Weihan Li, Xiaosong Hu

专题命中 多模态评测 ：cross-modal(title,abstract)

AI总结 本研究针对EV电池安全瓶颈，提出跨模态诊断框架DeFault，通过将电压序列展开为相空间拓扑解码故障，在99辆EV的1640万条数据上对四种故障类型平均准确率达0.96，无需新增传感器即可实现高可解释性故障诊断。

Comments 33 pages, 12 figures