多模态大模型

Multimodal Abstractive Summarization of Instructional Videos with Vision-Language Models

基于视觉语言模型的指令视频多模态抽象摘要

Maham Nazir, Muhammad Aqeel, Richong Zhang, Francesco Setti

机构 * Beihang University, Beijing, China（北航大学，北京，中国） ； University of Verona, Italy（威尼斯大学，意大利） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ClipSum框架，利用冻结的CLIP视觉语言特征进行指令视频摘要，通过显式时间建模和维度自适应融合，实现视觉与语言的语义对齐，实验显示其在YouCook2数据集上表现优于传统方法。

Comments Accepted to ICPR 2026

Modality-Inconsistent Continual Learning of Multimodal Large Language Models

多模态大语言模型的模态不一致持续学习

Weiguo Pian, Shijian Deng, Shentong Mo, Mingrui Liu, Yunhui Guo, Yapeng Tian

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Carnegie Mellon University（卡内基梅隆大学） ； George Mason University（乔治·梅森大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出MICL，一种针对多模态大语言模型的持续学习场景，涉及不一致的模态和变化的任务类型。通过伪目标生成模块和基于指令的知识蒸馏，解决任务类型转移导致的遗忘问题，实验验证了方法的有效性。

Comments Accepted at Transactions on Machine Learning Research (TMLR), 2026

OmniThoughtVis: A Scalable Distillation Pipeline for Deployable Multimodal Reasoning Models

OmniThoughtVis: 一种可扩展的蒸馏流水线，用于可部署的多模态推理模型

Yuanhao Yue, Chengyu Wang, Yuanjie Lyu, Lei Shen, Jun Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出OmniThoughtVis流水线，通过大规模多模态Co T监督将高容量教师模型的推理能力转移到小型部署模型，实现了在多个基准上的性能提升。

Large-Small Model Collaboration for Farmland Semantic Change Detection

大-小模型协作用于耕地语义变化检测

Xinjia Li, Rui Wang, Qiurong Peng, Lingfei Ye, Dengrong Zhang, Haoyu Zhang

机构 * College of Information Science and Technology, Hangzhou Normal University（杭州师范大学信息科学与技术学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出大-小协作框架，通过细粒度差分感知Mamba和CLIP文本先验实现耕地变化检测，提升精度与鲁棒性。

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

KEPO：基于知识的偏好优化用于多模态推理及其在医学VQA中的应用

Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

机构 * Chapman University（查普曼大学） ； Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） ； University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.AI

AI总结 KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。

Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

异质视觉智能体之间通过去中心化学习实现的涌现通信

Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

机构 * Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究异质视觉智能体通过去中心化学习实现的涌现通信，探讨不同视觉表示下可共享的视觉信息，通过Metropolis-Hastings Captioning Game验证共享符号的生成机制，发现编码器异质性影响共享序列的质量与对称性。

ReasonEdit: Editing Vision-Language Models using Human Reasoning

ReasonEdit：通过人类推理编辑视觉语言模型

Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ReasonEdit通过引入人类推理机制，改进视觉语言模型的编辑能力，提升编辑泛化性能。

Probing Cross-modal Information Hubs in Audio-Visual LLMs

探测音频-视觉大语言模型中的跨模态信息枢纽

Jihoo Jung, Chaeyoung Jung, Ji-Hoon Kim, Joon Son Chung

机构 * Department of Electrical Engineering, Korea Advanced Institute of Science ； The Graduate School of Advanced Imaging Science, Multimedia \& Film, Chung-Ang University, Seoul, Republic of Korea 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；audio-visual(title,abstract)；分类 cs.AI、eess.AS

AI总结 本文研究了音频-视觉大语言模型中音频与视觉模态间的跨模态信息流动，发现信息主要存储在sink tokens中，并提出一种无需训练的hallucination缓解方法。

Comments Accepted by ICML 2026

OASIS: A Multilingual and Multimodal Dataset for Culturally Grounded Spoken Visual QA

OASIS：一个多语言多模态数据集用于文化导向的语音视觉问答

Firoj Alam, Ali Ezzat Shahroor, Md. Arid Hasan, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Mohamed Bayan Kmainasi, Shammur Absar Chowdhury, Basel Mousi, Fahim Dalvi, Nadir Durrani, Natasa Milic-Frayling

机构 * Qatar Computing Research Institute（卡塔尔计算研究 institute） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI；multimodal foundation model(comments)

AI总结 OASIS是一个多语言多模态数据集，涵盖图像、文本和语音，旨在评估模型在现实场景中的文化导向推理能力，包含0.92M真实图像和14.8M问答对。

Comments Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Contextual Understanding, Culturally Informed

Looking and Listening Inside and Outside: Multimodal Artificial Intelligence Systems for Driver Safety Assessment and Intelligent Vehicle Decision-Making

观察与聆听内外：多模态人工智能系统用于驾驶员安全评估和智能车辆决策

Ross Greer, Laura Fleig, Maitrayee Keskar, Erika Maquiling, Giovanni Tapia Lopez, Angel Martinez-Sanchez, Parthib Roy, Jake Rattigan, Mira Sur, Alejandra Vidrio, Thomas Marcotte, Mohan Trivedi

机构 * Machine Intelligence, Interaction, and Imagination (Mi3) Laboratory（机器智能、交互与想象实验室） ； Laboratory for Intelligent and Safe Automobiles (LISA)（智能与安全汽车实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Center for Medicinal Cannabis Research (CMCR)（医药大麻研究中心） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出L-LIO框架，通过融合音频与视觉数据提升驾驶员状态评估和环境理解，探讨音频在车辆安全中的作用，包括驾驶员语音分类、乘客指令分析及视觉不足时的音频辅助。

Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs

保留音频无法表达的内容：面向多模态大语言模型的上下文保留令牌修剪

Chaeyoung Jung, Kyeongha Rho, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ContextGuard框架，通过保留音频-视觉上下文并去除跨模态冗余，实现多模态大语言模型的高效令牌修剪，实验表明其在多个基准测试中表现优异，能有效减少输入令牌数量。

MindMirror: A Local-First Multimodal State-Aware Support System for Digital Workers

MindMirror: 一种面向数字工作者的本地优先多模态状态感知支持系统

Wenqi Luo, Changbo Wang, Yan Wang

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 MindMirror通过整合面部表情、文本输入和语音交互等多模态数据，为数字工作者提供本地优先的状态感知支持，通过本地大语言模型生成响应，提升工作效率与状态监控能力。

Comments 10 pages, 4 figures, 12 tables. Technical report

Detecting In-Person Conversations in Noisy Real-World Environments with Smartwatch Audio and Motion Sensing

利用智能手表音频和运动传感检测嘈杂真实环境中的面对面对话

Alice Zhang, Callihan Bertley, Dawei Liang, Edison Thomaz

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本文提出一种新型方法，通过智能手表融合音频和运动数据，检测面对面对话，实验表明融合惯性数据能显著提升检测性能，实验室和半自然环境下分别达到82.0%和77.2%的宏F1分数。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology

M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection

M$^4$-SAM：基于内存增强的SAM多模态混合专家用于RGB-D视频显著目标检测

Jiyuan Liu, Jia Lin, Xiaofei Zhou, Runmin Cong, Deyang Liu, Zhi Liu

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Shandong University（山东大学） ； Anqing Normal University（安庆师范学院） ； Shanghai University（上海大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 M$^4$-SAM通过引入模态感知MoE-LORA、分层特征融合和伪引导初始化，提升SAM2在RGB-D视频显著目标检测中的性能，实现零样本检测。

Comments 10 pages, 3 figures

Accounting for Missed Events in the Bayesian Modeling of IP3R Multimodal Gating

在IP3R多模态门控的贝叶斯建模中考虑遗漏事件

Schayma Ben Marzougui, Audrey Denizot, Hugues Berry

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 本文通过改进的贝叶斯方法分析IP3R门控行为，考虑遗漏事件对动力学模型的影响，揭示了多模态模型中Park和Drive模式的动力学差异及钙浓度对状态转换率的影响。

Think, then Score: Decoupled Reasoning and Scoring for Video Reward Modeling

思考，然后评分：视频奖励建模中的解耦推理与评分

Yuan Wang, Ouxiang Li, Yulong Xu, Borui Liao, Jiajun Liang, Jinghan Li, Meng Wang, Xintao Wang, Pengfei Wan, Kuien Liu, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出DeScore模型，通过解耦推理与评分机制提升视频奖励建模的泛化能力，结合冷启动和强化学习优化，实现更稳定的性能。

Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

利用大语言模型从临床病例报告中重建脓毒症轨迹：脓毒症的文本时间序列语料库

Shahriar Noroozizadeh, Jeremy C. Weiss

机构 * Machine Learning Department and Heinz College Carnegie Mellon University（卡内基梅隆大学机器学习系和海恩兹学院） ； National Library of Medicine National Institutes of Health（美国国家医学图书馆） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用大语言模型构建脓毒症文本时间序列语料库，通过提取病例报告中的时间局部发现，验证了LLM在时间局部化方面的有效性，并指出多模态整合的改进方向。

Comments Conference on Health, Inference, and Learning (CHIL 2026)

Towards Visually-Guided Movie Subtitle Translation for Indic Languages

面向视觉引导的电影字幕翻译：用于印地语等语言

Tarun Chintada, Kshetrimayum Boynao Singh, Asif Ekbal

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Indian Institute of Technology Patna（印度理工学院帕纳布分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文研究了视觉引导的电影字幕翻译，针对低资源印地语等语言，提出两种轻量视觉锚定策略，发现时间错位是长视频的主要障碍，而选择性视觉锚定能有效提升翻译质量。

Urban Risk-Aware Navigation via VQA-Based Event Maps for People with Low Vision

面向低视力人群的基于VQA的事件地图城市风险感知导航

Antoni Valls, Jordi Sanchez-Riera

机构 * Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与信息技术研究所，CSIC-UPC） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于视觉问答的事件地图框架，利用视觉语言模型进行行人场景描述和危险识别，通过三级查询结构实现细粒度场景理解，生成风险感知导航地图，验证多模态大语言模型在助视导航中的有效性。

Comments 10 pages, 6 figures, submitted to IEEE T-ITS

VIMCAN: Visual-Inertial 3D Human Pose Estimation with Hybrid Mamba-Cross-Attention Network

VIMCAN: 基于混合Mamba-交叉注意力网络的视觉-惯性3D人体姿态估计

Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

机构 * Beihang University（北航） ； Peng Cheng Laboratory（鹏城实验室） ； Capital University of Physical Education and Sports（首都体育学院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VIMCAN结合Mamba的高效序列建模与交叉注意力的空间推理，实现RGB关键点与穿戴式IMU数据的鲁棒融合，取得更优精度和实时推理性能。

Comments Accepted in CVPR 2026

Sensor Design for Accuracy-Bounded Estimation via Maximum-Entropy Likelihood Synthesis

通过最大熵似然合成实现精度受限的估计器设计

Raktim Bhattacharya

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出通过最大熵后验进行似然合成，以在给定误差预算下实现高精度估计，适用于时空系统的大规模传感架构设计。

Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions

多模态Transformer上的自适应对比学习用于评论有用性预测

Thong Nguyen, Xiaobao Wu, Anh-Tuan Luu, Cong-Duy Nguyen, Zhen Hai, Lidong Bing

机构 * National University of Singapore（国立新加坡大学） ； VinAI Research（VinAI研究院） ； Nanyang Technological University（南洋理工大学） ； DAMO Academy（达摩院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出多模态对比学习方法，通过增强跨模态关系和自适应加权方案提升多模态评论有用性预测性能，实验证明优于现有方法。

Comments Accepted to the main EMNLP 2022 conference. Code is available at https://github.com/nguyentthong/adaptive_contrastive_mrhp

Very Efficient Listwise Multimodal Reranking for Long Documents

非常高效的长文档多模态重排序方法

Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

机构 * Magellan Technology Research Institute (MTRI)（马杰拉技术研究院（MTRI）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出ZipRerank，通过轻量级查询-图像早期交互机制和单次前向传递消除自回归解码，实现高效多模态重排序，实验表明其在MMDocIR基准上性能优异且显著降低LLM推理延迟。

Comments To appear in ICML 2026

Gradient-Boosted Decision Tree for Listwise Context Model in Multimodal Review Helpfulness Prediction

基于列表式上下文模型的梯度提升决策树在多模态评论有用性预测中的应用

Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Anh Tuan Luu, Cong-Duy Nguyen, Zhen Hai, Lidong Bing

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； DAMO Academy（达摩院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出列表式注意力网络和梯度提升决策树，用于多模态评论有用性预测，以提升模型泛化能力与排名准确性。

Comments Published in ACL 2023 (Findings). Code is available at https://github.com/nguyentthong/gbdt_listwise_mrhp

Logit-Attention Divergence: Mitigating Position Bias in Multi-Image Retrieval via Attention-Guided Calibration

Logit-Attention Divergence：通过注意力引导的校准缓解多图像检索中的位置偏差

Mingtao Xian, Yifeng Yang, Qinying Gu, Xinbing Wang, Nanyang Ye

机构 * Zhiyuan College, Shanghai Jiao Tong University, Shanghai, China（上海交通大学紫阳学院） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种无需训练的注意力引导去偏框架，通过利用内在注意力信号在推理时进行实例级校正，显著提升排列不变性并取得最佳性能。

CoLVR: Enhancing Exploratory Latent Visual Reasoning via Contrastive Optimization

CoLVR: 通过对比优化增强探索性潜在视觉推理

Ziyang Ding, Linjian Meng, Yiming Wu, Yuhan Li, Yuhao Liu, Zhen Zhao

机构 * Shandong University（山东大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 CoLVR通过引入潜在对比训练框架，利用角度扰动引导学习多样化且探索性的表示，提升潜在视觉推理的探索能力，在VSP和Jigsaw任务中分别提升5.83%和8.00%。

Agents Should Replace Narrow Predictive AI as the Orchestrator in 6G AI-RAN

智能体应取代窄预测AI作为6G AI-RAN的协调者

Pranshav Gajjar, Vijay K Shah

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文主张为实现Level 5自主6G网络，AI-RAN应从碎片化的窄预测模型转向多模态大语言模型作为核心推理智能体，通过提升LLM作为认知操作系统，动态翻译人类意图并自主诊断网络异常。

AIA: Rethinking Architecture Decoupling Strategy In Unified Multimodal Model

AIA: 重新思考统一多模态模型中的架构解耦策略

Dian Zheng, Manyuan Zhang, Hongyu Li, Kai Zou, Hongbo Liu, Ziyu Guo, Kaituo Feng, Yexin Liu, Ying Luo, Hongsheng Li

机构 * MMLab, CUHK（CUHK多媒体实验室） ； Meituan（美团） ； USTC（中国科学技术大学） ； TJU（天津大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出AIA损失函数，通过学习任务特定的多模态交互模式，缓解任务冲突而不依赖模型解耦，提升生成与理解性能。

Comments Project page: https://zhengdian1.github.io/AIA-project/ Code: https://github.com/zhengdian1/AIA

AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward

AlphaGRPO：通过分解性可验证奖励解锁UMMs中的自反思多模态生成

Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 AlphaGRPO通过分解性可验证奖励提升多模态生成能力，实现文本到图像生成和自反思修正，验证了自反思强化方法在生成高质量输出中的有效性。

Comments ICML2026

Vision-aligned Latent Reasoning for Multi-modal Large Language Model

多模态大语言模型中的视觉对齐潜在推理

Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

机构 * Byungwoo Jeon ； Yoonwoo Jeong ； Hyunseok Lee ； Minsu Cho ； Jinwoo Shin 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出视觉对齐潜在推理框架，通过动态生成视觉对齐的潜在标记，提升多模态大语言模型在长上下文理解和精确视觉感知任务中的表现。

Comments Published as conference proceeding for ICML 2026. Last two authors advised equally