多模态大模型

Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

基于多模态LLM的ICT图像描述：弥合通用与行业领域之间的差距

Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

机构 * GTS, Huawei Technologies Co., Ltd.（华为技术有限公司GTS部门） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；MLLM(abstract,abstract_cn)；multimodal(abstract)；image-text(abstract)

AI总结 本文提出多阶段训练策略，构建ICT领域图像描述模型DICModel，通过合成图像文本对提升模型性能，实验表明其在BLEU指标和准确率上均优于现有模型。

Journal ref 2025 CCF BigData

Training-Free Dense Hand Contact Estimation with Multi-Modal Large Language Models

无需训练的多模态大语言模型密集手部接触估计

Daniel Sungho Jung, Kyoung Mu Lee

机构 * IPAI ； Dept. of ECE & ASRI, Seoul National University（电子工程与自动控制研究所，首尔国立大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出ContactPrompt，利用多模态大语言模型进行无需训练的密集手部接触估计，通过引入详细的部位分割和部分顶点网格表示，结合多阶段结构化接触推理，实现高精度的接触预测。

Comments Project page: https://contactprompt-release.github.io/

SPARK: Self-Play with Asymmetric Reward from Knowledge Graphs

SPARK：基于知识图谱的异步奖励自我对抗学习

Hyobin Park, Taeseop Kim, Dong-Geol Choi

机构 * Hanbat National University, South Korea（韩国翰bac国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 SPARK通过构建统一知识图谱实现多文档科学文献的自我对抗学习，利用图路径生成关系推理问题并基于结构化事实计算奖励，优于传统自对抗基线方法。

DINORANKCLIP: DINOv3 Distillation and Injection for Vision-Language Pretraining with High-Order Ranking Consistency

DINORANKCLIP：基于DINOv3蒸馏与注入的视觉-语言预训练高阶排名一致性方法

Shuyang Jiang, Nan Yu, Yiming Zhang, Zenghui Ding, Zhenyu Wu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Aimaikj（阿米亚克j） ； HFIPS, Chinese Academy of Sciences（中国科学院HFIPS） ； University of Science and Technology of China（中国科学技术大学） ； Chinese Academy of Sciences（中国科学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 DINORANKCLIP通过融合DINOv3教师模型与高阶排名一致性损失，改进CLIP在视觉-语言预训练中的表现，提升细粒度和分布外推理能力。

Comments 18 pages, 7 figures, 9 tables. Code will be made publicly available upon acceptance

DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression

DARK：针对极端压缩下视觉-语言模型的对角锚定排斥知识蒸馏

Numan Saeed, Asif Hanif, Fadillah Adamsyah Maani, Hussain Alasmawi, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DARK，一种对比知识蒸馏框架，通过分解损失函数为对角项和非对角项，使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构，实验证明其在零样本基准上表现优异。

Comments Project website: www.numansaeed.com/mobilefetalclip

MSD-Score: Multi-Scale Distributional Scoring for Reference-Free Image Caption Evaluation

MSD-Score：多尺度分布评分用于无参考图像描述评估

Shichao Kan, Xuyang Zhang, Haojie Zhang, Zhe Zhu, Yigang Cen, Yixiong Liang, Lianlei Shan, Linna Zhang, Zhe Qu, Jiazhi Xia

机构 * School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； School of Computer Science and Technology and the State Key Laboratory of Advanced Rail Autonomous Operation, Beijing Jiaotong University（北京交通大学计算机科学与技术学院和先进轨道交通自主运行国家重点实验室） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； School of Mechanical Engineering, Guizhou University（贵州大学机械工程学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出MSD-Score，一种无参考图像描述评估指标，通过多尺度分布评分方法量化语义差异，实现对局部 grounding 错误的透明诊断，优于现有无参考指标。

Comments Preprint. 17 pages, 10 figures. Code is available at: https://steinsgatesg.github.io/MSDScore/

Can Vision-Language Models Think from the Sky? Unifying UAV Reasoning and Generation

无人机视角下视觉语言模型能否思考？统一无人机推理与生成

Jintao Sun, Gangyi Ding, Donglin Di, Hu Zhang, Zhedong Zheng

机构 * Beijing Institute of Technology（北京理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； CSIRO Data61（澳大利亚联邦科学与工业研究组织 Data61 分部） ； University of Macau（澳门大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出UAVReason数据集，用于研究无人机视角下的统一推理与生成，通过改进模型在高海拔场景下的表现，提升视觉语言模型在复杂环境中的能力。

Comments 21 pages, 12 figures, 7 tables

Advancing Analytic Class-Incremental Learning through Vision-Language Calibration

通过视觉-语言校准推进分析类增量学习

Binyu Zhao, Wei Zhang, Xingrui Yu, Zhaonian Zou, Ivor Tsang

机构 * School of Computer Science and Technology, Harbin Institute of Technology, China（哈尔滨工业大学计算机科学与技术学院） ； CFAR and IHPC, Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局（A*STAR）的CFAR和IHPC） ； College of Computing and Data Science, Nanyang Technological University, Singapore（新加坡南洋理工大学计算与数据科学学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出VILA框架，通过双级视觉语言校准策略解决预训练模型分析类增量学习中的表示刚性问题，提升学习效率与稳定性，在多个基准测试中表现优异。

Comments 20 pages, 11 figures, 9 tables. Accepted by ICML2026

Same Words, Different Judgments: How Preferences Vary Across Modalities

相同词语，不同判断：偏好如何在不同模态间变化

Aaron Broukhim, Nadir Weibel, Eshin Jolly

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California San Diego（加州大学圣地亚哥分校） ； Department of Psychology（心理学系） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 研究探讨了文本与语音模态在偏好标注中的差异，发现需9名评阅者才能达到较高一致性，且语音评阅者在决策阈值、长度偏差和用户导向标准上存在显著差异，合成评分可有效预测评阅者一致性，强调音频偏好数据评估需模态特定设计。

Comments Submitted to NeurIPS 2026 for review

VideoASMR-Bench: Can AI-Generated ASMR Videos Fool VLMs and Humans?

VideoASMR-Bench: AI生成的ASMR视频能否欺骗视觉语言模型和人类？

Jiaqi Wang, Weijia Wu, Yi Zhan, Rui Zhao, Ming Hu, James Cheng, Wei Liu, Philip Torr, Kevin Qinghong Lin

机构 * The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Monash University（墨尔本大学） ； Video Rebirth ； University of Oxford（牛津大学） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 VideoASMR-Bench通过细粒度音频视觉感知和感官沉浸性评估AI生成ASMR视频的检测能力，揭示了当前VLMs在识别AI生成ASMR视频上的不足以及VGMs生成逼真ASMR视频的能力。

Comments Code is at https://github.com/video-reality-test/video-reality-test, page is at https://video-reality-test.github.io/

SD-MVSum: Script-Driven Multimodal Video Summarization Method and Datasets

SD-MVSum：基于脚本的多模态视频摘要方法与数据集

Manolis Mylonas, Charalampia Zerva, Evlampios Apostolidis, Vasileios Mezaris

机构 * CERTH-ITI Thermi（CERTH-ITI热米） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SD-MVSum方法及两个大规模数据集，通过引入加权跨模态注意力机制，结合脚本与视频音频内容提升摘要相关性，验证了方法在脚本驱动视频摘要中的有效性。

Comments Under review

Boosting Reasoning in Large Multimodal Models via Activation Replay

通过激活回放提升大多模态模型的推理能力

Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） ； Tencent Youtu Lab（腾讯云图实验室） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过激活回放方法提升大模型的多模态推理能力，通过操控低熵激活来增强推理性能，验证了该方法在数学、视觉代理和视频推理等场景中的有效性。

Comments CVPR 2026

Risk Horizons: Structured Hypothesis Spaces for Longitudinal Clinical Prediction

风险视界：用于纵向临床预测的结构化假设空间

Zhan Qu, Michael Färber

机构 * TU Dresden（德累斯顿技术大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出风险视界框架，通过结合确定性编码层级与数据驱动的滞后跨模态关联，将纵向预测转化为在紧凑且临床一致的假设空间中的排序问题，提升了多模态下次就诊预测性能。

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

HERMES: KV缓存作为分层内存用于高效视频流理解

Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 HERMES提出一种无需训练的架构，通过将KV缓存视为分层内存框架，实现视频流的实时准确理解，提升处理速度并降低内存消耗。

Comments Accepted to ACL 2026 Main

Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval

重新审视不确定性：关于部分相关视频检索的证据学习

Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Holmes框架，通过多粒度跨模态证据聚合量化和建模不确定性，解决视频检索中因查询简短与视频内容丰富带来的语义模糊问题。

Comments Accepted by ICML 2026. 16 pages, 6 figures, 3 tables

MedHorizon: Towards Long-context Medical Video Understanding in the Wild

MedHorizon：迈向真实场景下的长上下文医学视频理解

Bodong Du, Bowen Liu, Yang Yu, Xinpeng Ding, Zhiheng Wu, Shuning Wang, Shuo Nie, Naiming Liu, Qifeng Chen, Yangqiu Song, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Baidu Inc.（百度公司） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 MedHorizon提出一个真实场景下的长上下文医学视频理解基准，通过稀疏证据和多跳临床推理评估，揭示当前系统在完整流程理解上的不足。

Lightweight Stylistic Consistency Profiling: Robust Detection of LLM-Generated Textual Content for Multimedia Moderation

轻量级风格一致性剖析：面向多媒体审核的LLM生成文本稳健检测

Siyuan Li, Aodu Wulianghai, Xi Lin, Xibin Yuan, Qinghua Mao, Guangyan Li, Xiang Chen, Jun Wu, Jianhua Li

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出LiSCP方法，通过结合离散风格特征与连续语义信号，提升对抗环境下的LLM生成文本检测鲁棒性，实现在多领域中的优越性能。

From Drops to Grid: Noise-Aware Spatio-Temporal Neural Process for Rainfall Estimation

从水滴到网格：面向噪声的时空神经过程用于降雨估计

Rafael Pablos Sarabia, Joachim Nyborg, Morten Birk, Ira Assent

机构 * Dept. Comp. Sc., Aarhus University（计算机科学系，奥胡斯大学） ； Cordulus 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出DropsToGrid方法，通过融合噪声天气站的时间序列与雷达空间信息，生成高分辨率降雨场，有效处理降雨的偏态、局部性和噪声问题，提升不确定性量化能力。

Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling

通过自回归序列建模处理和解释患者临床轨迹中的缺失模态

Andrew Wang, Ellie Pavlick, Ritambhara Singh

机构 * Brown University（布朗大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文通过自回归序列建模方法处理医疗数据中缺失模态的问题，提出对比预训练目标并验证了其在MIMIC-IV和eICU数据集上的有效性，提升了模型可解释性。

Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues

利用与认知负荷相关的语言线索预测解释互动中的理解状态

Yu Wang, Olcay Türk, Angela Grimminger, Hendrik Buschmeier

机构 * Faculty of Linguistics ； Literary Studies, Bielefeld University, Bielefeld, Germany Faculty of Arts ； Humanities, Paderborn University, Paderborn, Germany \| SFB/Transregio 318 ‘Constructing Explainability’, Bielefeld \& Paderborn, Germany 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究通过分析对话中说话者和听者的语言特征，探讨如何预测听者的理解状态。通过MUNDEX语料库的统计分析，发现认知负荷相关的语言线索与听者理解水平相关，使用三种语言线索和文本特征可提升预测效果。

Journal ref Proceedings of the 15th Language Resources and Evaluation Conference (LREC 2026), pp. 11368-11378

Memento: Towards Proactive Visualization of Everyday Memories with Personal Wearable AR Assistant

Memento：面向日常记忆主动可视化的人体可穿戴AR助手

Yoonsang Kim, Yalong Yang, Arie E. Kaufman

机构 * Stony Brook University（石溪大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 Memento通过捕捉用户语音查询及时空活动上下文，主动关联兴趣与情境，利用AR实现日常记忆的持续可视化，提升沉浸式应用体验。

Comments 8 pages, 5 figures. This is the author's version of the article that appeared at the IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (IEEE VRW) 2026

Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning

空域约束对比遗忘用于MLLM反学习

Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Linlin Zhang, Haichang Gao

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 跨模态检索 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种MLLM反学习方法，通过冻结LLM主干并微调视觉模块，在保留非目标视觉知识和全部文本知识的同时，有效遗忘目标视觉知识。

Comments 20 pages, 5 figures

Hidden in the Multiplicative Interaction: Uncovering Fragility in Multimodal Contrastive Learning

乘积交互中的隐藏问题：揭示多模态对比学习中的脆弱性

Tillmann Rheude, Stefan Hegselmann, Roland Eils, Benjamin Wild

机构 * Berlin Institute of Health, Charité - Universitätsmedizin Berlin（柏林健康研究所，柏林查理医院） ； Intelligent Medicine Institute, Fudan University（智能医学研究院，复旦大学） ； Department of Mathematics and Computer Science, Freie Universität Berlin（数学与计算机科学系，柏林自由大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)

AI总结 本文提出Gated Symile，通过引入对比门机制，解决多模态对比学习中因单个模态信息不足、错位或缺失导致的脆弱性问题，提升检索准确率。

The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation

上下文的成本：减轻多模态检索增强生成中的文本偏差

Hoin Jung, Xiaoqian Wang

机构 * Elmore Family School of Electrical and Computer Engineering（埃尔莫夫家族电气与计算机工程学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文探讨了多模态大语言模型在整合检索增强生成时出现的文本偏差问题，提出BAIR方法通过恢复视觉显著性并施加位置感知惩罚来提升多模态接地和诊断可靠性。

Text-to-CAD Retrieval: a Strong Baseline

基于文本的CAD检索：一个强大的基线

Honghu Pan, Zibo Du, Daxiang Liu, Chengliang Liu, Xiaoling Luo

机构 * School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； College of Computer Science and Software Engineer, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Faculty of Science and Technology, University of Macau（澳门大学科学与技术学院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出文本到CAD检索任务，通过多模态嵌入框架实现CAD模型的语义检索，为下游CAD生成奠定基础。

T2I-VeRW: Part-level Fine-grained Perception for Text-to-Image Vehicle Retrieval

T2I-VeRW: 基于部件级细粒度感知的文本到图像车辆检索

Xiao Wang, Ziwen Wang, Weizhe Kong, Wentao Wu, Yuehang Li, Aihua Zheng, Chenglong Li, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PFCVR模型，通过部件级局部对齐和双向掩码恢复模块实现文本到图像的车辆检索，构建了新的大规模数据集T2I-VeRW，实验结果显示PFCVR在两个基准数据集上均取得优异的检索准确率。

Modality-Aware Contrastive and Uncertainty-Regularized Emotion Recognition

模态感知的对比学习与不确定性正则化情绪识别

Yan Zhuang, Minhao Liu, Yanru Zhang, Jiawen Deng, Fuji Ren

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.MM

AI总结 本文提出MCUR框架，通过表征一致性方法提升多模态情绪识别的鲁棒性，采用模态组合对比学习和样本级不确定性正则化，实验表明在MOSI、MOSEI和IEMOCAP数据集上均取得显著提升。

Comments 24 pages, 6 figures and 16 tables

Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

对比图像-元数据预训练用于材料透射电子显微镜

Georgia Channing, Debora Keller, Marta D. Rossell, Philip Torr, Stig Helveg, Henrik Eliasson

机构 * Hugging Face ； University of Oxford（牛津大学） ； Empa Dübendorf（Empa杜宾根） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出CIMP模型，通过对比图像与元数据实现对低剂量图像的去噪，实验表明其在去噪效果上优于现有方法。

JARVIS: An Evidence-Grounded Retrieval System for Interpretable Deceptive Reviews Adjudication

JARVIS：一种基于证据的可解释欺骗性评论裁决检索系统

Nan Lu, Leyang Li, Yurong Hu, Rui Lin, Shaoyi Xu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出JARVIS框架，通过混合密集-稀疏多模态检索和证据图结构，提升可解释性欺骗性评论裁决的精度和召回率，实验显示其在精度和召回率上均有显著提升。

Uncovering Entity Identity Confusion in Multimodal Knowledge Editing

揭示多模态知识编辑中的实体身份混淆

Shu Wu, Xiaotian Ye, Xinyu Mou, Dongsheng Liu, Xiaohan Wang, Mengqi Zhang

机构 * New Laboratory of Pattern Recognition (NLPR)（模式识别新实验室） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)（多模态人工智能系统国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； Huazhong University of Science and Technology（华中科技大学） ； Shandong University（山东大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文研究多模态知识编辑中实体身份混淆问题，发现现有方法无法区分图像-实体绑定与实体-实体关系，导致模型错误关联。通过构建EC-Bench基准测试，提出约束编辑阶段以提升绑定准确性，从而减少混淆。