多模态大模型

PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging

PivotMerge: 通过后对齐模型融合弥合异构多模态预训练

Zibo Shao, Baochen Xiong, Xiaoshan Yang, Yaguang Song, Qimeng Zhang, Haifeng Chen, Changsheng Xu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Data Science and Artificial Intelligence Research Institute, China United Network Communications Group Co., Ltd.（中国联合网络通信集团有限公司数据科学与人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PivotMerge框架，通过后对齐模型融合技术，解决多模态预训练中跨模态对齐能力整合问题，提升模型统一语义空间的构建效果。

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

MMRM：一种用于电子商务搜索中产品排名的多重多模态表示模型

Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.MM

AI总结 针对电子商务搜索排名中多模态信息利用的局限，提出MMRM框架，通过共享主干从多信号学习生成多重商品表示，引入多重用户表示策略，并经实验验证其有效性，已成功应用于京东搜索引擎提升性能。

Comments Accepted by SIGIR2026

TC-MAF: Train-Calibrated Bounded Multi-Evidence Fusion for Multimodal Industrial Anomaly Detection

TC-MAF：用于多模态工业异常检测的训练校准有界多证据融合

Ming Deng, Sijin Sun, Xiaochuan Hu, Xing Wu

机构 * Shanghai University（上海大学） ； National University of Singapore（新加坡国立大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究多模态工业异常检测问题，提出TC-MAF方法，通过固定像素级融合公式结合多模态检测器等，利用轻量级TDC项缩放辅助参与度，在MVTec-3D上取得优异检测和定位结果，消融实验揭示关键因素及校准增益。

Comments accepted by ACM MM 2026

Multimodal Routing for Interpretable, Robust, and Auditable Clinical Prediction

用于可解释、稳健且可审计的临床预测的多模态路由

Nikkie Hooman, Zhongjie Wu, Eric C. Larson, Mehak Gupta

机构 * Southern Methodist University（南卫理公会大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对EHR数据多模态预测中现有方法缺乏可解释性的问题，提出显式多模态路由框架，通过构建不同模态路由及引入推理时路由掩码实现可解释、稳健且可审计的推理，经实验评估揭示了临床状况组模态依赖差异。

Comments Accepted at CHASE 2026. 12 pages, 6 figures, 4 tables

Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

通过多模态基于人类反馈的强化学习偏好对齐实现汉喃手稿到现代越南语的直接图像翻译

Thi Kim Trang Vo, Nghia Hieu Nguyen, Ha Minh Tan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对汉喃手稿到现代越南语翻译的挑战，提出多模态基于人类反馈的强化学习偏好对齐框架，结合四个流生成越南语，比较PPO、DPO和KTO，结果显示各有优劣，且多模态偏好优化能补充监督学习提升翻译质量。

Comments Accepted Paper at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR)

TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding

TIGER：用于多模态推测解码的文本条件视觉门控路由与接受对齐

Quynh Vo, Cong-Duy Nguyen, Ponhvoan Srey, Luu Anh Tuan, Thong Nguyen

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Center of AI Research, VinUniversity（Vin大学人工智能研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对多模态推测解码中草稿模型视觉关键内容易偏差及现有方法不足的问题，提出TIGER框架，基于文本状态动态选视觉令牌，用接受对齐分组策略训练优化草稿模型，实验证明其在多方面取得良好效果。

Comments Work in progress

Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools

超越视觉：通过自我调节的隐式视觉工具实现高效多模态推理

Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Yinwang Intelligent Technology Co., Ltd.（银望智能科技有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型推理效率问题，提出超越视觉（BEE）的隐式视觉工具范式，通过将视觉工具调用行为纳入训练目标，经两阶段训练，包括形式化思维链监督微调与自我调节奖励驱动对齐，提升了模型在细粒度视觉感知任务中的性能和推理效率。

Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG

融合前的信任：用于受污染多模态RAG的QIMG-7和源感知分辨率

Saadeldine Eletter, Owais Aijaz, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态检索增强生成中受污染内容问题，提出QIMG-7基准。针对朴素多模态融合脆弱问题，提出源感知信任分辨率（SATR），Field-Selector变体效果最佳，结果支持选择性信任，显式文本可靠性建模是收益主要驱动因素。

Comments 23 pages, 6 figures, 23 tables. Preprint under review

MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis

MRUF：用于鲁棒多模态情感分析的具有不确定性感知融合的多粒度路由

Haoran Ma, Yinfeng Yu, Liejun Wang

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语言认知计算国际联合研究实验室） ； Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术研究中心） ； Pengcheng Laboratory Xinjiang Network Node（鹏城实验室新疆网络节点） ； Embodied Intelligence Joint Laboratory（具身智能联合实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态情感分析中模态质量不一问题，提出MRUF方法，结合多粒度路由与不确定性感知校准，总结情感表示、进行路由并监督模态重要性估计，预测模态不确定性并细化模态门，实验显示相比基线有改进，验证了高不确定性模态获低融合权重。

Comments Main paper (6 pages). Accepted for publication by IEEE International Conference on Systems and Man and and Cybernetics 2026 (IEEE SMC 2026)

Time Imprint: Learning Time-Aware Representations in Multi-Modal Knowledge Graphs

时间印记：在多模态知识图谱中学习时间感知表示

Pengyu Zhang, Klim Zaporojets, Congfeng Cao, Jia-Hong Huang, Paul Groth

机构 * University of Amsterdam（阿姆斯特丹大学） ； Aarhus University（奥胡斯大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 研究多模态知识图谱中难以区分相似实体的问题，提出Time Imprint框架将时间视为实体级模态，通过三视图对比目标联合对齐多模态表示，还研究时间戳选择与聚合，实验表明该方法提升了链接预测性能，明确了时间作为模态的优势及条件。

CHARM: Charge Calibration and Acoustic Rescue for LLM-based Multimodal Sarcasm Detection

CHARM：基于大语言模型的多模态讽刺检测中的电荷校准与声学救援

Qiyang Sun, Yi Chang, Yupei Li, Xi Shao, Zixing Zhang, Björn W. Schuller

机构 * GLAM – the Group on Language, Audio, & Music, Imperial College London（伦敦帝国理工学院语言、音频和音乐小组） ； College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Shenzhen Research Institute, Hunan University（湖南大学深圳研究院） ； CHI – Chair of Health Informatics, TUM University Hospital（慕尼黑工业大学医院健康信息学主席） ； relAI – the Konrad Zuse School of Excellence in Reliable AI（康拉德·楚泽可靠人工智能卓越学院） ； MDSI – Munich Data Science Institute（慕尼黑数据科学研究所） ； MCML – Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对大语言模型在讽刺检测中过度预测积极类别及韵律线索利用不足的问题，提出CHARM框架，含双向电荷校准和声学后期融合救援两个模块，无需微调主干，提升检测性能，揭示跨文化韵律解耦，产生可解释的跨语言多模态检测器。

Comments under review

Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment

通过上下文工程进行隐式微调：多模态实体对齐的课程学习框架

Yunpeng Hong, Chenyang Bu, Di Wu, Yi He, Xindong Wu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究多模态实体对齐问题，提出PTFEA课程学习框架，通过自适应难度调制和三阶段渐进推理将微调策略转化为上下文工程，实验证明该框架性能优越，提供了统一上下文工程和微调的理论框架。

Comments Accepted by KDD 2026

Journal ref SIGKDD 2026

Multimodal rumor detection enhanced by external evidence and forgery features

通过外部证据和伪造特征增强的多模态谣言检测

Han Li, Hua Sun

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出通过外部证据和伪造特征增强的多模态谣言检测模型，利用ResNet34视觉编码器、BERT文本编码器和伪造特征模块，结合双对比学习模块和门控自适应特征缩放融合机制，提升谣言检测性能。

Comments 20pages,10figures

Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO

作为自身评论家的智能体：通过循环组相对策略优化统一区域理解与定位

Xin Zhang, Haochen Wang, Yikang Zhou, Jason Li, Robby T. Tan

机构 * National University of Singapore（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型的区域理解与定位问题，提出循环组相对策略优化框架CycleGRPO，利用任务对偶性构建自我评估范式，仅需区域输入，通过质量感知奖励评估字幕，在多基准测试中提升能力，为推进MLLMs像素级能力提供新途径。

Comments Accepted to ECCV 2026

MorphologyFM: A Foundation Model for Morphology-Aware Representation Learning from ECG and Pulse Oximetry Waveforms

MorphologyFM：一种用于从心电图和脉搏血氧波形中进行形态感知表示学习的基础模型

Saiyang Feng, Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences（中国科学院大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 研究针对现有生理波形方法未保留临床意义波形形态的问题，提出多模态基础模型MorphologyFM，通过形态感知自监督学习目标预训练，结合多种技术学习相关表示，在多下游任务中表现优于其他方法，证明联合建模更具可转移性。

TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation

TOLiD：通过用于蒸馏的令牌提升弥合视觉基础模型与激光雷达预训练之间的架构差距

Sutharsan Mahendran, Darshana Priyasad, Kaushik Roy, Tharindu Fernando, Sridha Sridharan, Clinton Fookes, Peyman Moghadam

机构 * SAIVT Group, School of Electrical Engineering and Robotics, Queensland University of Technology（澳大利亚昆士兰科技大学电气工程与机器人学院SAIVT组） ； CSIRO Robotics, CSIRO（澳大利亚联邦科学与工业研究组织机器人部） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究提出TOLiD方法，通过耦合激光雷达主干与从冻结VFM教师初始化的学生ViT，利用视锥体池化、注意力及掩码双线性采样等技术，解决模态和架构差距问题，在多数据集上评估显示能提升迁移效果。

Comments Accepted to The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

TextGaze：利用文本场景线索提示注视目标估计

Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Anhui University（安徽大学） ； United Arab Emirates University（阿联酋大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究注视目标估计问题，提出TextGaze统一跨模态架构，利用大型视觉语言模型平衡多分支与简化设计范式，通过冻结编码器提取视觉特征、设计融合模块等进行联合预测，在多数据集上评估有竞争力，为传统设计提供简化替代。

Comments Accepted by IJCAI 2026. All contents are available at: https://github.com/idremo/TextGaze-IJCAI2026

A Survey on LLM Watermarking: Theory and Deployment

大语言模型水印：理论与部署综述

Huy Phan, Kieu Dang, Ojaswi Dulal, Aiham AL Shukairi, Abby Shine, Chase Garner, Phung Lai

机构 * Truman State University（特伦特州立大学） ； University at Albany, State University of New York（纽约州立大学阿尔巴尼分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CL

AI总结 综述大语言模型水印技术，通过从业者核心问题组织内容，综合技术家族并分析安全效用权衡，回顾攻击策略、评估协议等，为LLM水印设计提供实际指导，明确可靠部署的研究方向。

Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion

通过说话人识别、知识蒸馏和分层融合进行多说话人对话中的情绪识别

Xiao Li, Kotaro Funakoshi, Manabu Okumura

机构 * Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 多模态训练与对齐 ：audio-visual(abstract)；分类 eess.AS

AI总结 本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。