多模态大模型

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

用于多模态情感解释的令牌-区域引导交叉注意力融合

Musa Tur Farazi, Nufayer Jahan Reza

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对孟加拉语模因政治意图检测难题，引入多模态交叉注意力融合框架，利用视觉语言模型提取文本，经跨模态多头注意力机制合成特征，还整合政治词汇表，实验表明该方法显著优于基线，Macro-F1达0.94，有效实现文本语义基于视觉证据。

Multi-Modal Object Re-Identification with Prompt-S6 and Semantic-Aware Knowledge Guidance

基于Prompt-S6和语义感知知识引导的多模态目标重识别

Weixiang Zhou, Jiabei Zuo, Yuhao Wang, Cong Wang, Huchuan Lu, Zhixun Su

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究多模态目标重识别问题，提出基于Prompt-S6和语义感知知识引导的PRISM框架，设计语义驱动令牌剪枝和渐进融合网络两个关键组件，有效抑制背景干扰，实现三模态对齐，提升多模态目标重识别的有效性和效率。

Comments Accepted by IEEE TIP 2026. The version of record may differ slightly

GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model

GemNav：使用多模态大语言模型的离散令牌视觉机器人导航

Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam

机构 * CSIRO Technology（联邦科学与工业研究组织） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。

RMS@CC-MMD 2026: Multimodal Misogyny Detection via Geometric Interaction and Multi-View Consensus

RMS@CC-MMD 2026：通过几何交互和多视图共识进行多模态厌女症检测

Md. Ajwad Hossain

机构 * Chittagong University of Engineering & Technology (CUET)（吉大港工程技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,comments)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对多模态厌女症检测问题，提出GeoMVC方法，通过几何交互层建模跨模态对齐，用多视图共识策略减轻分布偏移，在相关挑战中取得一定排名成绩，凸显特定文化背景下建模的挑战。

Comments Accepted for the CC-MMD Grand Challenge at the 28th ACM International Conference on Multimodal Interaction (ICMI 2026)

Knowledge-Guided Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Label-Conditioned Contrastive Alignment

通过标签条件对比对齐实现成人到儿科心电图转换的知识引导跨模态融合

Xinran Liu, Yuwen Li, Hongxiang Gao, Heyang Xu, Jianqing Li, Zongmin Wang, Chengyu Liu

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Nanjing Medical University（南京医科大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 研究针对成人与儿科心电图转换问题，提出知识引导的跨模态融合框架PEACE，通过标签条件对比对齐等方法，在有限监督下实现更好的儿科心电图解释，消融实验证明标签条件知识对齐是关键驱动因素。

Comments This article was accidentally submitted as a new arXiv paper instead of a replacement of arXiv:2605.00647. Please refer to arXiv:2605.00647 for the correct and updated version

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

多模态分类中用于缺失任意模态的协同学习

Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

机构 * GFZ Helmholtz Center for Geosciences（德国波茨坦地学研究中心亥姆霍兹中心） ； INRAE, UMR TETIS, University of Montpellier（法国蒙彼利埃大学农业环境与生态研究院、蒙彼利埃大学TETIS联合研究单位） ； INRIA, EVERGREEN, University of Montpellier（法国蒙彼利埃大学信息与自动化研究所、EVERGREEN实验室） ； CIRAD, UMR TETIS, University of Montpellier（法国蒙彼利埃大学国际农业研究磋商组织、蒙彼利埃大学TETIS联合研究单位） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态分类中因操作约束导致训练和推理时模态可用性不一致、存在缺失任意模态的问题，提出多模态协同学习框架，引入特征和决策层面利用信息的两种方法，实验证明在不同缺失模态条件下有显著鲁棒性提升。

Comments Accepted at Discovery Science 2026

RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

RP - OPSD：用于多模态大语言模型的分辨率特权在线自蒸馏

Qihui Zhu, Yuchen Wang, Zijian Wen, Tao Zhang, Mengjie Zhang, Yang Liu, Shuangwu Chen, Siying Wu, Jian Yang, Xiaofeng Jiang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在线自蒸馏问题，利用同一图像高低分辨率视图信息差提出RP - OPSD，学生策略用低分辨率图像生成轨迹，教师策略用原始分辨率图像监督，实验表明该方法能提升性能并加快训练速度，为在线自蒸馏提供有效途径。

XMatchAD: A Cross-Modal Matching Perspective on Reconstruction-based Anomaly Detection

XMatchAD：基于重建的异常检测的跨模态匹配视角

Mingxiu Cai, Zhe Zhang, Gaochang Wu, Tianyou Chai

机构 * Northeastern University（东北大学） ； State Key Laboratory of Synthetical Automation for Process Industries（流程工业综合自动化国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对基于重建的无监督异常检测方法难以捕捉细微异常、异常边界模糊的问题，提出XMatchAD框架，从伪跨模态匹配视角利用输入与重建图像的匹配关系，通过多步骤提升异常检测和定位精度，性能优于现有方法。

Comments accepted by IEEE Transactions on Image Processing

FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities

FedTaste：用于具有缺失模态的多模态联邦学习的拓扑感知结构转移

Haochen Liang, Jie Zhang, Hideya Ochiai

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 针对多模态联邦学习中模态缺失和数据分布问题，提出FedTaste框架，利用冻结基础模型提取联合多模态拓扑，结合模态自适应结构提示等方法，避免显式模态插补，在多数据集和非IID设置下性能优越且通信开销低。

Comments Accepted to ACM Multimedia (ACM MM) 2026

Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

使用基于查询的变压器进行多模态表面肌电手势识别以用于假肢控制

Federico Del Pup, Elisa Tentori, Manfredo Atzori

机构 * Department of Information Engineering, University of Padua（帕多瓦大学信息工程系） ； Padova Neuroscience Center, University of Padua（帕多瓦大学帕多瓦神经科学中心） ； Department of Biomedical Sciences, University of Padua（帕多瓦大学生物医学科学系） ； Department of Neuroscience, University of Padua（帕多瓦大学神经科学系） ； Information Systems Institute, University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（HES-SO瓦莱州）信息系统研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对表面肌电手势识别用于假肢控制时当前架构的局限，提出EMG-CrossFormer，通过级联交叉注意力融合层组合单模态编码器表示，经实验验证该方法能提升仅sEMG解码及多模态融合下的手势识别性能。

Comments GitHub repository: see https://github.com/deepPNClab/emg-crossformer

MIME: Multimodal Interactive Motion Encoder

MIME：多模态交互式运动编码器

Addison Zucek, Prerit Gupta, Kamila Kuatova, Aniket Bera

机构 * Purdue University（普渡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对动画、AR/VR等场景中多人交互的文本-运动表示学习问题，提出多模态交互式运动编码器MIME，通过特定方法捕捉结构并训练，在文本-运动检索任务中表现出色，还能跨数据集支持下游运动生成。

Comments Under review at WACV 2027

EGRA:Toward Enhanced Behavior Graphs and Representation Alignment for Multimodal Recommendation

EGRA：迈向用于多模态推荐的增强行为图和表示对齐

Xiaoxiong Zhang, Xin Zhou, Zhiwei Zeng, Yongjie Wang, Zhiqi Shen

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态推荐现有方法不足，EGRA通过纳入预训练模型生成表示构建的项-项图减轻稀疏性，引入双层动态对齐加权机制提升模态-行为表示对齐，实验证明其有效性。

Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models

Omni-Prune：用于高效全模态大语言模型的查询感知统一令牌剪枝

Yiming Zhong, Chang Nie, Caifeng Shan

机构 * Nanjing University（南京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL

AI总结 研究针对全模态大语言模型推理时音频-视频令牌序列长、预填充延迟高和GPU内存使用量大的问题，提出无需训练的查询感知Omni-Prune框架，联合去除冗余并保留跨模态证据，实验证明其性能优于基线方法，能加速预填充并减少内存。

Comments 14 pages, 7 figures. Code: https://github.com/kimberlyii/Omni-Prune

One Graph, Multiple Gains: Single High-Quality Item-Item Graph for Multimodal Recommendation

一图多益：用于多模态推荐的单个高质量物品-物品图

Jinfeng Xu, Zheyu Chen, Ziyue Peng, Shuo Yang, Jinze Li, Zewei Liu, Shujie Li, Yipeng Du, Edith C. H. Ngai

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究多模态推荐中物品-物品图构建及应用，提出IIMRec框架构建高质量图，通过融合信号和NCER优化，并在推荐三阶段重用，以RIG、内容引导UI图扩展、INA三种方式使用，实验证明其性能优于基线，冷启动等条件下效果更佳。

Comments Accepted by ACM MM 2026

Bitcoin Price Direction Prediction via Regime-Aware Multi-Modal Fusion of Social Sentiment and Technical Features

通过社会情绪与技术特征的状态感知多模态融合预测比特币价格走势

Muhammad Abdullah Haroon

机构 * FAST National University of Computer and Emerging Sciences (FAST-NUCES)（快速国立计算机与新兴科学大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 研究比特币亚日价格预测难题，提出状态感知多模态学习（RAML）方法，依据市场状态动态融合社会情绪与技术特征，实验表明该方法在预测中表现良好，确立状态条件自适应融合为多模态金融预测的必要原则。

Comments 19 pages, 15 figures, 4 tables

CReF: Cross-modal and Recurrent Fusion for Depth-conditioned Humanoid Locomotion

CReF：跨模态与递归融合用于基于深度的人形机器人运动

Yuan Hao, Ruiqi Yu, Shixin Luo, Guoteng Zhang, Jun Wu, Qiuguo Zhu

机构 * Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院） ； School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 本文提出CReF框架，通过直接从原始前方深度数据学习运动相关特征，实现稳定复杂地形行走，改进了传统依赖几何抽象的方法，展示了在模拟和真实环境中鲁棒的地形穿越能力。

Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer

健康基础模型中的涌现符号结构：提取、对齐与跨模态迁移

Gajendra Katuwal, Advait Koparkar, Salar Abbaspourazad, Anshuman Mishra, Sarvesh Kirthivasan

机构 * Apple（苹果公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)

AI总结 本文提出一种训练后框架，通过分解冻结嵌入以提取可解释的符号，用于对齐嵌入空间。在PPG和加速度计数据上验证，发现符号能选择性关联健康状况和生理属性，并支持跨模态迁移。

Comments 8 pages, Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning, 4 main figures

Journal ref Mechanistic Interpretability Workshop at the 43 rd International Conference on Machine Learning, Seoul, South Korea, 2026

Towards Dual-Brain Minimal Sufficient Representation for Vision-Language Navigation

迈向视觉语言导航的双脑最小充分表示

Yihao Wu, Chenyi Xu, Liqi Yan, Chenhuan Cai, Geyong Min, Bin Lin, Fangli Guan, Jianhui Zhang, Pan Li

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； University of Zurich（苏黎世大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对视觉语言导航中存在的问题，提出BrainNav框架，包含逻辑锚定模型等三个组件，通过将语义意图与空间感知对齐，提升智能体在复杂任务中的表现，在实验中相比之前最优方法有改进，为鲁棒的视觉语言导航提供有效基础。

Visual Token Compression Enhances Robustness of MLLMs

视觉令牌压缩增强多模态大语言模型的鲁棒性

Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 研究如何增强多模态大语言模型的鲁棒性，核心方法是通过测量视觉令牌与语言特征空间的距离来识别并剪枝分布外视觉令牌，该方法能有效防御越狱攻击、减轻幻觉，提升模型在通用数据集上的表现。

Comments 20 pages, 16 figures. Accepted at ACM Multimedia 2026. Code: https://github.com/Eurek001/OOD-VTP

UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation

UP-Fuse：基于不确定性引导的激光雷达-摄像头融合用于3D全景分割

Rohit Mohan, Florian Drews, Yakov Miron, Daniele Cattaneo, Abhinav Valada

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 UP-Fuse通过不确定性引导的融合框架，提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。

Like a Baby: Visually Situated Neural Language Acquisition

像婴儿一样：视觉情境下的神经语言习得

Alexander G. Ororbia, Ankur Mali, Mary Alexandria Kelly, David Reitter

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉情境对神经语言模型下一词预测的好处，引入多模态神经架构，微调预训练BERT嵌入，发现多模态环境下语言模型表现更好，符合情境认知理论，不同语言和模型中视觉情境训练优势明显。

Comments Final submission (camera-ready), accepted to ACL 2019

Disentangling the Interpretive and Predictive Roles of LIWC: Controlled Substitution in Depression-Related Classification

解开语言调查与单词计数（LIWC）的解释性和预测性作用：抑郁症相关分类中的受控替换

Hsiang-Chen Yeh, Xiutian Zhao, Aurosweta Mahapatra, Shreeram Suresh Chandra, Ryan L. Boyd, Berrak Sisman

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 eess.AS

AI总结 研究探讨LIWC在抑郁症相关分类中的作用，通过与三种局部替换版本比较，在多语料库中评估其对分类的影响，结果显示其在固定表示下增益有限，作为解释层有用，但结论不适用于特定架构。

DDVT: Dynamic Dual-level Vision Transformer Fusion Network for Answer Grounding in Visual Question Answering

DDVT：用于视觉问答中答案定位的动态双级视觉Transformer融合网络

Yue Zhang, Xiangyu Li, Wanshu Fan, Xin Yang, Dongsheng Zhou

机构 * National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University（大连大学软件工程学院计算机辅助设计国家地方联合工程实验室） ； School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究视觉问答中答案定位问题，提出动态双级视觉Transformer融合网络DDVT，含问题引导的动态区域级模块和跨模态多尺度聚合模块，能精确定位相关视觉内容并融合文本特征，实验证明其性能优于现有方法。

Comments Accepted by CGI

ConFusion: Continuous Fusion Space Learning for Fine-Grained Controllable Infrared and Visible Image Fusion

ConFusion：用于细粒度可控红外与可见光图像融合的连续融合空间学习

Guo Yurong, He Yufei, Li Yonghao, Chang Dongliang, Zhang Ke, Ma Zhanyu

机构 * North China Electric Power University（华北电力大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 研究可控红外与可见光图像融合，提出ConFusion框架，通过高斯条件空间感知调制学习连续融合空间，采用双分支架构及相关模块实现实例级细粒度可控融合，实验证明其在融合质量和下游任务上达先进水平。

Comments 10 pages, 5 figures

Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs

用于高分辨率多模态大语言模型中高效视觉令牌剪枝的结构化冗余建模

Jouwon Song, Woohyeong Kim, Kyeongbo Kong

机构 * LG Electronics（LG电子） ； Pusan National University（釜山国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对高分辨率多模态大语言模型视觉令牌爆炸致延迟瓶颈问题，提出单向前向剪枝器SFPruner，通过语义引导岭杠杆方案和基于排名的方向掩码两个互补机制，在单次前向传递中实现冗余感知重要性选择，有效减少令牌选择时间并保持性能。

Comments Accepted to ECCV 2026

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

HiMemVLN：通过分层记忆系统增强开源零样本视觉-语言导航的可靠性

Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。

Comments 9 pages, 7 figures

KAP: Bridging the Knowledge Selection-Runtime Consumption Gap in LLM Systems

KAP：弥合大语言模型系统中知识选择与运行时消耗的差距

Shuo Wang, Fang Xi, Wenyuan Huang, Qing Wang, Junming Su

机构 * QiYuanLab（启元实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 研究大语言模型系统中知识选择与运行时消耗的差距，提出知识访问规划（KAP）范式，通过建立通用中间表示编译知识信号控制KV访问，以GraphSpec实例化，改变长上下文生成扩展轨迹，提升运行时消耗效率。

Comments 3 figures, 5 tables

Strategy-Aware Parameter-Efficient Adaptation for LLM-based Auto-Bidding

基于大语言模型的自动出价的策略感知参数高效适配

Songyue Cai, Lianyu Wang, Shan Gu, Ziru Xu, Jian Xu, Xiaofeng Zhu, Bo Zheng

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 研究广告自动出价问题，提出SAGE框架，通过位置增强、文本对齐和约束门控LoRA三个组件，实现参数高效多模态对齐，在大规模基准实验中性能卓越，调整参数少，消融研究验证各组件贡献。