多模态大模型

Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference

超越准确率：针对OCR关键多模态大语言模型（MLLM）推理的视觉令牌剪枝空间溯源审计

Feixiang Liu, Qiang Qiu, Hao Zhang, Xinyue Wang

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 该研究针对OCR关键MLLM推理的视觉令牌剪枝，提出结合空间溯源的审计方法，发现准确率无法反映的质量风险，揭示模型特定前沿并验证压缩与任务通用性的关系，为视觉令牌剪枝评估提供新范式。

Comments 21 pages, including supplementary material. Code and reproducibility artifacts: https://github.com/SouthWinter/spatial-provenance-audit

Geometric Cross-Modal Token Selection for Latency-Constrained Multimodal Token Communication

面向延迟约束多模态令牌通信的几何跨模态令牌选择

Joohyuk Park, Junyong Shin, Yongjeong Oh, Jihong Park, Yo-Seb Jeon

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；audio-visual(abstract)

AI总结 该研究针对延迟约束多模态令牌通信问题，提出基于几何的跨模态令牌选择框架及IBS、R-IBS策略，在VQA和AVQA任务上实现了显著的准确率提升。

Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training

驯服隐式：面向持续多模态后训练的双通道风险感知强化微调

Yibei Liu, Jiajun Chen, Qianle Zhang, Tangyue Jin, Mengying Zhu, Meng Xi, Yangyang Wu

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 针对持续多模态后训练中RFT算法在任务分布偏移下遗忘加剧的问题，提出双通道风险感知强化微调框架RAPO，通过策略与数据通道的风险管控降低遗忘，在MLLM-CL基准上使遗忘减少79.8%且保留新任务竞争力。

Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs

平衡效率与效能：面向多模态大语言模型（MLLM）的无训练注意力引导式显式与隐式思维切换

Haoqian Kang, Liupeng Li, Kuofeng Gao, Jinpeng Wang, Zhenyu Lu, Bin Chen, Ke Chen, Yaowei Wang

专题命中 多模态训练与对齐 ：MLLM(title_cn,summary_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对MLLM推理中感知与逻辑混淆的问题，提出无训练的注意力引导式切换框架，通过视觉-文本注意力比率自适应切换显式与隐式推理，实现性能与效率的双重提升。

Comments Accepted by ACM MM 2026. 10 pages, 6 figures, 5 tables

Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations

面向含不完整观测的多模态情感分析，重新思考模态可靠性

Chunlei Meng, Jacqueline J. Pang, Pengbin Feng, Zhenyu Yu, Chun Ouyang, Zhongxue Gan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM

AI总结 针对含不完整观测的多模态情感分析，本文提出显式建模模态可靠性的MRCF框架，缓解可靠性不匹配与传播偏差，在多个公开情感数据集上取得优异性能。

OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

OmniPack：面向高效全模态大语言模型的统一令牌压缩方法

Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

专题命中 多模态训练与对齐 ：omni-modal(title,abstract)；multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文针对全模态大语言模型的高计算开销问题，提出无需训练的OmniPack框架，通过LLM前结构压缩与LLM内语义优化的协作，在5个基准上实现最优性能-效率权衡，在Qwen2.5-Omni-7B上大幅降低计算量且保持高性能。

Comments 16 pages, 5 figures, 15 tables

Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition

用于鲁棒多模态意图识别的自适应模态可靠性诊断与恢复

Suraj Kumar, Mohnish Raj, Soumi Chattopadhayay, Chandranath Adak, Ayan Dutta

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 提出PRIME闭环可靠性引导框架，通过诊断恢复多模态意图识别的不可靠模态，在保持干净数据性能的同时提升了多模态数据各类退化场景下的鲁棒性。

ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs

ParVL：面向多模态大语言模型的并行缩放与可扩展计算分配

Yang Yang, Qinyu Zhao, Mouxiang Chen, Xiaohui Li, Lixin Gu, Wenhai Wang, Hongjie Zhang, Wenwei Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL

AI总结 本研究针对多模态大语言模型的计算分配僵化问题，提出ParVL框架，通过复用骨干参数扩展并行计算，在13B token上微调后，其多模态性能优于同配置单分支基线，且最优分配随任务变化。

Comments 14 pages, 4 figures

Mitigating Shared-Private Branch Imbalance via Dual-Branch Rebalancing for Multimodal Sentiment Analysis

通过双分支重新平衡缓解共享-私有分支不平衡以实现多模态情感分析

Chunlei Meng, Jiabin Luo, Pengbin Feng, Zhenglin Yan, Chengyin Hu, Zhongxue Gan, Chun Ouyang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 本文提出双分支重新平衡框架，通过解耦共享与私有分支，缓解多模态情感分析中的分支不平衡问题，提升模型鲁棒性。

Comments This study has been Accepted by ACM MM 2026

Layer-Specific Lipschitz Modulation for Fault-Tolerant Multimodal Representation Learning

模块特定的Lipschitz调制用于容错多模态表示学习

Diyar Altinses, Andreas Schwung

机构 * South Westphalia University of Applied Sciences（西南威斯特法伦应用科学大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种结合自监督异常检测与误差校正的框架，通过模块特定的Lipschitz调制和梯度裁剪提升多模态表示学习的容错能力。

DAIF: A Data-Driven Intermediate Fusion Framework for Multimodal Supervised Learning via Approximate Message Passing

DAIF：一种基于数据的近似消息传递多模态监督学习中间融合框架

Sagnik Nandy, Samriddha Lahiry, Pragya Sur, Subhabrata Sen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本研究提出DAIF数据自适应中间融合框架，结合随机矩阵理论与非参数依赖度量，通过近似消息传递生成去噪特征，在模拟及两个多模态数据集上的预测任务中表现优于或媲美现有方法。

Compass: Degradation-Simulated Reciprocal Learning with Lightweight Needle RWKV for Multimodal Crack Segmentation under Missing Modalities

Compass：面向缺失模态场景下多模态裂缝分割的退化模拟互学习与轻量型Needle RWKV

Hui Liu, Chen Jia, Fan Shi, Xu Cheng, Mianzhao Wang, Shengyong Chen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Compass是面向缺失模态场景的多模态裂缝分割轻量型网络，通过DSD、Needle Block与ETPF实现鲁棒分割，在90%深度模态缺失时仍达SOTA性能，仅需258万参数。

Comments This paper has been accepted by ACM MM 2026

Multimodal Plant Root Phenotyping with Integration of 3D Skeleton Extraction and Language Analysis

结合三维骨架提取与语言分析的多模态植物根表型分析

Jiakai Lin, Zijun Li, Guoyu Lu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出多模态机器人AI框架，结合W-LBC无监督三维骨架提取与证据优先语言建模，微调GPT实现12种植物根表型的可解释分析，建立了定量与语义结合的根表型统一分析范式。

PatTree: a novel approach for automated creation of multimodal, graph-based patient representations for medical classification tasks

PatTree：一种用于医学分类任务的多模态图基患者表示自动构建新方法

Julia Gehrmann, Lars Quakulinski, Hamza Naseem, Oya Beyan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究提出PatTree，一种自动构建的多模态图基患者表示，在ADNI-1队列子集上实现阿尔茨海默病等三分类任务98.5%平衡准确率，可作为临床AI流程的可扩展基础。

CIGTSurv: Clinical Information Guided Tri-modal Survival Prediction with Local Prototype Association and Global Feature Alignment

CIGTSurv：结合局部原型关联与全局特征对齐的临床信息引导三模态生存预测

Jing Dai, Qibin Zhang, Weiwei Zhou, Mingde Xu, Jingsong Liu, Jingdong Zhang, Hongming Xu

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本研究针对临床信息未充分利用及多模态异质性问题，提出CIGTSurv框架，结合局部原型关联与全局特征对齐机制，在五个TCGA癌症队列上取得生存预测SOTA性能。

Comments Accepted at MICCAI 2026

CRIL-U-Net: Compact Ratio-Interaction Learning for Focal Cortical Dysplasia Segmentation from T1w and FLAIR MRI

CRIL-U-Net：用于从T1w和FLAIR MRI中分割局灶性皮质发育不良的紧凑比率交互学习网络

Soumen Ghosh, Amit Soni Arya, Tilottama Goswami, Subhojit Mandal, John Phamnguyen, Rajat Vashistha

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对II型局灶性皮质发育不良MRI自动分割难题，提出CRIL-U-Net模型，在85例患者与25例对照的五折交叉验证中，其性能显著优于传统及注意力型U-Net。

Fusion-Poly: A Polyhedral Framework Based on Spatial-Temporal Fusion for 3D Multi-Object Tracking

Fusion-Poly: 一种基于时空融合的多边形框架用于3D多目标跟踪

Xian Wu, Yitao Wu, Xiaoyu Li, Zijia Li, Lijun Zhao, Lining Sun

机构 * State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人与系统国家重点实验室，哈尔滨工业大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Fusion-Poly通过整合异步LiDAR和相机数据，提出一种时空融合框架，提升3D多目标跟踪的轨迹一致性与更新频率。

Standalone DINOv3 for Training-Free Open-Vocabulary Semantic Segmentation in Remote Sensing

用于遥感领域无需训练的开放词汇语义分割的独立DINOv3模型

Changhao Zhao, Haoxiang Li, Yuke Li, Hai Liu, LingLin Zeng

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对遥感语义分割标注成本高的问题，提出无需训练的DinoSplat-OV框架，结合DINOv3的文本感知拉普拉斯传播与高斯溅射上采样模块，在多数据集上取得优于现有方法的性能，填补了DINO系列模型在该领域的空白。

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

SlimVLM：面向高效视觉-语言模型的感知敏感性动态结构化剪枝与自适应视觉token选择

Yaozhi Wen, Jialong Guo, Zhenliang Ni, Han Shu, Xinghao Chen

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 SlimVLM是一种结构化剪枝框架，通过自适应视觉token选择和感知敏感性动态剪枝机制，在压缩视觉-语言模型的同时保持性能，在多模态基准测试中达到最优。

DRPFNet: Dual-domain Residual Progressive Fusion Network for RGB-Thermal Object Detection

DRPFNet：用于RGB-热成像目标检测的双域残差渐进融合网络

Zian Wang, Changchun Li

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对现有RGB-T目标检测方法的跨尺度知识继承不足、噪声抑制弱及信息退化问题，提出DRPFNet，通过结构、特征、增强三级协同优化，在公开数据集上实现了兼具竞争力与高效性的检测性能。

Comments Accepted at ICME 2026

Do VLMs Align Better with Humans than LLMs during Natural Reading?

VLMs 在自然阅读中可能不会全局性地增强与人类的对齐性优于 LLMs

Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang, Zitong Lu

机构 * Department of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与车辆工程学院） ； Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学与翻译系） ； McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 通过严格文本设置比较LLM和VLM，发现多模态预训练在自然阅读中未带来全局性人类对齐优势，但视觉语义内容强的句子中VLM有选择性优势。

Comments 16 pages, 5 figures

Picometre-scale real-time drift correction in TEM and STEM by dynamic control of the specimen stage for atomic-resolution imaging

用于原子分辨率成像的透射电子显微镜（TEM）与扫描透射电子显微镜（STEM）中通过动态控制样品台实现皮米级实时漂移校正

Christophe Gatel, Julien Dupuy, Teresa Hungria, Martin J. Hytch

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本研究开发无需硬件修改的动态控制软件框架，通过控制样品台实现皮米级实时漂移校正，提升TEM、STEM成像质量，支持原子分辨率成像及各类实验应用。

Comments 27 pages, 9 figures. Submitted to Ultramicroscopy Christophe Gatel: Writing original draft, Software, Methodology, Investigation, Data treatment, Conceptualization, Resources, Funding acquisition. Julien Dupuis: Software, Conceptualization, Methodology. Teresa Hungria: STEM experiment, Review & editing. Martin Hytch: Review & editing, Data treatment, Resources, Funding acquisition