多模态大模型

FISHER: A Foundation Model for Multi-Modal Industrial Signal Comprehensive Representation

FISHER：多模态工业信号综合表示的基础模型

Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学智能感知与机器人研究院） ； Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系） ； Huakong AI Plus Company Limited（华冠AIplus有限公司） ； Didi International Business Group（滴滴国际商务集团） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI、cs.MM

AI总结 针对工业信号分析中的数据异质性（M5问题），提出FISHER基础模型，采用子带建模处理多采样率问题，通过教师-学生自蒸馏预训练，在19个数据集上以较小规模超越24个SOTA编码器。

Comments Accepted by IEEE TII. FISHER open-sourced on https://github.com/jianganbai/FISHER . RMIS open-sourced on https://jianganbai.github.io/RMIS

An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

一种基于视觉和表格Mamba的混合融合多模态医疗数据方法

Matheus B. Rocha, Gustavo B. Dettogni, Renato A. Krohling

机构 * Labcin - Nature Inspired Computing Lab, Federal University of Esp\'irito Santo, Vit\'oria, Brazil PPGI - Graduate Program in Computer Science, Federal University of Esp\'irito Santo, Vit\'oria, Brazil 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出基于Mamba架构的混合融合方法，通过视觉和表格两种Mamba变体处理图像与临床数据，在癌症分类中实现可解释性，在NDB-UFES数据集上表现优于Transformer。

Comments 15 pages. accepted to 36th Brazilian Conference on Intelligent Systems

Multi-Modal Hyper-Graph Fusion for Low-Light Crowd Counting

多模态超图融合用于低光照人群计数

Hao-Yuan Ma, Li Zhang, Yushi Qiu, Jie Gao, Yan Zhang, Bangjun Wang

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对低光照环境下人群计数难题，构建三个新基准数据集，提出多模态超图融合模块和可变形矩形稀疏注意力模块，形成低光照计数网络LCNet，在三个基准上取得最优性能。

Plug-and-Adapt: Multimodal Coreference Resolution at First Sight with a Pretrained Alignment Model

即插即适应：基于预训练对齐模型的首眼多模态指代消解

Jinghan Wu, Jing Li, Ivor W. Tsang, Xuetao Zhang

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（西安交通大学人工智能与机器人研究所人机混合增强智能全国重点实验室） ； Centre for Frontier AI Research and Institute of High-Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心与高性能计算研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出即插即适应方法，利用预训练的细粒度对齐模型，通过证据理论融合视觉与类别线索，无需目标数据集训练或大型VLLM，在CIN基准上CoNLL F1比专用方法和流行VLLM分别提升5.31%和2.12%。

Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression

最后但同样重要：用于多模态KV缓存压缩的边界注意力校准

Tianhao Chen, Yuheng Wu, Kelu Yao, Xiaogang Xu, Xiaobin Hu, Dongman Lee

机构 * KAIST（韩国科学技术院） ； Zhejiang Laboratory（之江实验室） ； The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对多模态大语言模型长视觉上下文中KV缓存压缩导致关键证据丢失的问题，提出BACON方法，通过校准观察窗口注意力与最后查询注意力，并利用层内一致性和层间持久性抑制噪声，在激进压缩下平均提升7.5%性能。

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer: 一种用于视觉-语言-动作预训练的多模态动作分词器

Miracle Kang, Lights Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Sylas Chen, Shawn Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

机构 * Square Robot ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出X-Tokenizer，通过语义残差量化（SRQ）和掩码动作建模（MAM）将动作离散化为语义接口，在2.4M轨迹上预训练后提升VLA模型的多模态接地和长程任务性能。

Comments Project page: https://x-square-robot.github.io/X-Tokenizer_projectPage/

Attention, not scale, drives human-AI alignment in multimodal language prediction

注意力，而非规模，驱动多模态语言预测中的人机对齐

Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

机构 * Psychology and Language Science, Experimental Psychology, University College London, London, UK（心理学与语言科学、实验心理学，伦敦大学学院，伦敦，英国） ； Google Deepmind, Mountain View, US（谷歌DeepMind，山景城，美国） ； Princeton Neuroscience Institute, Princeton University, Princeton, NJ, USA（普林斯顿神经科学研究所，普林斯顿大学，普林斯顿，新泽西州，美国） ； Computer Science Department, Exeter University（计算机科学系，埃克塞特大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过比较五种视觉-语言模型与600名人类在视觉世界范式中的表现，发现添加视觉上下文显著提升模型与人类在预测评分上的一致性，且注意力机制而非模型规模是主要驱动因素。

Comments 39 pages, 6 Figures, published in NPJ Artificial Intelligence

Interpretable Alzheimer's Diagnosis via Multimodal Fusion of Regional Brain Experts

可解释的阿尔茨海默病诊断：基于区域脑专家的多模态融合

Farica Zhuang, Shu Yang, Dinara Aliyeva, Zixuan Wen, Duy Duong-Tran, Christos Davatzikos, Tianlong Chen, Song Wang, Li Shen

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MREF-AD多模态区域专家融合模型，采用混合专家框架将各模态脑区域视为独立专家，通过门控网络学习个性化融合权重，实现可解释的AD诊断。

Comments Published at IEEE ICHI 2026

Information-Theoretic Decomposition for Multimodal Interaction Learning

多模态交互学习的信息论分解

Zequn Yang, Yake Wei, Haotian Ni, Zhihao Xu, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing（中国人民大学人工智能学院，北京） ； Beijing Key Laboratory of Research on Large Models（北京大模型研究关键实验室） ； Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程研究中心） ； Beihang University, Beijing（北航，北京） ； Gaotu Techedu Inc.（高图科技有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出基于信息论的多模态交互分解方法DMIL，通过变分分解架构和微调策略学习样本特定的冗余、独特和协同交互，提升多模态学习性能。

Comments Accepted to CVPR 2026

NeuroAlign: Hierarchical Multimodal Fusion of Dynamic and Structural Neuroimaging for MCI Analysis

NeuroAlign: 用于MCI分析的动态与结构性神经影像的分层多模态融合

Xiongri Shen, Zhenxi Song, Jiaqi wang, Yi Zhong, Leilei Zhao, Chenqi Xu, Linling Li, Yichen Wei, Lingyan Liang, Demao Deng, Luping Song, Ping Luan, Ahmed M. Anter, Shuqiang Wang, Baiying Lei, Zhiguo Zhang

机构 * Department of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） ； School of Intelligence Science and Engineering, College of Artificial Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）人工智能学院智能科学与工程学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Guangdong Key Laboratory of Biomedical Measurements and Ultrasound Imaging, School of Biomedical Engineering, Shenzhen University Medical School, Shenzhen University（深圳大学医学部生物医学工程学院广东省生物医学测量与超声成像重点实验室） ； Department of Radiology, The People’s Hospital of Guangxi Zhuang Autonomous Region, Guangxi Academy of Medical Sciences（广西壮族自治区人民医院放射科，广西医学科学院） ； Shenzhen Sixth People’s Hospital (Nanshan Hospital), Huazhong University of Science and Technology Union Shenzhen Hospital（华中科技大学协和深圳医院（深圳市第六人民医院）） ； School of Basic Medical Sciences, Shenzhen University（深圳大学基础医学院） ； Egypt-Japan University of Science and Technology (E-JUST)（埃及日本科技大学） ； School of Biomedical Engineering, National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, Guangdong Key Laboratory for Biomedical Measurements and Ultrasound Imaging, Shenzhen University Medical School（深圳大学医学部生物医学工程学院，国家地方联合医学超声关键技术工程实验室，广东省生物医学测量与超声成像重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出NeuroAlign框架，通过双模态分层对齐和双域分层交互融合fMRI与DTI特征，实现MCI/SCD检测，并设计无梯度归因方法SAM进行特征分析。

VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

VFEM: 视觉特征赋能的多变量时间序列预测与跨模态融合

Yanlong Wang, Hang Yu, Jian Xu, Fei Ma, Hongkang Zhang, Tongtong Feng, Zijian Zhang, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Pengcheng Laboratory（鹏城实验室） ； Ant Group（蚂蚁集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VFEM模型，利用预训练大视觉模型通过跨模态注意力融合视觉与时间特征，仅训练7.45%参数即可捕捉跨变量依赖，提升多变量时间序列预测性能。

ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation

ViCuR: 视觉线索作为多模态在策略蒸馏中的可恢复特权

Kanghui Tian, Siyuan Liu, Ziang Yan, Sheng Xia, Shuai Dong, Yi Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出ViCuR框架，通过将教师特权从答案侧替换为输入中的视觉线索，并引入轻量级线索恢复模块，解决多模态在策略蒸馏中的训练-测试不匹配问题，在七个基准上显著提升学生模型性能。

Comments 25 pages, 11 figures. Preprint, under review

DarkVesselNet: Multi-Modal Remote Sensing and Trajectory Reasoning for Dark Vessel Detection

DarkVesselNet: 用于暗船检测的多模态遥感和轨迹推理

Arun Sharma

机构 * University of Minnesota, Twin Cities（明尼苏达大学，双城分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出DarkVesselNet，融合Sentinel-1 SAR、Sentinel-2光学影像、地理空间基础模型、AIS轨迹推理、TGARD间隙检测和Pi-DPM异常头，实现多模态遥感暗船检测。

RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?

RE-TRIANGLE：TRIANGLE 在检索中能否实现超越余弦相似度的多模态对齐？

Arijit Ghosh, Aritra Bandyopadhyay, Chiranjeev Bindra, Jingfen Qiao

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文复现 TRIANGLE 框架，验证其通过最小化超球面上模态三元组面积实现多模态对齐的几何目标在检索任务中的鲁棒性，发现其在零样本设置下优于成对基线，但存在优化不稳定和领域依赖问题。

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

解耦骨架与血肉：基于解缠对齐和结构感知引导的高效多模态表格推理

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出DiSCo解缠结构-内容对齐框架和Table-GLS全局到局部结构引导推理框架，高效增强LVLM的表格理解与推理能力，无需昂贵监督或外部工具。

Comments Accepted as a Spotlight Paper at ICML 2026

Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs

有意学习，直觉行动：解锁多模态大语言模型的测试时推理能力

Yahan Yu, Yuyang Dong, Masafumi Oyamada

机构 * Kyoto University（京都大学） ； Initial S ； NEC Corporation, Japan（日本NEC公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出D2I框架，通过训练时使用基于规则的格式奖励进行有意推理以增强模态对齐，推理时移除显式策略转为直觉推理，从而提升多模态大语言模型的推理能力，无需额外标注或复杂奖励。

Comments 22 pages, 24 figures

Document Classification Pattern Recognition via Information Fusion: A Systematic Review of Multimodal and Multiview Representation Approaches

基于信息融合的文档分类模式识别：多模态与多视角表示方法的系统综述

Marcin Michał Mirończuk

机构 * National Information Processing Institute（国家信息处理研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过系统综述和元分析，提出了统一框架，量化了多模态和多视角融合在文档分类中的性能提升，并揭示了方法学严谨性不足的问题。

Journal ref Information Fusion, 132, 2026, 104247

LaRe: Latent Refocusing for Multimodal Reasoning

LaRe: 用于多模态推理的潜在重聚焦

Jizheng Ma, Xiaofei Zhou, Geyuan Zhang, Yanlong Song, Han Yan

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络与信息安全学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出LaRe范式，在潜在空间内进行视觉重聚焦，结合语义增强训练，在提升推理准确率的同时大幅减少推理所需token数。

A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring

一种用于光片荧光显微镜的多模态3D基础模型实现少样本分割、分类和去模糊

Adina Scheinfeld, Haotan Zhang, Shang Mu, Rudolf L. M. van Herten, Lucas Stoffl, Ali Erturk, Zhuhao Wu, Johannes C. Paetzold

机构 * Tri-Institutional Program in Computational Biology \& Medicine, Weill Cornell Medicine, New York, NY, USA Department of Radiology, Weill Cornell Medicine, New York, NY, USA Helen ； Robert Appel Alzheimers Disease Research Institute, Feil Family Brain ； Mind Research Institute, Weill Cornell Medicine, New York, NY, USA Graduate Program in Physiology, Biophysics ； Systems Biology, Weill Cornell Medicine, New York, NY, USA Cornell Tech, New York, NY, USA Institute for Intelligent Biotechnologies (iBIO), Helmholtz Center Munich, Neuherberg, Germany Institute for Stroke ； Dementia Research, Klinikum der Universität München, Ludwig-Maximilians University Munich, Munich, Germany 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种基于掩码重建与图像-文本对齐联合优化的3D基础模型，在光片荧光显微镜数据上预训练，通过少样本适应显著降低标注成本并提升分割、分类和去模糊性能。

Comments 11 pages, 3 figures

MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models

MAGIC: 面向视觉语言模型的多模态对齐与接地感知指令核心集

Shristi Das Biswas, Kaushik Roy

机构 * Purdue University（普渡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出MAGIC方法，利用预训练VLM中的多模态增益、桥接相关性和技能神经元签名三种内在信号，通过无训练、前向传播的核心集选择，构建紧凑且行为保真的子集用于多模态指令微调，在20%预算下达到甚至超越全微调性能。

VEN-VL: A Visual Ensemble MoE Framework for Effective and Efficient Multi-Modal Understanding

VEN-VL: 一种用于高效多模态理解的视觉集成MoE框架

Yinghao Wu, Zhuoyan Luo, Yiyao Yu, Zhaojian Yu, Yujiu Yang, Xiao-Ping Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出VEN-VL框架，通过先丰富后压缩的策略，利用视觉集成MoE和自适应路由增强视觉令牌的信息容量与密度，在少量压缩令牌下实现复杂视觉任务的性能与效率平衡。

DIVA: Harnessing the Representation Divergence in Unified Multimodal Models for Mutual Reinforcement

DIVA: 利用统一多模态模型中的表示差异实现相互增强

Renjie Lu, Xulong Zhang, Xiaoyang Qu, Shangfei Wang, Jianzong Wang

机构 * Ping An Technology (Shenzhen) Co., Ltd., Shenzhen, China（平安科技（深圳）有限公司，深圳，中国） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 针对统一多模态模型中理解与生成任务因监督信号差异导致相互干扰的问题，提出DIVA框架，通过分解视觉表示为共享和独有成分并利用互信息估计实现内部协同，在理解与生成任务上分别提升7.82%和8.46%。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models

面向大规模视觉识别的多模态大语言模型分治推理

Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

机构 * Taizhou Institute of Science and Technology, Nanjing University of Science and Technology（泰州科技学院、南京理工大学） ； Department of Intelligence Science, Xi’an Jiaotong-Liverpool University（智能科学系，西安交通大学利物浦大学） ； School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学） ； Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在长序列识别中性能崩溃的问题，提出分治推理（DCI）策略，通过递归分解任务和动态剪枝提升信噪比与分类精度。

Faithful-MR1: Faithful Multimodal Reasoning via Anchoring and Reinforcing Visual Attention

Faithful-MR1: 通过锚定和强化视觉注意力实现忠实的多模态推理

Changyuan Tian, Zhicong Lu, Huaxing Liu, Xiang Wang, Shuai Li, Yu Chen, Wenqian Lv, Zichuan Lin, Juncheng Diao, Deheng Ye

机构 * AMAP, Alibaba Group（阿里云实验室，阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出Faithful-MR1框架，通过锚定和强化视觉注意力解决多模态推理中的忠实性问题，提升模型在多模态基准上的表现。

Comments 20 pages, 7 figures, 3 tables. Preprint

SAVER: Selective As-Needed Vision Evidence for Multimodal Information Extraction

SAVER：选择性所需视觉证据用于多模态信息提取

Miaobo Hu, Shuhao Hu, Bokun Wang, Rui Chen, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出SAVER框架，通过选择性视觉证据提升多模态命名实体识别和关系抽取的性能，减少计算开销并提高准确性。

Latent Space Guided Scenario Sampling for Multimodal Segmentation Under Missing Modalities

基于潜在空间引导的多模态分割中缺失模态的场景采样

Irem Ulku, Ö. Özgür Tanrıöver, Erdem Akagündüz

机构 * organization= Department of Computer Engineering, Ankara University, Ankara, T \"u rkiye ； organization= Department of Modeling ； Simulation, Graduate School of Informatics, METU, Ankara, T \"u rkiye 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种新的训练策略，通过直接从预训练的潜在空间学习场景采样分布，以指导多模态分割在缺失模态下的微调，从而提高性能。

Comments 14 pages, 4 figures, 9 tables

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

多模态语言模型需要多少视觉标记？通过F^3A进行视觉标记剪枝的扩展

YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China（东北大学计算机科学与工程学院，沈阳 110819，中国） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Computer and Communication Engineering, Northeastern University, Qinhuangdao 066004, China（东北大学计算机与通信工程学院，秦皇岛 066004，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出F^3A方法，通过任务条件证据搜索优化视觉标记分配，在不训练模型的情况下实现高效的视觉标记剪枝，保留原始多模态提示和解码流程。

BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation

BiomedAP: 一种基于视觉的双锚框架与门控跨模态融合用于鲁棒的医学视觉-语言适应

Huanyang Tong, Kai Liu, Fangjun Kuang, Huiling Chen

机构 * Wenzhou University（温州大学） ； Wenzhou Business College（温州商务学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 BiomedAP通过门控跨模态融合和双锚约束机制，提升医学视觉-语言模型在提示变化下的鲁棒性，实验显示其在多个基准上均优于基线方法。

Comments CVPR2026 Workshop

Decoupling Stability and Plasticity for Multi-Modal Test-Time Adaptation

解耦稳定性与可塑性以实现多模态测试时适应

Yongbo He, Zirun Guo, Tao Jin

机构 * Zhejiang University（浙江大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DASP框架，通过解耦多模态测试时适应中的稳定性与可塑性，解决现有方法在无偏模态中的负迁移和有偏模态中的灾难性遗忘问题。

Comments Accepted to CVPR 2026

ChatSR: Multimodal Large Language Models for Scientific Formula Discovery

ChatSR：用于科学公式发现的多模态大语言模型

Yanjie Li, Lina Yu, Weijun Li, Min Wu, Liping Zhang, Jingyi Liu, Yusong Deng, Mingzhu Wan, Xin Ning

机构 * AnnLab, Institute of Semiconductors, Chinese Academy of Sciences, Beijing, China（安 lab，半导体研究所，中国科学院，北京，中国） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing, China（电子、电气与通信工程学院，中国科学院大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China（先进交叉科学学院，中国科学院大学，北京101408，中国） ； College of Materials Science and Opto-Electronic Technology, University of Chinese Academy of Sciences, Beijing, 100049, China（材料科学与光电技术学院，中国科学院大学，北京100049，中国） ； School of Integrated Circuits, University of Chinese Academy of Sciences, Beijing 100049, China（集成电路学院，中国科学院大学，北京100049，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 ChatSR通过设计专用编码器和模态对齐机制，将科学数据映射到可被大语言模型处理的表示空间，从而生成符合领域先验的数学公式，推动科学发现自动化。

Comments 14 pages,