多模态大模型

SPAR: Semantic-Pixel Self-Alignment and Adaptive Routing for Unified Multimodal Models

SPAR: 语义-像素自对齐与自适应路由的统一多模态模型

Hongxiang Li, Hongxu Chen, Chenyang Zhu, Xiaoshuang Huang, Jiayin Cai, Xiaolong Jiang, Yao Hu, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出SPAR框架，通过非对称双流统一分词器协调语义感知与像素重建，利用自对齐生成范式消除外部依赖，并引入动态令牌路由实现灵活多模态交互，在统一架构中达到生成、重建与视觉理解的最优性能。

Comments ECCV2026

SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment

SEPS：面向细粒度跨模态对齐的语义增强补丁精简框架

Xinyu Mao, Junsi Li, Haoji Zhang, Yu Liang, Ming Sun

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出SEPS框架，通过两阶段机制整合稠密与稀疏文本语义，识别显著视觉补丁，并利用相关性感知选择与均值计算突出关键补丁-词对应，提升跨模态相似度评估，在Flickr30K和MS-COCO上rSum提升23%-86%。

Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors

乳腺纤维腺瘤与叶状肿瘤细粒度分类的多模态融合

Chuxi Nan, Di Wu, Hongming Guo, Ning Cao, Xiaohui Zhu, Zhaoting Shi, Jiawei Li

机构 * School of Integrated Circuits, Wuxi Vocational College of Science and Technology（集成电路学院，无锡科学技术职业技术学院） ； School of Advanced Technology, Xi’an Jiaotong-Liverpool University（先进科技学院，西安交通大学利物浦大学） ； Shanghai Gem Science and Technology Co., Ltd.（上海 gems 科技有限公司） ； Department of Oncology, Shanghai Medical College, Fudan University（肿瘤科，复旦大学上海医学院） ； Department of Medical Ultrasound, Fudan University Shanghai Cancer Center（医学超声科，复旦大学上海癌症中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对B超下乳腺纤维腺瘤和叶状肿瘤高度重叠导致误诊的问题，构建FAPT-M多模态数据集，提出临床引导的多模态框架，集成视觉、文本和临床特征，通过自适应调制、跨模态Transformer和双路径表示学习，实现细粒度分类，准确率77.64%，AUC 89.74%。

Learning Spectral and Polarimetric Clues for One-to-Multimodal Novel View Synthesis

学习光谱和偏振线索用于一对多模态新视角合成

Federico Lincetto, Gianluca Agresti, Mattia Rossi, Piergiorgio Sartor, Pietro Zanuttigh

机构 * MEDIA Lab（媒体实验室） ； University of Padova（帕多瓦大学） ； Sony EUISPC（索尼欧洲影像处理中心） ； Sony Semiconductor Solutions Europe（索尼半导体解决方案欧洲分公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出SPoILeR方法，通过多模态预训练学习模态间相关性，在仅RGB监督下实现未见场景的多模态新视角渲染。

Comments Accepted at ECCV 2026. Project page: https://medialab.dei.unipd.it/paper_data/SPoILeR/

MKGR: Multimodal Knowledge-Graph Representation Learning for Cold-Start Protein-Protein Interaction Prediction

MKGR: 面向冷启动蛋白质-蛋白质相互作用预测的多模态知识图谱表示学习

Wenbo Zhang

机构 * College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出MKGR框架，结合区域感知蛋白质序列编码与四个生物医学知识图谱，通过桥接重建目标和成对门控模块，在冷启动场景下显著提升PPI预测性能。

Pattern-Calibrated Multimodal Prediction under Blockwise Missingness

分块缺失下的模式校准多模态预测

Junhan Yu, Kejian Zhang, Doudou Zhou, Guojun Zhu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态数据分块缺失问题，提出MOSAIC框架，通过共享与特定模态表示学习及跨模式校准，在不混淆预测规则的前提下实现跨缺失模式信息借用，理论证明误差分解并验证其在有限目标样本或规则差异场景下的优势。

CALM: Interpretable Cross-Modal Alignment for Biomarker Discovery from Unpaired Data

CALM: 可解释的跨模态对齐用于从非配对数据中发现生物标志物

Jueqi Wang, Zachary Jacokes, John Darrell Van Horn, Kevin A. Pelphrey, Michael C. Schatz, Archana Venkataraman

机构 * Department of Electrical and Computer Engineering, Boston University（波士顿大学电气与计算机工程系） ； School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Department of Psychology, University of Virginia（弗吉尼亚大学心理学系） ； Department of Neurology, University of Virginia（弗吉尼亚大学神经病学系） ； Departments of Computer Science and Biology, Johns Hopkins University（约翰霍普金斯大学计算机科学与生物学系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 提出CALM框架，通过线性投影对齐脑区和遗传通路的潜在分布，从完全不相交的人群中学习可解释的跨模态关联，在自闭症谱系障碍数据上优于现有方法。

Comments Accepted to MICCAI 2026

Resolving superposition in AI for interpretability and cross-modal alignment in patient-neuronal images

解决AI中的叠加问题以实现可解释性与患者-神经元图像的跨模态对齐

Jisung Park, Seohyeon Kang, Daeun Yoo, Eunsu Lee, Seoin Cho, Wooyeop Choi, Ian Choi, James R. Evan, Daesoo Kim, Sonia Gandhi, Minee L. Choi

机构 * KAIST（韩国科学技术院） ； Konyang University（建阳大学） ； Chang Gung University（长庚大学） ； UCL Queen Square Institute of Neurology & The Francis Crick Institute（伦敦大学学院皇后广场神经病学研究所与弗朗西斯·克里克研究所） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 利用稀疏自编码器解决高维生物数据中神经网络表示空间的叠加问题，恢复几何保真度，并通过Gromov-Wasserstein最优传输实现图像与单细胞RNA测序数据的跨模态对齐。

Comments 10 pages, 7 figures (plus 14 in appendix), 1 table, preprint

LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design

LLM赋能的自动驾驶多模态融合框架：语义增强与信道自适应设计

Wen Wang, Yaping Sun, Yejun He, Hao Chen, Zhiyong Chen, Xiaodong Xu, Nan Ma, Shuguang Cui

机构 * National Natural Science Foundation of China（国家自然科学基金） ； Shenzhen Natural Science Foundation（深圳市自然科学基金） ； Shenzhen Key Laboratory Evaluation（深圳市重点实验室评估） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV

AI总结 提出LM-SCIP框架，以LLM为核心推理中枢，通过信道自适应语义模块动态融合视觉与雷达特征，实现低信噪比下的视觉主导回退和高信噪比下的协同融合，在nuScenes和VIRAT数据集上显著提升定位精度。

Comments 6 pages, 4 figures. Accepted by 2026 IEEE 37th International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC)

Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning

对抗文本噪声与冗余：熵感知的密集视觉令牌剪枝

Xuehui Wang, Xuankun Yang, Wei Shen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出熵感知密集剪枝（EADP）框架，通过熵过滤文本噪声并利用子模最大化选择令牌，在严格预算下保留细粒度视觉线索，提升VLM精度-效率权衡。

Comments Accepted to ECCV 2026

Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning

在思考之前，先学会决策：面向高效视觉推理的主动路由

Yinan Zhou, Haokun Lin, Yichen Wu, Yuxin Chen, Teng Wang, Caifeng Shan, Zhenan Sun, Chen Ma, Li Zhu, Ying Shan

机构 * Xi’an Jiaotong University（西安交通大学） ； ARC Lab, Tencent IEG（腾讯IEG ARC实验室） ； City University of Hong Kong（香港城市大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Harvard University（哈佛大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 提出主动路由范式PRP，通过联合评估草稿模型和目标模型的能力，实现早期决策，加速多模态推理而不牺牲性能。

Comments 36 pages, 20 figures

Spatial Reasoning via Modality Switching Between Language and Symbolic Representation

通过语言与符号表示之间的模态切换进行空间推理

Shreya Rajpal, Tanawan Premsri, Parisa Kordjamshidi

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 研究多跳文本空间故事中，将语言推理切换到几何感知模态（如布局或网格）能否提升推理性能，并提出基于可信度和复杂度的切换指标，实现原则性模态选择，使LLM性能提升高达42%。

From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion

从一对一到多对多：面向深度视觉-语言融合的动态跨层注入

Cheng Chen, Yuyu Guo, Pengpeng Zeng, Jingkuan Song, Peng Di, Hang Yu, Lianli Gao

机构 * Tongji University（同济大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院） ； Independent Researcher（独立研究者） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出跨层注入框架，通过自适应多投影模块和自适应门控融合机制实现视觉层与LLM的动态多对多连接，显著提升多模态理解性能。

Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails

持续多模态学习中的隐藏遗忘：当准确率幸存但基础失效时

Qianyu Chen, Canran Xiao, Runxuan Tang

机构 * Nanyang Technological University（南洋理工大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对持续多模态学习中模型答案准确但证据使用方式改变的问题，提出无重放依赖约束框架RCL，通过冻结旧模型、反事实干预估计证据依赖并联合优化，有效降低隐藏遗忘。

FLAME: A Federated Learning Approach for Multi-Modal RF Fingerprinting

FLAME：一种用于多模态射频指纹识别的联邦学习方法

Kasra Borazjani, Kiarash Kianfar, Seyyedali Hosseinalipour, Rajeev Sahay

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 提出FLAME框架，通过多模态表示（超越I/Q样本）加速联邦学习在射频指纹识别中的训练，理论证明收敛更快且精度更高，实验验证其优越性。

Comments 21 pages, 16 figures. Published in IEEE Internet of Things Journal

GenHOI: Generalized Hand-Object Pose Estimation with Occlusion Awareness

GenHOI：具有遮挡意识的通用手-物体姿态估计

Hui Yang, Wei Sun, Jian Liu, Jian Xiao, Tao Xie, Hossein Rahmani, Ajmal Saeed Mian, Nicu Sebe, Gim Hee Lee

机构 * Hunan University（湖南大学） ； Lancaster University（兰卡斯特大学） ； University of Western Australia（西澳大学） ； University of Trento（特伦托大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出GenHOI框架，通过整合层次语义知识与手部先验，提升在遮挡条件下手-物体姿态估计的泛化能力，实验表明在DexYCB和HO3Dv2基准上达到SOTA性能。

Comments European Conference on Computer Vision (ECCV), 2026

A condition for the identification of multivariate models with binary instruments -- with Corrigendum and Addendum

二元工具变量多变量模型可识别性的一个条件——附勘误与增补

Florian Gunsilius

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出一个经验条件，用于非参数点识别具有连续内生变量的多变量工具变量模型，仅需二元工具变量，推广了现有识别结果，并基于循环单调性等假设推导了渐近收敛结果。

Comments Original paper published in the Journal of Econometrics including corrigendum and addendum

Journal ref Journal of Econometrics 235.1 (2023): 220-238

VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees

VaSST: 使用软符号树的符号回归变分推断

Somjit Roy, Pritam Dey, Bani K. Mallick

机构 * Department of Statistics, Texas A&M University（统计学系，德克萨斯大学阿姆斯特朗分校） 纠错

专题命中 其他多模态 ：multimodal(abstract)

AI总结 提出基于变分推断的可扩展符号回归框架VaSST，通过软符号树连续松弛将组合搜索转化为梯度优化，实现不确定性量化，在模拟和费曼数据集上表现优异。

Comments 55 pages, 9 figures, 54 tables, Accepted at UAI 2026