多模态大模型

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite：面向 token 高效多模态大语言模型视频输入的设备内自我中心注视预测

Matteo Stoiber, Niels Buus Lassen

机构 * Copenhagen Business School（哥本哈根商学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 EgoGazeLite 是轻量双进程注视预测器，可在消费级硬件上实时运行，无需眼动追踪硬件即可实现 token 高效的自我中心视频理解，性能与真实注视裁剪无显著差异。

Comments 16 pages. Accepted at the WearableAI Workshop, ECCV 2026 (Archival Track)

GALA: Generation-Aware Cross-Modal Alignment for Text-to-Time-Series Synthesis

GALA：面向文本到时间序列合成的生成感知跨模态对齐

Haochen Zhang, Gengwei Zhang, Laura Yao, Nicholas Konz, Tianlong Chen

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CL

AI总结 本研究针对文本到时间序列合成中条件表示与信号模态不匹配的问题，提出GALA两阶段跨模态对齐方法，在TSFragment-600K数据集上实现SOTA，打破了生成器内部文本编码器的保真度与贴合度权衡。

Comments 21 pages, 6 figures

Multi-Granularity Sentiment Integration for LLM-Based Multimodal Sentiment Analysis

面向基于大语言模型（LLM）的多模态情感分析的多粒度情感集成

Shanshan Lin, Yuesheng Wu, Chao Chen, Yizhe Yang, Zhihao Chen, Zexian Yang, Xiangwen Liao

机构 * Fuzhou University（福州大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Jiangxia University（江夏大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 该研究提出MGSI多粒度情感集成框架，通过多尺度编码、文本引导对齐等优化，提升基于LLM的多模态情感分析性能，在四个公开基准上效果优于冻结LLM基线。

Comments Accepted to NLPCC 2026

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints

ProjFormer：基于几何投影Transformer与跨模态语义约束的点云补全

Sheng Liu, Meng Wang, Ruihui Li, Huilong Pi, Zhuo Tang, Kenli Li

机构 * Hunan University（湖南大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对现有点云补全方法几何一致性与适应性不足的问题，提出ProjFormer跨模态框架，通过投影引导视图注意力模块与几何感知路由网络实现高效特征聚合与融合，在轻量级设计下取得了具竞争力的补全性能。

Comments Accepted by ACM Multimedia 2026. 10 pages, 6 figures, 5 tables

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化

Rujie Wu, Haozhe Zhao, Hai Ci, Yizhou Wang

机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。

Comments Accepted to ECCV 2026

FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens

FuseLIP：通过离散令牌的早期融合实现多模态嵌入

Christian Schlarmann, Francesco Croce, Nicolas Flammarion, Matthias Hein

机构 * Tübingen AI Center University of Tübingen（图宾根人工智能中心大学） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。

Comments TMLR 2026. Code and models available at this https URL (https://github.com/chs20/fuselip)

SMA: Who Said That? Auditing Membership Leakage in Semi-Black-box RAG Controlling

SMA：谁说的？半黑盒RAG控制中的成员泄露审计

Shixuan Sun, Siyuan Liang, Jianjie Huang, Jingzhi Li, Xiaochun Cao

机构 * Sun Yat-Sen University（孙中山大学） ； Nanyang Technological University（南洋理工大学） ； University of Chinese Academy of Science（中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对半黑盒RAG控制中的成员泄露问题，提出首个源感知成员审计SMA，通过零阶优化归因估计机制与跨模态归因技术，实现生成内容的细粒度来源归因，为复杂生成系统的数据来源审计提供新视角。

CM-MAE: A Physics-Guided Cross-Modal Self-Supervised Learning Framework for Vision-Wireless Applications

CM-MAE：面向视觉-无线应用的物理引导跨模态自监督学习框架

Yubo Zhang, Yiyao Liu

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出CM-MAE框架，通过软对比对齐损失等技术实现视觉-无线跨场景表征迁移，在DeepSense 6G数据集上提升了跨场景任务的准确率。

Modality-Invariant Coarse-to-Fine Retinal Image Registration

模态无关的由粗到细视网膜图像配准

Bo Wen, Nehal Nailesh Mehta, Melanie Tran, Dirk-Uwe Bartsch, William Freeman, Truong Nguyen

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对现有视网膜配准方法依赖模态的局限，提出可泛化的两阶段模态无关框架，含稀疏特征匹配模型与MI-RAFT网络，在多模态视网膜图像配准中性能优于现有方法。

Comments This paper is a submission to IEEE Transactions on Image Processing (TIP-40498-2026)

Does the Heart Show Your Pain? Tackling the X-ITE Pain Challenge with Self-Supervised ECG Representation Learning

心脏能反映你的疼痛吗？用自监督心电表示学习应对X-ITE疼痛挑战赛

Dominika Kunc, Przemysław Kazienko, Stanisław Saganowski

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对X-ITE疼痛挑战赛，结合自监督心电表示学习与多模态预训练，分析疼痛识别中的心电信号特性，为可穿戴疼痛监测提供了基础。

Comments 5 pages, 3 Figures, 1 Table, appear in the Proceedings of the 13th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW 2025)

PaSTel: Anchoring Histology in Spatial Transcriptomics via Multi-Scale Hierarchical Bio-Prior Contrastive Pretraining

PaSTel：通过多尺度层级生物先验对比预训练锚定空间转录组学中的组织学

Azim Dehghani Amirabad, Junchao Zhu, Pushpak Pati, Walid Abdelmoula, Tommaso Mansi, Rui Liao

机构 * Johnson & Johnson Innovative Medicine（强生创新医药） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI；multi-modal(comments)

AI总结 PaSTel是一种整合多尺度生物先验的层级多模态预训练框架，通过三层生物先验设计解决现有空间转录组学方法的局限，在多个下游任务中性能优于现有编码器。

Comments This paper was accepted to the 3rd ICML 2026 Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences

PEER: Unified Process-Outcome Reinforcement Learning for Structured Empathetic Reasoning

PEER：统一的过程-结果强化学习用于结构化共情推理

Yunxiao Wang, Meng Liu, Sicheng Zhao, Lizi Liao, Liqiang Nie

机构 * Shandong University（山东大学） ； Shandong Jianzhu University（山东建筑大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PEER，通过结构化共情推理框架提升情感支持对话的 empathy、策略一致性及人性表现，采用GRPO与UnifiReward模型，结合数据增强减少重复。

LAVA: Logic-Aware Validation and Augmentation Framework for Large-Scale Financial Document Auditing

LAVA：面向大规模财务文档审计的逻辑感知验证与增强框架

Ruoqi Shu, Xuhui Wang, Isaac Wang, Yanming Mai, Bo Wan

机构 * BMO Financial Group（蒙特利尔银行金融集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 针对财务文档验证的异构性与业务规则处理难题，提出基于多模态大语言模型的LAVA框架，通过四阶段设计提升幻觉控制与边缘案例处理能力，适用于高风险财务审计场景。

ConceptFormer: Learning Adaptive Latent Concepts for Query-Document Alignment in Visual Document Retrieval

ConceptFormer：学习自适应潜在概念以实现视觉文档检索中的查询-文档对齐

Peng Chunyi, Xu Zhipeng, Yan Yukun, Liu Zhenghao, Yu Shi, Mei Sen, Sun Yubo, Zhang Yongheng, Zhou Jie, Gu Yu, Yu Ge, Sun Maosong

机构 * Northeastern University（东北大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉文档检索中现有监督信号的局限，本文提出ConceptFormer框架，以自适应潜在概念为中间表示衔接语义鸿沟，在基准测试中较最强基线实现了16.7%、22.1%的NDCG@10相对提升，性能优异。

Physiological World Models for Human State Transitions

面向人体状态转换的生理世界模型

Chongyang Zhang, Rendong Wang, Hao Zheng, Hanwen Zhang, Yang Liu, Xiaolong Wei, Bin Chong

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出生理世界模型（PWM），引入人体状态转换标记，构建含六项基准任务的框架，用于建模人体生理状态响应现实因素的变化，助力个性化健康管理等场景。

From "What-If" to "What-Is": Counterfactual Thinking-Inspired Semantic Alignment for Visual Brain Decoding

从“假设”到“事实”：面向视觉脑解码的反事实思维启发语义对齐

Kaitao Yan, Chi Liu, Congcong Zhu, Huajie Chen, Gengshen Wu, Minghao Wang, Xiaotong Han, Tianqing Zhu

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出ConceptAlign框架，通过反事实语义对齐解决视觉脑解码的语义错误问题，在自然场景数据集上相比MindEye2提升了重构、语义区分等指标。

Comments Under Review

SA-GEM: Scale-Adaptive and Geospatial Evidence-Modulated Token Pruning for Efficient Remote Sensing Large Vision-Language Models

SA-GEM：面向高效遥感大视觉语言模型的尺度自适应与地理空间证据调制型令牌剪枝

Kexin Ma, Jing Xiao, Bowen Xing, Liang Liao, Chia-Wen Lin

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对遥感大视觉语言模型高分辨率处理效率低的问题，提出SA-GEM即插即用剪枝框架，通过尺度自适应与地理空间证据调制实现效率与精度提升，在XLRS-Bench上超GeoLLaVA-8K 2.3%且推理提速2.4倍。

GSBF: Gaussian Splatting for Environment-Aware Beamforming

GSBF：面向环境感知波束成形的高斯溅射

Yijie Bian, Wei Guo, Zixin Wang, Shenghui Song, Jun Zhang, Khaled B. Letaief

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 该研究针对传统波束成形依赖瞬时CSI导致开销高的问题，提出GSBF方法，通过3D高斯表示刻画环境，利用Bi-SG核与电磁光栅化合成波束，仿真显示其性能优于EBA且延迟更低。

Retrieval-guided Twin Fusion with Similarity-aware Contrast for Molecule-Text Alignment

基于检索的双融合与相似度感知对比的分子-文本对齐方法

Shunshun Gu, Shengqi Qiu, Hang Zhou, Xiao Luo

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 针对现有分子-文本对齐方法忽略子结构与文本细粒度语义关系的问题，提出RISEN方法，通过检索构建孪生分子并结合相似度感知对比学习，在基准数据集上取得更优性能。

Making two action heads agree: coordination mechanisms and a runtime collapse certificate for flow-matching policies

让两个动作头达成一致：流匹配策略的协调机制与运行时崩溃证书

Jinhui Sun, Wei Zhou, Bowen Yang, Xinliang Xiao, Li Yang

机构 * School of Automation, Nanjing University of Science and Technology（南京理工大学自动化学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究针对流匹配策略的双动作头多模态误报问题，提出四类协调机制并推导机会校正协调边界，在LIBERO-Plus等测试中验证了残差为最强故障信号。

UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity

UniFed-VLM：面向多异质性视觉语言模型的联邦指令调优

Pengyu Wang, Baochen Xiong, Xiaoshan Yang, Yifan Xu, Zhang Qimeng, Haifeng Chen, Changsheng Xu

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 UniFed-VLM是解决任务、模态、模型架构联合异质性的VLM联邦指令调优框架，含FedCSA与TCoD组件，在多基准数据集上优于现有FL方法。

FedADB: Class Anchor-Driven Dual-Branch Federated Learning for Mitigating Forgetting

FedADB：用于缓解遗忘的类别锚驱动双分支联邦学习

Zhenyan Liu, Hua Zhang, Haoran Gao, Qi Li, Hongliang Zhu, Huiyu Zhou, Zongliang Shen, Yanxin Xu, Jiahui Wang

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对联邦学习中跨客户端数据异质性导致的全局知识遗忘问题，提出FedADB框架，通过类别锚与双分支机制平衡全局一致性与本地优化，在多数据集上提升了准确率与收敛速度。

Comments Accepted to appear in Proceedings of the 34th ACM International Conference on Multimedia (MM '26)