多模态大模型

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习

Jing Liu, Chenxuanyin Zou, Jiayang Ren, Gaoyun Fang, Chengfang Li, Yan Wang, Zhenchao Ma, Bo Hu

机构 * The University of British Columbia（英属哥伦比亚大学） ； Fudan University（复旦大学） ； Royal College of Science, Imperial College London（伦敦帝国理工学院皇家科学学院） ； Dyson School of Design Engineering（戴森设计工程学院） ； Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题，提出FedCMM框架，在参数、数据、聚合三个层面嵌入持续学习保障，经实验验证该框架在准确性和反向迁移上优于基线，能实现跨异构网络AI部署的稳健进化适应。

Comments submitted to IEEE JSTSP

Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment

注意力忽视视觉风险：多模态安全对齐的风险适应性转向

Jonghyun Park, Minhyuk Seo, Chaewon Yeo, Jonghyun Choi

机构 * Seoul National University（首尔大学） ； KU Leuven（鲁汶大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MoRAS，通过简洁的视觉上下文增强关键安全区域的视觉注意力，以实现多模态安全对齐，减少推理开销并提升泛化能力。

Text-Aided Multi-Modal Panoptic Symbol Spotting for CAD Floor Plan Drawings

用于CAD平面图的文本辅助多模态全景符号识别

Yan Gong, Bohao Li, Bowen Du, Junchen Ye

机构 * CCSE Lab, Beihang University（北京航空航天大学CCSE实验室） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对CAD平面图全景符号识别中现有方法未充分利用文本注释的问题，提出多模态框架TextCAD，设计TACE编码注释语义，引入语义层次对齐框架，实验表明该方法有效提升符号识别性能并达最优。

Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis

分离、细化、整合：用于情感分析的多模态融合分解

Alexios Filippakopoulos, Elias Kallioras, Nikolaos Xiros, Efthymios Georgiou, Alexandros Potamianos

机构 * National Technical University of Athens（雅典国立技术大学） ； Athena Research Center（雅典娜研究中心） ； University of Bern（伯尔尼大学） ； Archimedes AI（阿基米德人工智能公司） ； Synaptic Bloom PBC（突触绽放有限责任公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 研究情感分析中的多模态融合问题，提出SeRIn方案，通过分离特定模态与跨模态路径，各自细化演变，将跨模态交互推迟到预测步骤，在CH - SIMS和CMU - MOSEI上取得领先成果。

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

MQAdapter：用于从粗到细的视觉语言模型微调的多模态量子适配器

Yumiao Zhao, Bo Jiang, Min Lu, Xiao Wang, Jin Tang

机构 * Anhui University（安徽大学） ； Origin Quantum Computing Company Limited（本源量子计算有限公司） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型在少样本学习中细粒度区分不足的问题，提出多模态量子适配器MQAdapter。先检索Top-K候选类别作语义锚点，再用跨模态量子学习机制，利用量子特性建模高阶交互，细化视觉特征，参数高效且能集成现有算法提升性能。

Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction

基于稀疏注意力的自适应跨模态融合用于行人过街意图预测

Md Mahfuzur Rahman, Pengzhan Zhou, A F M Abdun Noor, Md Imam Ahasan, Kah Ong Michael Goh, S. M. Hasan Mahmud, Md Mustafizur Rahman, Kaixin Gao

机构 * Faculty of Information Science & Technology, Multimedia University（信息科学与技术学院，马来西亚多媒体大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 研究针对自动驾驶中行人过街意图预测问题，提出ADAPT多模态框架，通过五个模块联合建模视觉和运动信息，实验证明该方法优于现有技术，在准确率和实时性上取得平衡，为智能交通等应用提供有效方案。

Comments 17 pages, 5 figures, 4 tables. Under review at PeerJ Computer Science

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

ReLope：KL正则化的LoRA探针用于多模态大语言模型路由

Yaopei Zeng, Congchao Wang, Blake JianHang Chen, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon AGI（亚马逊AGI） ； Google（谷歌） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 针对多模态大语言模型路由中探针性能下降问题，提出Attention Probe和KL正则化的LoRA探针ReLope，通过改进隐藏状态质量提升路由效果。

M2I2HA: Multi-modal Object Detection Based on Intra- and Inter-Modal Hypergraph Attention

M2I2HA：基于模态内和模态间超图注意力的多模态目标检测

Xiaofan Yang, Yubin Liu, Wei Pan, Guoqing Chu, Junming Zhang, Jie Zhao, Zhuoqi Man, Xuanming Cao

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态目标检测中模态内和模态间信息提取及跨模态对齐的挑战，提出基于超图理论的M2I2HA网络，通过多个模块实现多模态特征的有效处理，在多模态目标检测任务中取得了最优性能。

Comments 43 pages, 13 figures, The theoretical derivation was refined, some data was updated, and experiments were added

Together, Then Apart: Balancing Alignment and Distinctiveness for Multimodal Survival Analysis

在一起，然后分开：平衡多模态生存分析中的对齐与独特性

Wenjing Liu, Qin Ren, Wen Zhang, Yuewei Lin, Chenyu You

机构 * Stony Brook University（石溪大学） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Brookhaven National Laboratory（布鲁赫林国家实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态生存分析，提出TTA框架，先基于原型对齐捕获跨模态共享结构，再通过锚定引导对比目标鼓励模态特定独特性，用不平衡最优传输处理模态不平衡和噪声对应，在多个癌症队列上评估，提升了生存预测并揭示可解释模式。

UMSS: Towards Unsupervised Multi-modal Semantic Segmentation

UMSS：迈向无监督多模态语义分割

Haitian Zhang, Thai Duy Nguyen, Xiangyuan Wang, Mohan Liu, Lin Wang

机构 * EmPACT Lab, School of EEE, Nanyang Technological University（电气与电子工程学院电磁脉冲与天线研究室，南洋理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文针对无监督多模态语义分割问题，提出基于DINOv3的UniM2框架，通过跨模态对应协同学习统一潜在空间提取语义线索，并引入跨模态协调器缓解冲突，实验证明该框架相比现有框架有明显优势。

DeGuNet: Depth-Guided Ultra-Compact Backbones for Efficient LiDAR-Camera 3D Detection

DeGuNet：用于高效激光雷达-相机3D检测的深度引导超紧凑骨干网络

Haifa Zhang, Yijing Wang, Peixi Peng, Zhiqiang Zuo

机构 * Tianjin University（天津大学） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究针对自动驾驶中激光雷达与相机融合检测依赖2D预训练骨干网络的问题，提出DeGuNet，通过稀疏感知机制有效对齐图像与激光雷达深度，实验证明其能消除架构冗余，提升效率并提高mAP，建立参数高效多模态3D感知新范式。

Comments Accepted to ECCV 2026

Seeing Globally, Refining Locally: Global Visual Guidance and Local Ultrasound Cues for Robust Freehand 3-D Ultrasound Reconstruction

全局观察，局部细化：用于稳健徒手三维超声重建的全局视觉引导和局部超声线索

Yameng Zhang, Zhongyu Chen, Dianye Huang, Xiangyu Chu, K. W. Samuel Au, Zhongliang Jiang

机构 * Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系） ； Multi-Scale Medical Robotics Center（多尺度医疗机器人中心） ； Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（香港中文大学机械与自动化工程系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究针对徒手三维超声重建中探头姿态估计易累积误差问题，提出全局到局部姿态估计框架，利用双相机分支和B模式分支及跨模态融合模块，经多尺度姿态损失约束，在数据集和体内实验中有效降低轨迹漂移，提升重建效果。

PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs

PFAdapter：用于个性化联邦多模态大语言模型的分层LoRA分解

Jing Liu, Kun Yang, Yan Wang, Dingkang Yang, Xiaoshuai Hao, Wei Zhang, Yang Liu, Wei Zhou

机构 * College of Future Information Technology, Fudan University（复旦大学未来信息技术学院） ； Division of Natural and Applied Sciences, Duke Kunshan University（昆山杜克大学自然科学与应用科学部） ； Department of Electrical and Computer Engineering, The University of British Columbia（英属哥伦比亚大学电气与计算机工程系） ； Ant Group（蚂蚁集团） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University & Fysics AI（复旦大学智能机器人与先进制造学院及复肆智能科技（上海）有限公司） ； Xiaomi EV, Xiaomi Campus（小米汽车、小米园区） ； Information and Communications Technology Cluster, Singapore Institute of Technology (SIT)（新加坡理工学院信息通信技术集群） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 针对分布式网络中联邦微调平衡全局知识与局部适应的挑战，提出PFAdapter框架，用分层LoRA分解将适配器参数分离，通过正交正则化和选择性聚合协议减少通信成本，实验证明该框架在多数据集上性能优于基线，为智能AI部署提供有效方案。

Comments submitted to IEEE TCCN

SlimPer: Make Personalization Model Slim and Smart

SlimPer：使个性化模型变得精简且智能

Siqi Wang, Xianjie Chen, Shaofeng Deng, Albert Chen, Romil Shah, Jiawei Huang, Zhaoqin Wang, Zhang Zhang, Yiqun Liu, Meilei Jiang, Anish Dubey, Moyan Mei, Tongxin Wang, Nathan Berrebbi, Misael Manjarres, Armand Sauzay, Shardul Kothapalli, Aryaman Vinchhi, Kevin Johnstone, Juheon Lee, Gufan Yin, Ziheng Huang, Justin Lin, Mert Terzihan, Yilin Qi, Cynthia Yang, Colin Peppler, Qi Ding, Ruohan Sun, Ge Song, Litao Deng, Parichay Kapoor, Matt Ma, Huihui Cheng, Jiyuan Zhang, Yanli Zhao, Yiping Han, Fangqiu Han, Ning Yao, Arun Singh, Jordan Edwards, Zhengyu Su, Abhishek Kumar, Guangdeng Liao, Ankit Asthana

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 研究针对工业推荐系统中Transformer架构的不足，提出SlimPer方法，将个性化排名重构成对紧凑知识库的迭代细化，可解耦模型深度与用户历史长度，统一多种特征并具可解释性，在Instagram相关业务上提升了用户参与度。