多模态大模型

GraphFusion3D: Dynamic Graph Attention Convolution with Adaptive Cross-Modal Transformer for 3D Object Detection

GraphFusion3D: 动态图注意力卷积与自适应跨模态Transformer用于3D目标检测

Md Sohag Mia, Md Nahid Hasan, Muhammad Abdullah Adnan

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出GraphFusion3D框架，结合多模态融合与先进特征学习，通过自适应跨模态Transformer增强几何与语义信息，并引入图推理模块捕捉局部结构与全局语义，实验在SUN RGB-D和ScanNetV2上均取得显著提升。

UniD-Shift: Towards Unified Semantic Segmentation via Interpretable Share-Private Multimodal Decomposition

UniD-Shift：通过可解释的共享-私有多模态分解实现统一的语义分割

Shuai Zhang, Zhecheng Shi, Zhuxiao Li, Jing Ou, Tengxi Wang, Yuan Liu, Wufan Zhao

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出UniD-Shift框架，通过结合视觉和几何编码器提取互补特征，并通过共享-私有子空间分解实现2D-3D语义分割的统一。实验表明在SemanticKITTI和nuScenes数据集上优于基线方法，且具有良好的泛化能力。

GazeVLM: Active Vision via Internal Attention Control for Multimodal Reasoning

GazeVLM：通过内部注意力控制实现多模态推理的主动视觉

Brown Ebouky, Gabriele Carrino, Niccolo Avogaro, Christoph Studer, Andrea Bartezzaghi, Mattia Rigotti

机构 * IBM Research（IBM研究院） ； ETH Zurich（苏黎世联邦理工学院） ； TU Wien（维也纳技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 GazeVLM通过内部注意力控制实现主动视觉，使模型在多模态推理中实现从全局空间感知到局部聚焦推理的无缝切换，无需外部工具或增加视觉token。

Structured Role-Aware Policy Optimization for Multimodal Reasoning

结构化角色感知策略优化用于多模态推理

Bingqing Jiang, Difan Zou

机构 * School of Computing & Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； School of Computing & Data Science and Institute of Data Science, The University of Hong Kong（计算与数据科学学院和数据科学研究所，香港大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出结构化角色感知策略优化(SRPO)，通过角色感知的token级信用分配提升多模态推理中的证据基础推理能力，无需外部奖励模型。

Comments 32 pages

TRAJGANR: Trajectory-Centric Urban Multimodal Learning via Geospatially Aligned Neural Representations

TRAJGANR: 通过地理对齐的神经表示进行轨迹导向的城市多模态学习

Maria Despoina Siampou, Gengchen Mai, Ni Lao, Jinmeng Rao, Neha Arora, Cyrus Shahabi, Shushman Choudhury

机构 * Google Research, Mountain View, CA（谷歌研究，山景城，加利福尼亚州） ； Google LLC, Mountain View, CA（谷歌公司，山景城，加利福尼亚州） ； Dept. of Computer Science, University of Southern California, Los Angeles, CA（计算机科学系，南加州大学，洛杉矶，加利福尼亚州） ； SEAI Lab, Dept. of Geography and the Environment, The University of Texas at Austin, Austin, TX（SEAI实验室，地理与环境系，德克萨斯大学奥斯汀分校，奥斯汀，德克萨斯州） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TRAJGANR提出一种新的多模态自监督学习框架，通过将连续移动模式与静态位置观察对齐，提升城市理解和移动任务的性能，优于现有方法。

Anisotropic Modality Align

各向异性模态对齐

Xiaomin Yu, Yijiang Li, Yuhui Zhang, Hanzhen Zhao, Yue Yang, Hao Tang, Yue Song, Xiaobin Hu, Chengwei Qin, Shuicheng Yan, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（国立新加坡大学） ； UCSD（加州大学圣地亚哥分校） ； Stanford（斯坦福大学） ； PKU（北京大学） ； THU（清华大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文研究了多模态模型中模态间转换的可行性，提出各向异性模态对齐方法，通过几何修正框架提升单模态数据的多模态训练效果。

LUCAS-MEGA: A Large-Scale Multimodal Dataset for Representation Learning in Soil-Environment Systems

LUCAS-MEGA：一个大规模多模态数据集，用于土壤-环境系统的表示学习

Kuangdai Leng, Simon Jeffery, Panos Panagos, Tarje Nissen-Meyer

机构 * Earth Rover Program（Earth Rover项目） ； Centre for Crop and Environmental Science（作物与环境科学中心） ； European Commission Joint Research Centre（欧盟联合研究中心） ； Department of Mathematics and Statistics & Center for Environmental Intelligence（数学与统计系及环境智能中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 LUCAS-MEGA通过系统数据融合构建了大规模多模态数据集，用于提升土壤-环境系统的表示学习能力，通过SoilFuser管道标准化数据并生成统一特征空间，预训练SoilFormer模型实现了稳定的训练和预测性能。

Comments 27 pages, 7 figures, 1 table

Retrieve, Integrate, and Synthesize: Spatial-Semantic Grounded Latent Visual Reasoning

检索、整合与综合：空间-语义 grounded 的潜在视觉推理

Jin Cui, Xinyue Long, Xunyong Zhang, Yadong Zhang, Chuanchang Su, Jingye Gan, Boran Zhao, Pengju Ren

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, and Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CL

AI总结 本文提出RIS框架，通过空间-语义 grounded 方法改进多模态大语言模型的视觉推理，通过构建逐步 grounded 数据集并引入短语言过渡token，提升潜在状态与词汇对齐的解码能力，实验显示在多个基准上优于现有基线。

Comments 19 pages, 8 figures

Hard to Read, Easy to Jailbreak: How Visual Degradation Bypasses MLLM Safety Alignment

难以阅读，却容易被破解：视觉退化如何绕过大语言模型的安全对齐

Zhixue Song, Boyan Han, Yiwei Wang, Chi Zhang

机构 * AGI Lab, Westlake University, China（西lake大学AGI实验室，中国） ； University of California, Merced, USA（加州大学默塞德分校，美国） 纠错

专题命中 多模态训练与对齐 ：MLLM(title)；分类 cs.CV、cs.AI

AI总结 研究发现视觉退化会削弱大语言模型的安全防御，提出结构化认知卸载策略以缓解风险。

Comments Accepted to Findings of ACL 2026

TAP: Two-Stage Adaptive Personalization of Multi-Task and Multi-Modal Foundation Models in Federated Learning

TAP: 多任务和多模态基础模型在联邦学习中的两阶段自适应个性化

Seohyun Lee, Wenzhi Fang, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； Yonsei University（延世大学） ； University at Buffalo-SUNY（布法罗大学-苏尼尔） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；分类 cs.AI

AI总结 本文提出TAP方法，通过两阶段自适应个性化在联邦学习中提升多任务和多模态基础模型的泛化能力，解决数据、任务和模态异质性问题。

Comments 29 pages

Pan-FM: A Pan-Organ Foundation Model with Saliency-Guided Masking for Missing Robustness

Pan-FM：一种具有显著性引导掩码的全器官基础模型以实现缺失鲁棒性

Qiangqiang Wu, Grace McIlvain, Zhou Yu, Junhao Wen

机构 * Laboratory of AI and Biomedical Science（人工智能与生物医学科学实验室） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Pan-FM通过显著性引导掩码技术，解决多模态生物医学数据缺失问题，提升全器官表示学习的鲁棒性，优于单器官和多器官基线模型。

LensVLM: Selective Context Expansion for Compressed Visual Representation of Text

LensVLM：压缩文本视觉表示的选取性上下文扩展

Roy Xie, Dan Friedman, Donghan Yu, Bowen Pan, Christopher Fifty, Jang-Hyun Kim, Xianzhi Du, Zhe Gan, Vivek Rathod, Bhuwan Dhingra

机构 * Apple（苹果公司） ； Duke University（杜克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LensVLM通过选择性上下文扩展提升压缩视觉表示的准确性，在4.3倍压缩下表现优异，且在多模态任务中表现更佳。

Differentiable Ray Tracing with Gaussians for Unified Radio Propagation Simulation and View Synthesis

基于高斯的可微射线追踪用于统一的无线传播模拟与视图合成

Niklas Vaara, Lam Huynh, Pekka Sangi, Miguel Bordallo López, Janne Heikkilä

机构 * Center for Machine Vision and Signal Analysis, University of Oulu, Finland（奥卢大学机器视觉与信号分析中心，芬兰） ； CubiCasa Oy, Finland（芬兰CubiCasa公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种基于高斯的可微射线追踪框架，实现无线传播模拟与视图合成的统一空间表示，通过可视化重建神经场景直接计算点对点路径，保留高质量视觉渲染。

TextLDM: Language Modeling with Continuous Latent Diffusion

TextLDM：基于连续潜在扩散的语言建模

Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

机构 * Joy Future Academy（京东探索研究院） ； HIT（Harbin Institute of Technology） ； HKUST(GZ)（Hong Kong University of Science and Technology (Guangzhou)） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 TextLDM将视觉潜在扩散框架应用于文本生成，通过Representation Alignment提升文本表示质量，在OpenWebText2上训练后优于现有扩散语言模型，匹配GPT-2性能。

Tables Guide Vision: Learning to See the Heart through Tabular Data

表格引导视觉：通过表格数据学习看见心脏

Marta Hasny, Maxime Di Folco, Keno Bressem, Julia Schnabel

机构 * School of Computation, Information and Technology, Technical University of Munich（技术大学慕尼黑计算、信息与技术学院） ； Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich（生物医学成像中的机器学习研究所，海德堡慕尼黑） ； School of Biomedical Engineering and Imaging Sciences, King’s College London（国王学院伦敦生物医学工程与成像科学学院） ； TUM University Hospital, Technical University of Munich（技术大学慕尼黑大学医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于表格数据的对比学习框架，利用临床相关表格数据识别患者层面相似性，构建更有意义的配对，提升语义对齐的表示学习，并通过零样本预测验证方法有效性。

TRACE: Transport Alignment Conformal Prediction via Diffusion and Flow Matching Models

TRACE: 通过扩散与流匹配模型进行传输对齐的置信域

Zhenhan Fang, Aixin Tan, Jian Huang

机构 * Department of Statistics and Actuarial Science University of Iowa（统计与精算科学系，爱荷华大学） ； Departments of Data Science and AI, and Applied Mathematics The Hong Kong Polytechnic University（数据科学与人工智能系、应用数学系，香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出TRACE框架，通过扩散和流匹配模型中的传输对齐定义非符合性分数，实现多维输出的有效置信域构造，验证了其在复杂生成设置中的有效性。

Comments 22 pages, 5 figures and 5 tables

VLA-GSE: Boosting Parameter-Efficient Fine-Tuning in VLA with Generalized and Specialized Experts

VLA-GSE: 提升VLA中基于通用和专用专家的参数高效微调

Yuhua Jiang, Junjie Lu, Xinyao Qin, Xiaoyu Chen, Kaixin Wang, Feifei Gao, Li Zhao

机构 * Microsoft Research Asia（微软亚洲研究院） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 VLA-GSE通过通用和专用专家机制提升VLA在机器人控制中的参数高效微调效果，保留预训练知识的同时提高适应能力，实验表明其在多个基准测试中表现优异。