多模态大模型

TorchUMM: A Unified Multimodal Model Codebase for Evaluation, Analysis, and Post-training

TorchUMM: 一个用于评估、分析和训练后处理的统一多模态模型代码库

Yinyi Luo, Wenwen Wang, Hayes Bai, Hongyu Zhu, Hao Chen, Pan He, Marios Savvides, Sharon Li, Jindong Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； William & Mary（威廉与玛丽学院） ； Auburn University（阿肯色大学欧文分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出TorchUMM，一个统一的多模态模型代码库，用于评估、分析和训练后处理，涵盖多种多模态模型架构、任务和数据集，通过统一接口和标准化评估协议，促进异构模型的公平比较和深入理解，推动更强大的统一多模态系统的发展。

Comments Technical Report

CosFly-Track: A Large-Scale Multi-Modal Dataset for UAV Visual Tracking via Multi-Constraint Trajectory Optimization

CosFly-Track: 一个大规模多模态数据集，用于通过多约束轨迹优化的无人机视觉跟踪

Xiangyue Wang, Hanxuan Chen, Songsheng Cheng, Ruilong Ren, Jie Zheng, Shuai Yuan, Tianle Zeng, Hanzhong Guo, Kangli Wang, Ji Pei

机构 * Autel Robotics（Autel机器人公司） ； Nanjing University（南京大学） ； Peking University（北京大学） ； Southern University of Science and Technology（南方科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出CosFly-Track数据集，用于无人机视觉跟踪任务，通过多约束轨迹优化生成大规模多模态数据，提升了动态目标跟踪性能。

VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence

VISTAQA: 评估联合视觉问答与像素级证据

Mozhgan Nasr Azadani, Yimu Wang, Yongpeng Zhu, Lihong Chen, Milan Ganai, Sean Sedwards, Marco Pavone, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） ； Stanford University（斯坦福大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出VISTAQA基准，用于评估视觉问答中自由回答的正确性和像素级证据的定位，通过引入GROVE指标，强调回答正确性与视觉证据对齐的重要性，实验显示现有系统在该指标下表现有限，揭示了回答准确性和视觉证据对齐之间的显著差距。

Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model

Affordance-R1: 为多模态大语言模型中的通用化 affordance 推理设计的强化学习

Hanqing Wang, Shaoyang Wang, Yiming Zhong, Zemin Yang, Jiamin Wang, Zhiqing Cui, Jiahao Yuan, Yifan Han, Mingyu Liu, Yuexin Ma

机构 * The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； ShanghaiTech University（上海科技大学） ； East China Normal University（华东师范大学） ； Nanjing University of Information Science & Technology（南京信息工程大学） ； Zhejiang University（浙江大学） ； Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 本文提出 Affordance-R1，一种结合认知 CoT 引导的 Group Relative Policy Optimization (GRPO) 的统一 affordance 地标框架，通过强化学习实现零样本泛化和测试时推理能力。

Photodiode based multi-modal diagnostic for low-energy neutral beam injection in the LTX-$β$ spherical tokamak

基于光电二极管的多模诊断用于LTX-β球形托卡马克中的低能中性束注入

A. Maan, Tosh Le, D. P. Boyle, R. Majeski, S. Banerjee, G. J. Wilkie, M. Lampert, C. Lopez Perez, R. Shousha, W. Capecchi, H. Gajani

专题命中 多模态评测 ：multi-modal(title)

AI总结 本文提出了一种紧凑型基于光电二极管的诊断阵列，用于研究LTX-β球形托卡马克中的低能中性束注入。该诊断系统结合了滤波软X射线(SXR)、窄带Lyman-α和未滤波AXUV光电二极管行，通过部分重叠且几乎重合的切向视图来观察等离子体，包括中性束路径。这种几何结构能够同时敏感地检测到束诱导的SXR发射、与回流、快速中性粒子和燃料相关的中性氢线辐射，以及宽带发射，包括直接中性粒子从快速离子电荷交换损失。初始测量显示在12-20 keV氢束操作中，所有三种模式的探测器响应都具有束同步响应。未滤波AXUV信号表现出毫秒级的上升和下降时间，远慢于探测器响应，且在不同视线上变化，并依赖于锂条件化历史。与经典减速时间估计的比较表明，与背景中性粒子的电荷交换对测量衰减有显著贡献。该诊断可用于约束前向模型以估算小型托卡马克中束加热和燃料补充的时间分辨平衡。

Comments High temperature plasma diagnostics review of scientific instruments

Can VLMs Unlock Semantic Anomaly Detection? A Framework for Structured Reasoning

VLMs能否解锁语义异常检测？一个结构化推理的框架

Roberto Brusnicki, David Pop, Yuan Gao, Mattia Piccinini, Johannes Betz

机构 * Professorship of Autonomous Vehicle Systems TUM School of Engineering ； Design, Technical University of Munich Munich, Germany 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SAVANT框架，通过结构化推理方法提升VLM在语义异常检测中的性能，实现对自动驾驶场景中罕见异常情况的更准确识别。

Comments 8 pages, 5 figures

ShadeBench: A Benchmark Dataset for Building Shade Simulation in Sustainable Society

ShadeBench: 一个用于可持续社会建筑阴影模拟的基准数据集

Longchao Da, Mithun Shivakoti, Xiangrui Liu, T Pranav Kutralingam, Yezhou Yang, Hua Wei

机构 * School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） ； Global Futures Laboratory, Arizona State University（全球未来实验室，亚利桑那州立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ShadeBench，一个用于城市阴影理解的综合数据集和基准，通过多模态数据支持阴影生成、分割和3D建筑重建，并提供标准化评估协议和基线方法，为数据驱动的城市气候研究和热适应城市规划提供基础。

Comments 12 pages, 13 figures, 2 tables. Accepted by KDD 2026 AI for Sciences Track

Evaluating TabPFN for Mild Cognitive Impairment to Alzheimer's Disease Conversion in Data Limited Settings

评估TabPFN在数据有限环境下对轻度认知障碍向阿尔茨海默病转化的预测能力

Brad Ye, Bulent Soykan, Gulsah Hancerliogullari Koksalmis, Hsin-Hsiung Huang, Laura J. Brattain

机构 * 1 Department of Medicine, University of Central Florida College of Medicine, Orlando, FL, USA 2 Department of Mechanical, Industrial \& Manufacturing Eng., The University of Toledo, Toledo, OH, USA 3 Department of Industrial Eng. ； Mngt. Systems, University of Central Florida, Orlando, FL, USA 4 Department of Industrial Engineering, Istanbul Technical University, Istanbul, Turkey 5 School of Data, Mathematical ； Statistical Sciences, University of Central Florida, Orlando, FL, USA 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文评估了TabPFN在数据有限环境下对轻度认知障碍向阿尔茨海默病转化的预测能力，通过比较传统机器学习方法，发现TabPFN在低数据量情况下表现更优，特别是在训练样本仅为50时仍能保持较高的AUC值。

Comments 6 pages, 3 figures

UniT: Unified Geometry Learning with Group Autoregressive Transformer

UniT: 基于群自回归变换器的统一几何学习

Haotian Wang, Yusong Huang, Zhaonian Kuang, Hongliang Lu, Xinhu Zheng, Meng Yang, Gang Hua

机构 * Intelligent Transportation Thrust of the Systems Hub, The Hong Kong University of Science and Technology (GZ), Guangzhou, P.R.China（香港理工大学（广州）系统中心智能交通研究组，中国广东省广州市） ； The National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University, Xi’an, P.R.China（人机混合增强智能国家级重点实验室，西安交通大学，中国陕西省西安市） ； Applied Science, Amazon.com, Inc., USA（亚马逊公司应用科学部，美国） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出UniT模型，通过群自回归变换器统一了几何感知中的多种能力，包括在线感知、离线重建、多模态融合、长视界扩展和度量尺度估计，并引入了适应性几何损失以提升跨场景的度量尺度泛化能力。

Comments Submitted to IEEE T-PAMI

VersusQ: Pairwise Margin Reasoning for Generalizable Video Quality Assessment

VersusQ：用于通用视频质量评估的成对边距推理

Shibei Meng, Binxin Yang, Yuan Liu, Jiexuan Zhang, Zhengyao Lv, Hubery Yin, Qiang Xu

机构 * The Chinese University of Hong Kong（香港中文大学） ； WeChat Vision, Tencent Inc.（腾讯公司视觉部门） ； Beijing Normal University（北京师范大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出VersusQ，一种基于成对边距推理的框架，通过直接比较视频来缓解绝对尺度校准偏差，实现跨域的视频质量评估。

KSOS-BO: Improving Sampling in Bayesian Optimization via Kernel Sum of Squares

KSOS-BO: 通过核平方和改进贝叶斯优化中的采样

Buqing Ou, Frederike Dümbgen

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出KSOS-BO，一种基于核的无导数框架，用于优化贝叶斯优化的获取函数，通过将获取函数优化建模为半正定规划问题，实现了结构化的全局搜索，并在多个基准函数上表现出色，平均改进了81.16%的 regrets，尽管计算成本较高，但收敛速度更快。

Evaluating multimodal emotion recognition in proactive conversational agents: A user study

评估主动对话代理中的多模态情绪识别：一项用户研究

Adnana Dragut, Raquel Lacuesta, F. Xavier Gaya-Morey, Jose M. Buades-Rubio

机构 * I3A (Institute of Engineering Research of Aragon)（阿拉贡工程研究院） ； Universidad de Zaragoza（萨拉戈塔大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文研究了多模态情绪识别在主动对话代理中的应用，通过用户研究验证了视觉和语言分析模块的有效性，发现语言分析比视觉线索更可靠，并探讨了SIAs在情绪引导中的潜力与挑战。

An Application-Layer Multi-Modal Covert-Channel Reference Monitor for LLM Agent Egress

面向LLM代理出站的应用层多模态隐通道参考监控器应用

Alfredo Metere

机构 * Enclawed, LLC（Enclawed公司） 纠错

专题命中 多模态Agent ：multi-modal(title)；分类 cs.AI

AI总结 本文提出了一种应用层多模态隐通道参考监控器，用于检测和防止LLM代理在消息中泄露数据，通过多阶段文本管道、媒体加密器和残余容量测量来实现对隐通道的监控和管理。

MASFactory: A Graph-centric Framework for Orchestrating LLM-Based Multi-Agent Systems with Vibe Graphing

MASFactory: 一种基于图的框架，用于通过Vibe图谱编排基于大语言模型的多智能体系统

Yang Liu, Jinxuan Cai, Yishen Li, Qi Meng, Zedi Liu, Xin Li, Chen Qian, Chuan Shi, Cheng Yang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MASFactory，一种基于图的框架，用于通过Vibe图谱编排基于大语言模型的多智能体系统，解决了现有框架在实现复杂图工作流时需要大量手动工作、重用性差和难以整合异构外部上下文源的问题。

Comments Accepted to the ACL 2026 Demo Track. Camera-ready version. 10 pages, 6 figures. Code and documentation are available at: https://github.com/BUPT-GAMMA/MASFactory

Towards Resilient and Autonomous Networks: A BlueSky Vision on AI-Native 6G

迈向稳健和自主的网络：AI原生6G的BlueSky愿景

Liang Wu, Kelly Wan, Mayank Darbari, Liangjie Hong

机构 * Nokia（诺基亚） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种AI原生6G的BlueSky愿景，旨在将人工智能原生整合到6G中，从'为AI的网络'转向'为网络的AI'，通过基础模型和协作多智能体系统，将网络管理转化为统一的多模态多任务优化问题，推动6G向智能自维持通信基础设施发展。

Comments Accepted at KDD 2026

IndusAgent: Reinforcing Open-Vocabulary Industrial Anomaly Detection with Agentic Tools

IndusAgent: 通过智能工具增强开放词汇工业异常检测

Rongbin Tan, Fangfang Lin, Zhenlong Yuan, Min Qiu, Kejin Cui, Mengmeng Wang, Yi Wang, Zijian Song, Zhiyuan Wang, Jiyuan Wang, Yue Wang, Shuhan Song§, Huawei Cao

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院） ； Santa Clara University（圣克拉拉大学） ； LongCat Team（LongCat团队） ； Independent Researcher（独立研究者） ； New York University（纽约大学） ； Sun Yat-sen University（孙中山大学） ； Nanyang Technological University（南洋理工大学） ； Stanford University（斯坦福大学） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出IndusAgent框架，通过整合视觉观测、高分辨率局部片段和专家正常性先验，提升开放词汇工业异常检测的零样本性能，验证了方法的鲁棒性和泛化能力。

MC-Risk: Multi-Component Risk Fields for Risk Identification and Motion Planning

MC-Risk：多组件风险场用于风险识别和运动规划

Maximilian Link, Yingjie Xu, Yingbai Hu, Yinlong Liu

机构 * Technical University of Munich（慕尼黑技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； City University of Macau（澳门城市大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出MC-Risk，一种与规划器对齐的多组件风险场，用于早期、校准且类别感知的风险定位。该方法通过线性组合三个可解释模块，包括电机代理场、VRU风险场和道路惩罚场，并在RiskBench碰撞子集上进行了首次标准化定量评估，展示了最佳的风险定位和最早危险指示。

Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding

Chronicle：一种用于联合语言和时间序列理解的多模态基础模型

Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

机构 * InertialAI ； Department of Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程系） ； Department of Mechanical and Materials Engineering, Queen’s University（皇后大学机械与材料工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Chronicle，一种联合训练语言和时间序列的多模态基础模型，通过统一架构实现两者共享参数，从而在多个任务上取得了优异表现。

Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli

基于任务的指令调制多模态大语言模型探测：在自然主义刺激下的区域特定大脑对齐模式

Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

机构 * Technische Universität Berlin（柏林技术大学） ； Rice University（Rice 大学） ； AWS AI Labs, Amazon（Amazon 人工智能实验室） ； IIT Delhi（德里理工学院） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； Spector Inc（Spector 公司） ； IIIT-Hyderabad（海得拉巴理工学院） ； Microsoft（微软） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式，通过比较不同模型在视频和音频任务中的表现，揭示了指令调制对模型表示能力的影响。

Comments 57 pages, 39 figures

ProtoPathway: Biologically Structured Prototype-Pathway Fusion for Multimodal Cancer Survival Prediction

ProtoPathway: 为多模态癌症生存预测设计的生物结构化原型-路径融合

Amaya Gallagher-Syed, Costantino Pitzalis, Myles J. Lewis, Michael R. Barnes, Gregory Slabaugh

机构 * Queen Mary University of London（伦敦女王学院） ； Imperial College London（帝国理工学院伦敦分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ProtoPathway框架，通过统一全切片成像和转录组学，利用编码器生成生物基础的表示，以提升癌症生存预测的生物可解释性和计算效率。

Comments Currently under peer review

Multimodal LLMs under Pairwise Modalities

基于成对模态的多模态大语言模型

Yan Li, Yunlong Deng, Yuewen Sun, Gongxu Luo, Kun Zhang, Guangyi Chen

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于成对模态训练多模态大语言模型的方法，通过理论分析和表示学习框架，实现了跨模态对齐和重构，提升了模型的跨模态性能。

SAVER: Selective As-Needed Vision Evidence for Multimodal Information Extraction

SAVER：选择性所需视觉证据用于多模态信息提取

Miaobo Hu, Shuhao Hu, Bokun Wang, Rui Chen, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出SAVER框架，通过选择性视觉证据提升多模态命名实体识别和关系抽取的性能，减少计算开销并提高准确性。

Latent Space Guided Scenario Sampling for Multimodal Segmentation Under Missing Modalities

基于潜在空间引导的多模态分割中缺失模态的场景采样

Irem Ulku, Ö. Özgür Tanrıöver, Erdem Akagündüz

机构 * organization= Department of Computer Engineering, Ankara University, Ankara, T \"u rkiye ； organization= Department of Modeling ； Simulation, Graduate School of Informatics, METU, Ankara, T \"u rkiye 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种新的训练策略，通过直接从预训练的潜在空间学习场景采样分布，以指导多模态分割在缺失模态下的微调，从而提高性能。

Comments 14 pages, 4 figures, 9 tables

Multimodal Emotion Recognition with Large Language Models

基于大语言模型的多模态情感识别

Hongrui Zhang, Daiqing Wu, Yangyang Li, Kuien Liu, Yuhui Wang, Yu Zhou, Sicheng Zhao

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文探讨了多模态情感识别中利用大语言模型的范式，总结了现有研究在情感数据增强、多模态情感表示和多模态情感推理三个方向上的进展与挑战，旨在为该领域的发展提供清晰的学术路线图。

Comments Accepted by IJCAI 2026 Survey Track

HDMoE: A Hierarchical Decoupling-Fusion Mixture-of-Experts Framework for Multimodal Cancer Survival Prediction

HDMoE：一种用于多模态癌症生存预测的分层解耦-融合专家混合框架

Huayi Wang, Haochao Ying, Yuyang Xu, Qiyao Zheng, jun wang, Cheng Zhang, Ying Sun, Jian Wu

机构 * Zhejiang University（浙江大学） ； Xinjiang University（新疆大学） ； Hangzhou City University（杭州市大学） ； Sun Yat-sen University Cancer Center（中山大学肿瘤中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出HDMoE框架，通过分层解耦-融合专家混合方法，有效整合多模态医学数据以提高癌症生存预测的准确性，解决了传统方法中特征解耦和融合效果不佳的问题。

Comments 12 pages, HDMoE has been accepted by KDD 2026 AI for Sciences Track

QwenSafe: Multimodal Content Rating Description Identification via Preference-Aligned VLMs

QwenSafe: 通过偏好对齐的视觉语言模型实现多模态内容评级描述识别

Dishanika Denipitiyage, Aruna Seneviratne, Suranga Seneviratne

机构 * University of Sydney（悉尼大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出QwenSafe，一种通过联合推理应用元数据和截图来自动识别苹果定义的内容评级描述（CRDs）的视觉语言模型，通过引入metadata2CRD数据构建管道和直接偏好优化（DPO）提升模型预测准确性，实验结果显示QwenSafe在二元CRD分类中显著优于现有模型。

PRA-PoE: Robust Multimodal Alzheimer's Diagnosis with Arbitrary Missing Modalities

PRA-PoE: 基于任意缺失模态的鲁棒多模态阿尔茨海默病诊断

Guangqian Yang, Ye Du, Wenlong Hou, Qian Niu, Shujun Wang

机构 * Department of Biomedical Engineering, The Hong Kong Polytechnic University, Hong Kong SAR, China（生物医学工程系，香港理工大学，香港特别行政区，中国） ； Department of Technology Management for Innovation, The University of Tokyo, Japan（创新技术管理系，东京大学，日本） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University, Hong Kong SAR, China（数据科学与人工智能系，香港理工大学，香港特别行政区，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出PRA-PoE框架，通过原型锚定表示对齐和不确定性感知专家融合机制，解决多模态学习中模态缺失导致的表示偏移问题，提升了在不同缺失模式下的诊断鲁棒性与准确性。

Comments Early accepted by MICCAI 2026

DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging

DiM\textsuperscript{3}: 通过方向和幅度感知融合连接多语言和多模态模型

Zijing Wang, Mingyang Wang, Ercong Nie, Yongkang Liu, Shi Feng, Mengjie Zhao, Daling Wang, Xiaocui Yang, Hinrich Schütze

机构 * Northeastern University, China（东北大学，中国） ； CIS, LMU Munich, Germany（慕尼黑莱布尼茨大学计算机学院，德国） ； Munich Center for Machine Learning (MCML), Germany（慕尼黑机器学习中心（MCML），德国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究提出DiM3方法，通过在共享语言模型骨干中融合残差更新，实现多语言和多模态能力的无缝整合，从而提升多语言性能并保持多模态能力。

LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

LLM预训练塑造了可泛化的流形：跨模态迁移至时间序列的洞察

Alexis Roger, Prateek Humane, Zhenghan Tai, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； University of Toronto（多伦多大学） ； Concordia University（康科迪亚大学） ； com（42.com） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.AI

AI总结 研究探讨了语言预训练的Transformer能否成为有效的时序预测器，并揭示了跨模态迁移的机制，指出预训练构建了流形，微调则将数值动态投影到任务相关方向。

Modular Multimodal Classification Without Fine-Tuning: A Simple Compositional Approach

无需微调的模块化多模态分类：一种简单的组合方法

Herman Bergström, Aditya Mehrotra, Rahul G. Krishnan

机构 * Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学） ； Vector Institute（向量研究所） ； University of Toronto（多伦多大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出CoMET，一种无需微调的多模态分类方法，通过冻结预训练的backbone对每个模态进行处理，使用PCA压缩嵌入并输入到表格基础模型中进行预测，展示了PCA作为适配器在不同模态上的强大鲁棒性能，并提出了PALPooling来提升表示质量，实现了无需训练的多模态学习最佳结果。

Comments 30 pages, 17 figures