多模态大模型

VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

VFEM: 视觉特征赋能的多变量时间序列预测与跨模态融合

Yanlong Wang, Hang Yu, Jian Xu, Fei Ma, Hongkang Zhang, Tongtong Feng, Zijian Zhang, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Pengcheng Laboratory（鹏城实验室） ； Ant Group（蚂蚁集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VFEM模型，利用预训练大视觉模型通过跨模态注意力融合视觉与时间特征，仅训练7.45%参数即可捕捉跨变量依赖，提升多变量时间序列预测性能。

Explicit Representation Alignment for Multimodal Sentiment Analysis

显式表示对齐用于多模态情感分析

Baode Wang, Ziming Wang, Huacan Wang, Ronghao Chen, Biao Wu

机构 * AgentAlpha 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对多模态情感分析中表示不对齐问题，提出利用视觉-语言模型将视觉内容转为文本描述，结合语义标记选择和批量级均匀性正则化，实现跨模态对齐，在多个基准上取得最优性能。

Comments 10 pages, 5 figures

CAMF-Det: Closure-Aware Multimodal Fusion for LiDAR-Camera 3D Object Detection on UAV Platforms

CAMF-Det: 面向无人机平台的激光雷达-相机闭合感知多模态融合3D目标检测

Yanze Jiang, Yanfeng Gu, Xian Li

机构 * School of Electronics and Information Engineering, Harbin Institute of Technology（哈尔滨工业大学电子与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对无人机俯视场景中树冠遮挡导致的多模态信息退化问题，提出基于比尔-朗伯定律的闭合感知融合框架CAMF-Det，通过显式建模双模态遮挡强度并注入检测流程，在自建数据集上实现困难级别mAP_BEV提升9.43%和4.88%。

Stabilizing On-Policy Distillation for MLLM Reasoning with Global Normalization

稳定基于策略的蒸馏用于多模态大语言模型推理的全局归一化

Dongze Hao, Zhiwei Jin, Chen Chen, Haonan Lu

机构 * OPPO AI Center（OPPO AI中心） 纠错

专题命中 多模态训练与对齐 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对策略蒸馏中异常状态导致梯度不稳定的问题，提出全局归一化蒸馏策略优化（GNDPO），通过将KL分数转化为批次级相对优势来稳定优化，提升多模态推理任务的训练鲁棒性和性能。

Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs

少看多思：面向高效多模态大语言模型的块级注意力跳过

Jie Ma, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University（厦门大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态大语言模型视觉注意力饱和问题，提出训练无关的Visual-Skip方法，通过选择性跳过冗余的视觉自注意力模块实现块级稀疏性，并利用轻量级校准动态选择最优稀疏路径，在保持性能的同时显著降低计算成本。

Single-Cell Cross-Modal Transfer by Adversarial Fine-Tuning of Foundation Models

通过基础模型的对抗微调实现单细胞跨模态迁移

Joseph Boyd, Matthew Lyon, Martino Mansoldo, Christian Hurry, Finnian Firth

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.AI

AI总结 提出利用单细胞基础模型进行对抗微调，实现未配对空间转录组与单细胞RNA测序数据的跨模态翻译，性能优于多组学翻译方法。

COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

COMPASS：通过代理令牌和共享空间实现完整的多模态融合以实现无处不在的感知

Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

机构 * Universität Bern（伯恩大学） ； Xi’an Jiaotong University（西安交通大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 COMPASS通过代理令牌和共享空间实现多模态融合，解决缺失模态导致的信息丢失和融合接口不匹配问题，提升多模态感知的鲁棒性。

FusionVul: A Multimodal Feature Fusion Framework for Source Code Vulnerability Detection

FusionVul：一种用于源代码漏洞检测的多模态特征融合框架

Hongyu Yang, Yaping Zhu, Jingchuan Luo, Hiroshi Nomaguchi, Chunhua Su, Willy Susilo

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)

AI总结 提出FusionVul框架，融合Transformer和GNN分别提取序列语法与结构语义，通过交叉注意力融合网络和样本感知加权机制，在SVulD等数据集上取得更优F1分数，有效捕获复杂多样的漏洞模式。

Comments Accepted by The Journal of Systems and Software

SODA-CitrON: Static Object Data Association by Clustering Multi-Modal Sensor Detections Online

SODA-CitrON：通过在线聚类多模态传感器检测实现静态物体数据关联

Jan Nausner, Kilian Wohlleben, Michael Hubner

机构 * Jan Nausner, Kilian Wohlleben, Michael Hubner 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出SODA-CitrON方法，通过在线聚类多模态传感器检测实现静态物体的数据关联，同时估计位置并维持持久跟踪，优于现有方法在F1分数、位置RMSE、MOTP和MOTA指标上。

Comments 8 pages, 5 figures; \c{opyright} 2026 IEEE. Accepted for the 2026 International Conference on Information Fusion (FUSION 2026)

A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers

视觉Transformer对抗微调的机制分析

Hannah Gao, Isha Agarwal, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 通过机制分析研究对抗微调对视觉Transformer在扰动和常规图像上性能的影响，发现微调仅改善特定类型扰动，未改变稀疏表示。

Next-Token Prediction Learns Generalisable Representations of Sleep Physiology

下一个词预测学习睡眠生理学的可泛化表示

Jonathan F. Carter, Lionel Tarassenko

机构 * Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出Hypnos模型，通过下一个词预测目标，从多模态生理信号中学习可泛化表示，在睡眠阶段分类和房颤检测等任务上显著优于现有基础模型。

Optical Reasoning: Rethinking Images as an Expressive Reasoning Medium Beyond Text

光学推理：重新思考图像作为超越文本的表达性推理媒介

Yutong Bian, Dongjie Cheng, Heming Xia, Yongqi Li, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出光学推理概念，将图像作为独立推理媒介，通过排版和图形两种变体实现，在语言和多模态任务中匹配或超越文本推理，同时减少推理令牌。

Personalization Meets Safety:Mechanisms,Risks,and Mitigations in Personalized LLMs

个性化与安全的交汇：个性化大语言模型中的机制、风险与缓解措施

Yanyan Luo, Xue Han, Ruiqiao Bai, Xin Huang, Yitong Wang, Qian Hu, Qing Wang, Chunxu Zhao, Jie Liu, Cong Geng, Lehao Xing, Pengwei Hu, Junlan Feng

机构 * China Mobile Jiutian Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动九天人工智能技术（北京）有限公司） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文首次对个性化大语言模型进行安全导向的综述，从用户表征、个性化范式和评估三个维度组织，提出统一的安全风险分类，并分析各范式下的脆弱性及缓解策略。

PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping

PRPO: 通过令牌级动态优势重塑的感知强化策略优化

Qiming Li, Tianlun Li, Xiaolong Cheng, Hangyu Li, Ruiyan Gong, Kangning Niu, Kaitao Jiang, Mu Xu

机构 * Amap CV Lab, Alibaba Group（阿里巴巴集团高德地图计算机视觉实验室） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出令牌级强化学习框架PRPO，通过鲁棒视觉依赖（RVD）指标识别关键感知令牌，并利用感知优势重塑（PAR）技术增强其学习信号，在7个多模态推理基准上平均提升23.3%（3B模型）和21.1%（7B模型）。

SSAFE: Simple and Strong AI-Generated Image Detection via Frozen Vision Encoders

SSAFE: 通过冻结视觉编码器实现简单而强大的AI生成图像检测

Seunghyun Lee, Byoungkwon Kim, Jaehyun Nam, Kyungmin Lee, Jinwoo Shin

机构 * KAIST（韩国科学技术院） ； Google Cloud AI（谷歌云AI） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文发现冻结的多模态视觉编码器在嵌入空间中自然分离真实与合成图像，通过线性分类器即可实现强检测性能，并提出一种表示感知的数据策展策略，仅用10K图像训练，在多个基准上表现优异。

Comments Preprint. 22 pages, 10 figures, supplementary material included

Reinforcement Learning for Flow-Matching Policies with Density Transport

基于密度传输的流匹配策略强化学习

Boshu Lei, Kostas Daniilidis, Antonio Loquercio

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出在线强化学习算法RLDT，利用Stein变分梯度下降构建传输场，微调预训练流匹配策略，通过期望目标估计稳定训练，在连续控制任务中优于基线方法。

ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction

ReVision：通过时间视觉冗余减少扩展计算机使用代理

Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Microsoft Research（微软研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 ReVision通过去除冗余视觉片段，减少token使用并提升成功率，使代理能处理更长轨迹。

Causal Transfer in Medical Image Analysis

医学图像分析中的因果迁移

Mohammed M. Abdelsamea, Daniel Tweneboah Anyimadu, Tasneem Selim, Saif Alzubi, Lei Zhang, Ahmed Karam Eldaly, Xujiong Ye

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文探讨了医学图像分析中因果迁移方法，整合因果推理与跨域表示学习，以解决领域偏移问题，提升临床AI的鲁棒性和泛化能力。

Uncertainty-Aware Hierarchical Re-Localization in OpenStreetMap via Semantic Alignment

基于语义对齐的OpenStreetMap中不确定性感知分层重定位

Yuchen Zou, Xiao Hu, Lihuang Fang, Yuqing Tang

机构 * International Digital Economy Academy（国际数字经济学院） ； School of Automation Science and Engineering, Xi’an Jiaotong University（西安交通大学自动化科学与工程学院） ； Department of Electronic and Electrical Engineering, Southern University of Science and Technology（南方科技大学电子与电气工程系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出不确定性感知分层搜索框架，利用目标级DINO-ViT令牌减少跨模态差异，通过粗FFT相关和不确定性控制的局部细化实现高效定位，在精度和速度上显著优于现有方法。

Comments 7 pages, 4 figures

MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science

MatSciBench: 基准测试大型语言模型在材料科学中的推理能力

Junkai Zhang, Jingru Gan, Xiaoxuan Wang, Zian Jia, Changquan Gu, Jianpeng Chen, Yanqiao Zhu, Mingyu Derek Ma, Dawei Zhou, Ling Li, Wei Wang

机构 * University of California, Los Angeles Computer Science Department（加州大学洛杉矶分校计算机科学系） ； University of Pennsylvania Department of Materials Science and Engineering（宾夕法尼亚大学材料科学与工程系） ； Virginia Tech Department of Computer Science（弗吉尼亚理工大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MatSciBench基准，包含1340道大学级材料科学问题，覆盖6个主领域和31个子领域，评估LLM推理能力，发现当前模型在领域知识、计算和图表理解方面存在局限。

From Shortcuts to Reasoning: Robust Post-Training of Theory of Mind with Reinforcement Learning

从捷径到推理：基于强化学习的心理理论鲁棒后训练

Jike Zhong, Yuxiang Lai, Ming Li, Yuheng Li, Wuao Liu, Behzad Dariush, Konstantinos Psounis, Shao-Yuan Lo

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对心理理论后训练中的捷径问题，提出Thinking-RFT方法，结合可验证奖励和显式推理链，在多个无捷径数据集上显著提升推理能力，尤其在复杂高阶推理和多模态场景中表现优异。

Comments Accepted by ICML 2026

How Well Do Latent World Models Understand Partially Observable Safety Constraints?

潜在世界模型如何理解部分可观测的安全约束？

Matthew Kim, Kensuke Nakamura, Andrea Bajcsy

机构 * UC San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 研究潜在世界模型在部分可观测安全约束下的故障模式，提出互信息度量和滚动预测度量来诊断估计间隙和预测间隙，并通过多模态监督和共形风险校准缓解问题，提高机器人操作安全性。

Comments 10 tables 5 figures

TVI-CoT: Text-Visual Interleaved Chain-of-Thought Reasoning for Multimodal Understanding

TVI-CoT: 面向多模态理解的文本-视觉交错思维链推理

Lianyu Hu, Xiaoyu Ma, Zeqin Liao, Yang Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 提出TVI-CoT框架，通过可学习控制令牌实现文本推理与视觉特征访问的动态交错，解决多模态LLM在推理过程中无法访问视觉特征的问题，在多个基准上取得最优结果。

Comments ICML2026

PRISM: Topology-Aware Cross-Modal Imputation for Modality-Deficient Federated Graph Learning

PRISM: 面向模态缺失联邦图学习的拓扑感知跨模态插补

Zekai Chen, Miao Zhang, Jiayang Xing, Xunkai Li, Xun Wu, Rong-Hua Li, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 其他多模态 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 针对联邦图学习中客户端级模态缺失问题，提出拓扑感知跨模态插补框架PRISM，通过联邦检索缺失模态语义并利用拓扑控制注入局部图传播，在六个多模态图数据集上平均提升4.48%。

Improving Multimodal Reasoning via Worst Dimension Optimization

通过最差维度优化改进多模态推理

Haocheng Lv, Huaping Zhang, Qiuchi Li, Lei Li, Chunxiao Gao

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出最差维度优化方法，通过识别并优先优化推理路径中最差的约束维度，提升多模态推理的整体有效性。

Multimodal Large Language Models for Real-Time Situated Reasoning

多模态大语言模型用于实时情境推理

Giulio Antonio Abbo, Senne Lenaerts, Tony Belpaeme

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文探讨多模态大语言模型如何支持实时情境和价值感知决策，结合GPT-4o与模拟智能扫地机器人平台，展示其在家庭活动、社会规范和用户偏好推理中的能力，以及在清洁、舒适和安全等价值上的细致决策。

Comments Submitted to the interactivity track of the 21st ACM/IEEE International Conference on Human-Robot Interaction on December 2025, accepted January 2026

Journal ref HRI Companion 2026: Companion Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction

Efficient Scaling of LLM Training with Flexible Context Parallelism

利用灵活上下文并行实现LLM训练的高效扩展

Yifan Niu, Han Xiao, Dongyi Liu, Wei Zhou, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 其他多模态 ：MLLM(abstract,abstract_cn)

AI总结 针对数据异构导致负载不均和通信冗余问题，提出自适应重配置通信组和上下文并行度的FCP策略，实现近线性加速比，最高达1.46倍吞吐提升。

FMplex: Model Virtualization for Serving Extensible Foundation Models

FMplex: 用于服务可扩展基础模型的模型虚拟化

Hetvi Shastri, Pragya Sharma, Walid A. Hanafy, David Irwin, Mani Srivastava, Prashant Shenoy

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出FMplex系统，通过将基础模型作为虚拟化层实现多任务共享，结合批感知公平队列调度器，在7个基础模型和92个下游任务上降低延迟达80%，提升任务容量6倍。

GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

GraspFoM：基于3D基础先验的重建驱动机器人抓取

Dongli Wu, Xiaobao Wei, Hao Wang, Qiaochu Dong, Ying Li, Qingpo Wuwu, Ming Lu, Wufan Zhao

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出GraspFoM框架，利用3D基础先验（SAM3D）构建共享3D物体潜变量，联合优化重建与抓取姿态预测，通过锚点初始化的截断姿态推理扩散器生成连续多模态抓取，实现高保真重建与最优抓取。

How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs

深度高斯过程到底有多深？组合高斯过程的尖锐阈值与非高斯极限

Mark Kozdoba, Shie Mannor

机构 * Technion, IIT（以色列理工学院） ； NVIDIA（英伟达） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文研究了深度高斯过程先验在深度增长时的极限行为，识别出RBF核带宽的尖锐阈值，低于该阈值时先验收敛到非退化非高斯分布，具有非零坐标依赖。