多模态大模型

Benchmark Shadows: Data Alignment, Parameter Footprints, and Generalization in Large Language Models

基准阴影：大型语言模型中的数据对齐、参数足迹与泛化

Hongjian Zou, Yidan Wang, Qi Ding, Yixuan Liao, Xiaoxin Chen

机构 * Vivo AI Lab, Shenzhen, China（维沃人工智能实验室，深圳，中国） ； Hong Kong University of Science and Technology, Hong Kong, China（香港科技大学，香港，中国） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文研究了大型语言模型中基准表现与广度能力之间的差异，通过数据干预发现数据分布影响参数适应与泛化能力，提出参数空间诊断方法揭示不同训练模式的结构特征。

Comments 28 pages, 26 figures, 8 tables

Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models

明智行动：在代理多模态模型中培养元认知工具使用

Shilin Yan, Jintao Tong, Hongwei Xue, Xiaojun Tang, Yangyang Wang, Kunyu Shi, Guannan Zhang, Ruixuan Li, Yixiong Zou

机构 * Accio Team, Alibaba Group（阿里巴巴集团 Accio 团队） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HDPO框架，通过解耦优化通道提升代理多模态模型的元认知工具使用能力，减少工具调用并提升推理准确性。

Comments Project Page: https://Accio-Lab.github.io/Metis

How Far Are Large Multimodal Models from Human-Level Spatial Action? A Benchmark for Goal-Oriented Embodied Navigation in Urban Airspace

大型多模态模型距离人类水平的空间行动还有多远？一个面向城市空域目标导向的具身导航基准测试

Baining Zhao, Ziyou Wang, Jianjie Fang, Zile Zhou, Yanggang Xu, Yatai Ji, Jiacheng Xu, Qian Zhang, Weichen Zhang, Chen Gao, Xinlei Chen

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Northeastern University（东北大学） ； National University of Defense Technology（国防科技大学） ； Shandong University（山东大学） ； BNRist, Tsinghua University（清华大学北京信息科学与技术国家研究中心） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文通过构建包含5037个高质量目标导向导航样本的数据集，评估17种代表性模型在城市3D空间中具身空间行动的能力，发现尽管LMMs展现出新兴行动能力，但仍远未达到人类水平，并揭示导航误差在关键决策分歧后迅速发散的现象。

M-ArtAgent: Evidence-Based Multimodal Agent for Implicit Art Influence Discovery

M-ArtAgent：基于证据的多模态代理用于隐式艺术影响发现

Hanyi Liu, Zhonghao Jiu, Minghao Wang, Yuhang Xie, Heran Yang

机构 * China Electronics Technology Group Co., Ltd.（中国电子科技集团有限公司） ； School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院） ； Department of Chemical and Biological Engineering, Hong Kong University of Science and Technology（香港科技大学化学与生物工程系） ； University of California San Diego（加州大学圣迭戈分校） ； Northeastern University（东北大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出M-ArtAgent，通过概率裁决框架解决隐式艺术影响发现问题，结合多模态感知与领域约束的反驳机制，实现83.7%的F1分数和0.910的ROC-AUC。

Comments 13 pages, 5 figures, submitted to IEEE Access

MolmoWeb: Open Visual Web Agent and Open Data for the Open Web

MolmoWeb：开放视觉网络代理和开放数据用于开放网络

Tanmay Gupta, Piper Wolters, Zixian Ma, Peter Sushko, Rock Yuren Pang, Diego Llanes, Yue Yang, Taira Anderson, Boyuan Zheng, Zhongzheng Ren, Harsh Trivedi, Taylor Blanton, Caleb Ouellette, Winson Han, Ali Farhadi, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MolmoWeb，一个开放的多模态网络代理，通过公开的浏览器任务演示和网页GUI感知数据，实现状态-of-the-art的网络代理性能，促进开放研究。

Comments https://allenai.org/blog/molmoweb

HiRO-Nav: Hybrid ReasOning Enables Efficient Embodied Navigation

HiRO-Nav：混合推理实现高效具身导航

He Zhao, Yijun Yang, Zichuan Lin, Deheng Ye, Chunyan Miao

机构 * Nanyang Technological University（南洋理工大学） ； Tencent（腾讯） ； Independent Researcher（独立研究员） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 HiRO-Nav通过混合推理策略，在导航任务中根据动作熵动态决定是否进行推理，提升决策质量并降低计算开销。

Automotive Engineering-Centric Agentic AI Workflow Framework

以汽车工程为中心的代理式人工智能工作流框架

Tong Duy Son, Zhihao Liu, Piero Brigida, Yerlan Akhmetov, Gurudevan Devarajan, Kai Liu, Ajinkya Bhave

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出Agentic Engineering Intelligence (AEI)框架，通过建模工程工作流为约束性序列决策过程，将设计优化、模拟诊断等任务整合为统一流程，展示如何在汽车工程中实现多样化工作流的统一表达。

RoboAgent: Chaining Basic Capabilities for Embodied Task Planning

RoboAgent: 通过基本能力串联实现具身任务规划

Peiran Xu, Jiaqi Zheng, Yadong Mu

机构 * Peking University（北京大学） ； XYZ Embodied AI（XYZ具身智能） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出RoboAgent，通过串联基本能力实现具身任务规划，利用单个VLM构建能力驱动的规划框架，结合多阶段训练方法提升规划效果。

Comments CVPR 2026

The Workload-Router-Pool Architecture for LLM Inference Optimization: A Vision Paper from the vLLM Semantic Router Project

面向LLM推理优化的负载-路由-池架构：来自vLLM语义路由项目的愿景论文

Huamin Chen, Xunzhuo Liu, Bowei He, Fuyuan Lyu, Yankai Chen, Xue Liu, Yuhan Liu, Junchen Jiang

机构 * McGill University（麦吉尔大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出Workload-Router-Pool架构，通过负载、路由、池三个维度优化LLM推理，结合路由策略与负载特征，解决多任务、多模态、多代理场景下的推理效率与安全性问题。

Comments Vision Paper

Lost in the Hype: Revealing and Dissecting the Performance Degradation of Medical Multimodal Large Language Models in Image Classification

迷失在喧嚣中：揭示并剖析医学多模态大语言模型在图像分类中的性能退化

Xun Zhu, Fanbin Mo, Xi Chen, Kaili Zheng, Shaoshuai Yang, Yiming Shi, Jian Gao, Miao Li, Ji Wu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了医学多模态大语言模型在图像分类中的性能退化问题，通过实验和特征探查揭示了四个失败模式，并提出了量化评分用于评估特征演变的健康状况。

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

HAWK：多模态模型中的头部重要性感知视觉标记修剪

Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies, Inc（长鑫存储技术有限公司） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 HAWK通过识别不同注意力头在视觉任务中的重要性，有效保留关键视觉标记，提升多模态模型的推理效率与性能。

Comments CVPR 2026

GALA: Multimodal Graph Alignment for Bug Localization in Automated Program Repair

GALA: 多模态图对齐用于自动化程序修复中的缺陷定位

Zhuoyao Liu, Zhengran Zeng, Shu-Dong Huang, Yang Liu, Shikun Zhang, Wei Ye

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 GALA通过多模态图对齐方法，解决GUI截图场景下自动化程序修复的缺陷定位问题，通过结构化推理提升视觉与代码的映射精度。

Comments Code available at: https://github.com/lzyyyyy666/GALA

Multimodal Latent Reasoning via Predictive Embeddings

通过预测嵌入进行多模态潜在推理

Ashutosh Adhikari, Mirella Lapata

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出Pearl框架，通过学习专家工具使用轨迹在潜在空间中进行多模态推理，无需显式调用工具，优于传统重建方法。

Towards Rapid Constitutive Model Discovery from Multi-Modal Data: Physics Augmented Finite Element Model Updating (paFEMU)

面向多模态数据的快速本构模型发现：物理增强有限元模型更新（paFEMU）

Jingye Tan, Govinda Anantha Padmanabha, Steven J. Yang, Nikolaos Bouklas

机构 * University of Southern California（南加州大学） ； Cornell University（康奈尔大学） ； Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院） ； Pasteur Labs 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出paFEMU方法，结合AI本构建模、稀疏化可解释模型发现和基于有限元的伴随优化，利用多模态数据实现快速本构模型发现。

Foundation Models Defining A New Era In Sensor-based Human Activity Recognition: A Survey And Outlook

基于传感器的人类活动识别的基石模型：一种综述与展望

Sizhen Bian, Mengxi Liu, Lala Shakti Swarup Ray, Bo Zhou, Bin Guo, Zhiwen Yu, Thomas Ploetz, Paul Lukowicz, Siyu Yuan, Vitor Fortes Rey

专题命中 多模态训练与对齐 ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 本文综述了基于传感器的人类活动识别中的基石模型，分析了九种技术轴上的设计模式与权衡，并探讨了数据整理、多模态对齐、个性化、隐私和负责任部署等开放挑战。

Enabling Intrinsic Reasoning over Dense Geospatial Embeddings with DFR-Gemma

通过DFR-Gemma实现对密集地理嵌入的内在推理

Xuechen Zhang, Aviv Slobodkin, Joydeep Paul, Mandar Sharma, Samet Oymak, Shravya Shetty, Gautam Prasad

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 DFR-Gemma通过轻量投影器将高维嵌入与LLM潜在空间对齐，使LLM能直接处理地理嵌入进行空间推理，提升效率和准确性。

DinoRADE: Full Spectral Radar-Camera Fusion with Vision Foundation Model Features for Multi-class Object Detection in Adverse Weather

DinoRADE：基于视觉基础模型特征的全谱雷达-摄像头融合用于恶劣天气下的多类目标检测

Christof Leitgeb, Thomas Puchleitner, Max Peter Ronecker, Daniel Watzenig

机构 * Infineon Technologies AG, Austria（英飞凌科技公司，奥地利） ； Graz University of Technology, Austria（格拉茨技术大学，奥地利） ； Virtual Vehicle Research GmbH, Austria（虚拟车辆研究有限公司，奥地利） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出DinoRADE，通过雷达-摄像头融合和视觉基础模型特征提升恶劣天气下的多类目标检测性能，首次在K-Radar数据集上评估并超越现有方法12.1%。

Comments Accepted to IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026

GroupGPT: A Token-efficient and Privacy-preserving Agentic Framework for Multi-User Chat Assistant

GroupGPT: 一种高效且隐私保护的多用户聊天助手代理框架

Zhuokang Shen, Yifan Wang, Hanyu Chen, Yunhang Shen, Wenxuan Huang, Gaoqi He, Jiao Xie, Rongrong Ji, Shaohui Lin

机构 * East China Normal University（华东师范大学） ； University of Nottingham Ningbo（宁波诺丁汉大学） ； Xiamen University（厦门大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 GroupGPT通过边缘-云协作架构实现高效决策，支持多模态输入，减少token使用并保护隐私，通过MUIR基准测试验证其准确性和用户接受度。

Comments 14 pages, 8 figures

Coupled generator decomposition for fusion of electro- and magnetoencephalography data

耦合生成器分解用于脑电与磁脑图数据融合

Anders Stevnhoved Olsen, Jesper Duemose Nielsen, Morten Mørup

机构 * Department of Applied Mathematics and Computer Science, Technical University of Denmark（丹麦技术大学应用数学与计算机科学系） ； Danish Research Centre for Magnetic Resonance, Centre for Functional and Diagnostic Imaging and Research, Copenhagen University Hospital Amager and Hvidovre（丹麦磁共振研究中心，功能与诊断影像及研究中心，哥本哈根大学医院阿迈厄和海维德夫） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出耦合生成器分解方法，用于融合脑电和磁脑图数据，通过稀疏主成分分析扩展，识别共同特征并处理模态和个体差异。

Journal ref EUSIPCO2024

CompoDistill: Attention Distillation for Compositional Reasoning in Multimodal LLMs

CompoDistill：多模态大语言模型中基于注意力的知识蒸馏用于组合推理

Jiwan Kim, Kibum Kim, Sangwoo Seo, Chanyoung Park

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CompoDistill，通过显式对齐学生与教师模型的视觉注意力，提升多模态大语言模型的组合推理能力，同时保持视觉问答任务的性能。

Comments ICLR'26, Project Page : https://ptkjw1997.github.io/CompoDistill-page/

MultiModalPFN: Extending Prior-Data Fitted Networks for Multimodal Tabular Learning

多模态PFN：扩展先验数据拟合网络以进行多模态表格学习

Wall Kim, Chaeyoung Song, Hanul Kim

机构 * Samsung Electronics（三星电子） ； Seoul National University of Science and Technology（首尔科学技术大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 本文提出MMPFN，通过引入多头门控MLP和跨注意力池化器，扩展TabPFN以处理表格和非表格模态，实验证明其在医疗和通用多模态数据集上优于现有方法。

Comments Accepted to CVPR 2026

Faithful GRPO: Improving Visual Spatial Reasoning in Multimodal Language Models via Constrained Policy Optimization

可信的GRPO：通过约束策略优化提升多模态语言模型的视觉空间推理

Sai Srinivas Kancheti, Aditya Kanade, Rohit Sinha, Vineeth N Balasubramanian, Tanuja Ganu

机构 * IIT Hyderabad（印度理工学院海得拉巴分校） ； Microsoft Research（微软研究院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Faithful GRPO，通过约束策略优化提升多模态模型的空间推理质量，减少推理不一致率并提升视觉 grounding 评分。

Seeing with You: Perception-Reasoning Coevolution for Multimodal Reasoning

与你共见：多模态推理中的感知-推理共进化

Ziqi Miao, Haonan Jia, Lijun Li, Chen Qian, Yuan Xiong, Wenting Yan, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Zhejiang University（浙江大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出PRCO框架，通过分离的奖励信号提升多模态推理的感知与推理能力，在八个基准测试中平均提升7个百分点。

Comments 21 pages, 15 figures, 6 tables

Tractable Uncertainty-Aware Meta-Learning

可 tractable 的不确定性意识元学习

Young-Jin Park, Cesar Almecija, Apoorva Sharma, Navid Azizan

机构 * MIT（麻省理工学院） ； NVIDIA（英伟达） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出 LUMA，一种用于回归的元学习方法，能够高效地进行分布内任务的概率预测，检测分布外上下文数据，并有效处理异质多模态任务分布。

Exploring MLLMs Perception of Network Visualization Principles

探索 MLLMs 对网络可视化原则的感知

Jacob Miller, Markus Wallinger, Ludwig Felder, Timo Brand, Henry Förster, Johannes Zink, Chunyang Chen, Stephen Kobourov

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究测试多模态大语言模型是否能在网络布局属性感知任务中匹配人类表现，发现MLLMs在同等条件下表现优于非专家，且提示工程可提升性能，表明其可能依赖视觉代理而非计算实际值。