多模态大模型

Learning Predictive Visuomotor Coordination

学习预测性视觉-运动协调

Wenqi Jia, Bolin Lai, Miao Liu, Danfei Xu, James M. Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Georgia Tech（佐治亚理工学院） ； Meta AI 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于预测的视觉-运动协调建模任务，通过结合第一人称视觉和运动学观测预测头部姿态、目光方向和上半身运动，展示了多模态整合在理解视觉-运动协调中的重要性。

Comments CVPR 2026 Findings

Scaling Laws for Behavioral Foundation Models over User Event Sequences

用户事件序列上行为基础模型的缩放定律

Rickard Brüel Gabrielsson

机构 * Unbox AI 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 研究行为基础模型在用户事件序列上的缩放定律，通过约600次实验发现小嵌入器参数最优，计算最优训练在低计算量时数据密集，且评估指标影响缩放定律。

Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads

多模态大语言模型中通过CoRe头的功能稀疏性机制洞察

Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang

机构 * Soochow University（苏州大学） ； Peking University（北京大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 通过识别和分析CoRe头，揭示多模态大语言模型在跨模态检索中功能稀疏的结构特性，并验证其必要性及加速推理的潜力。

BRepCLIP: Contrastive Multimodal Pretraining on BRep Primitives for CAD Understanding

BRepCLIP: 面向CAD理解的BRep基元对比多模态预训练

Muhammad Usama, Didier Stricker, Mohammad Sadil Khan, Muhammad Zeshan Afzal

机构 * DFKI, Germany（德意志联邦共和国DFKI） ； RPTU Kaiserslautern-Landau, Germany（德国凯撒斯劳滕-兰道大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出BRepCLIP框架，通过对比预训练对齐CAD边界表示（BRep）几何与语言/图像嵌入，显著提升检索和零样本分类性能。

The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?

性能提升的幻象：为何对比解码无法减轻多模态大语言模型中的对象幻觉？

Hao Yin, Guangzong Si, Zilei Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Eastern Institute of Technology, Ningbo（宁波东部技术研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文研究了对比解码方法在减轻多模态大语言模型（MLLMs）中对象幻觉方面的有效性，发现其性能提升主要源于两个误导性因素，挑战了对比解码策略的有效性。

FORTE: FOL-guided Optimal Refinement for Text-audio rEtrieval

FORTE: 基于一阶逻辑引导的文本-音频检索优化

Arghya Pal, Sailaja Rajanala

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.MM、eess.AS

AI总结 提出FORTE框架，通过一阶逻辑转换、约束搜索优化和谓词感知重排序，结合参数高效跨模态对齐，提升文本-音频检索的细粒度语义匹配精度。

Comments Under Review

LLM-Guided ANN Index Optimization for Human-Object Interaction Retrieval

LLM引导的ANN索引优化用于人-物交互检索

Shahrzad Esmat, Chaunte W. Lacewell, Sameh Gobriel, Nilesh Jain, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Intel Corporation（英特尔公司） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出一种基于大语言模型的阶段感知智能体，通过耦合参数空间的分阶段优化，在HICO-DET等基准上显著提升向量检索吞吐量。

Comments 13 pages, 5 figures, 8 tables

R^3: Composed Video Retrieval via Reasoning-Guided Recalling and Re-ranking

R^3: 基于推理引导的召回与重排序的组合视频检索

Zixu Li, Yupeng Hu, Zhiheng Fu, Zhiwei Chen, Weili Guan, Liqiang Nie

机构 * Shandong University（山东大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出R^3零样本组合视频检索流程，通过生成推理轨迹增强查询表示，并融合重排序验证候选视频，有效解决源视频与编辑指令组合检索的挑战。

Computational Modeling of Human Adaptation in Urban Infrastructure Management under Extreme Conditions: A Case Study of Subway Flood Scenarios

极端条件下城市基础设施管理中人类适应的计算建模：以地铁洪水情景为例

Jinfeng Lou, Zijie Liang, Pengkun Liu, Yuxin Zhang, Cleotilde Gonzalez, Pingbo Tang

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本研究通过将基于实例的学习理论（IBLT）整合到土木工程计算中，建立了一个模拟操作员决策过程的计算认知架构，揭示了人类适应中的非单调性和心理偏差，并通过地铁洪水情景的人机交互实验验证了模型的有效性。

ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation

ChartAttack: 测试大型语言模型在图表生成中对恶意提示的脆弱性

Jesus-German Ortiz-Barajas, Jonathan Tonglet, Vivek Gupta, Iryna Gurevych

机构 * INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT索菲亚大学"圣克莱门特·欧赫里迪斯基"） ； Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（无处不在知识处理实验室（UKP实验室）、计算机科学系、图腾达姆斯塔特大学和应用网络安全国家研究中心ATHENE） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CL

AI总结 本文提出ChartAttack框架，用于评估多模态大语言模型在生成误导性图表方面的能力，通过注入误导性元素来诱导错误解释，并引入AttackViz数据集来评估和改进模型的鲁棒性。

SalsaAgent: A multimodal embodied language model for interactive dance generation

SalsaAgent: 一种用于交互式舞蹈生成的多模态具身语言模型

Payam Jome Yazdian, Zoe Stanley, Angelica Lim

机构 * Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 提出SalsaAgent语言模型，通过非语言运动令牌传递和两阶段令牌到扩散管道，生成与人类领舞者及音乐背景交互的全身萨尔萨舞蹈动作。

Comments Project page: https://pjyazdian.github.io/Salsa-Agent

A Survey on Diffusion Language Models

扩散语言模型的综述

Tianyi Li, Mingda Chen, Bowei Guo, Zhiqiang Shen

机构 * VILA Lab, Mohamed bin Zayed University of Artificial Intelligence（维拉实验室，穆罕默德·本·扎耶德人工智能大学） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了扩散语言模型的发展现状，探讨了其与自回归模型和掩码语言模型的关系，分析了预训练策略、后训练方法以及推理优化技术，并讨论了多模态扩展、应用场景、局限性及未来研究方向。

Assessing the Geographic Diversity of AI's Platial Representations in Image Generation

评估图像生成中AI地点表征的地理多样性

Zilong Liu, Krzysztof Janowicz, Mina Karimi

机构 * Department of Geography and Regional Research, University of Vienna, Austria（维也纳大学地理与区域研究系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文以GPT和DALL-E模型为例，引入生态学中的物种多样性度量方法，通过相似性加权评估图像生成的地理多样性，发现旧模型可能更具多样性且提示修订比图像生成更促进多样性，同时观察到模型同质性导致缺乏地理多样性。

Comments Full conference paper accepted by the AGILE 2026 (https://agile-gi.eu/conference-2026)

Equivariant Neural Belief Propagation

等变神经信念传播

Zehua Cheng, Wei Dai, Jiahao Sun

机构 * Department of Computer Science, University of Oxford（计算机科学系，牛津大学） ； FLock.io 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出等变神经信念传播（ENBP），通过等变高斯混合消息和秩2精度矩阵合成，实现SE(3)对称性下的高效概率推理，在分子构象和机器人推理任务中显著超越基线。

Comments 18 pages

L-SDPPO: Policy Optimization of Spiking Diffusion Policy for Intra-vehicular Robotic Manipulation

L-SDPPO：用于舱内机器人操作的脉冲扩散策略优化

Liwen Zhang, Dong Zhou, Guanghui Sun, Yifei Zheng, Yuhui Hu, Kaihong Ouyang, Zuoquan Zhao

机构 * Department of Control Science and Engineering, Harbin Institute of Technology（控制科学与工程系，哈尔滨工业大学） ； Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（机械与自动化工程系，香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出L-SDPPO框架，结合脉冲扩散策略与强化学习优化，并引入状态依赖延迟注入机制，在舱内机器人操作任务中实现高成功率和低能耗。

Coreset-Induced Conditional Velocity Flow Matching

由Coreset诱导的条件速度流匹配

Xiao Wang, Zihua She, Jianxi Su

机构 * Department of Statistics, Purdue University（普渡大学统计学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出了一种生成模型CCVFM，通过数据驱动的源分布增强层次化修正流，利用Coreset压缩目标数据并生成高斯混合分布，从而在无需学习神经采样器的情况下实现条件速度律的闭式表达，并通过轻量级修正流进一步优化生成效果。

DisasterBench: A Multimodal Benchmark for UAV-Based Disaster Response in Complex Environments

DisasterBench: 复杂环境中基于无人机灾害响应的多模态基准

Tan Zhang, Quanyou Li, Lu Zhang, Jun Liu, Xiaofeng Zhu, Ping Hu

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出DisasterBench多模态基准，涵盖14种灾害场景和9个响应任务，并设计轻量级模型DisasterVL通过三阶段优化在边缘设备上实现高效推理。

Almieyar-Oryx-BloomBench: A Bilingual Multimodal Benchmark for Cognitively Informed Evaluation of Vision-Language Models

Almieyar-Oryx-BloomBench：一个用于视觉语言模型认知知情评估的双语多模态基准

Mohammad Mahdi Abootorabi, Omid Ghahroodi, Anas Madkoor, Marzia Nouri, Doratossadat Dastgheib, Mohamed Hefeeda, Ehsaneddin Asgari

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Zuse School（Zuse学校） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对现有基准无法诊断视觉语言模型真实推理能力的问题，提出基于Bloom认知分类学的双语多模态基准BloomBench，系统评估六个认知层次，揭示模型在事实回忆和创造性合成方面的深层局限。

Comments Accepted to ACL 2026 Findings

MAviS: A Multimodal Conversational Assistant For Avian Species

MAviS：一种用于鸟类物种的多模态对话助手

Yevheniia Kryklyvets, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jinxing Zhou, Fahad Shabzan Khan, Rao Anwer, Salman Khan, Hisham Cholakkal

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MAviS数据集和MAviS-Chat模型，通过整合图像、音频和文本信息，提升对鸟类物种的细粒度理解与多模态问答能力，并展示了在生态应用中领域适应的多模态大语言模型的重要性。

Comments EMNLP 2025

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

评估多模态大语言模型中的随机坍缩与隐式偏差

Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

机构 * Fudan University（复旦大学） ； Beihang University（北航） ； JD.com（京东） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出RandomBench基准测试，通过熵和分布偏差指标揭示多模态大语言模型在逻辑中性场景下存在随机坍缩现象，即无法维持均匀随机性。

Global Cross-Modal Geo-Localization: A Million-Scale Dataset and a Physical Consistency Learning Framework

全球跨模态地理定位：一个百万级数据集和一个物理一致性学习框架

Yutong Hu, Jinhui Chen, Chaoqiang Xu, Yuan Kou, Sili Zhou, Shaocheng Yan, Pengcheng Shi, Qingwu Hu, Jiayuan Li

机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院） ； First Surveying and Mapping Institute of Hunan Province（湖南省第一测绘院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出CORE数据集和PLANET框架，用于解决全球跨模态地理定位问题，通过大规模数据和物理一致性学习提升定位的鲁棒性和全球适用性。

Do MLLMs Capture How Interfaces Guide User Behavior? A Benchmark for Multimodal UI/UX Design Understanding

多模态用户界面/用户体验设计理解的基准测试：MLLMs能否捕捉界面如何引导用户行为？

Jaehyun Jeon, Min Soo Kim, Jang Han Yoon, Sumin Shim, Yejin Choi, Hanbin Kim, Dae Hyun Kim, Youngjae Yu

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） ； NC AI 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出WiserUI-Bench基准测试，用于评估多模态UI/UX设计对用户行为的影响，通过300对真实世界UI图像对和专家解读，发现MLLMs在理解UI/UX设计行为影响方面存在局限。

Comments ACL 2026 Main. Our code and dataset: https://github.com/jeochris/wiserui-bench

DocHop-QA: Towards Multi-Hop Reasoning over Multimodal Document Collections

DocHop-QA: 向多跳推理多模态文档集合迈进

Jiwon Park, Seohyun Pyeon, Jinwoo Kim, Rina Carines Cabal, Zhenyuan He, Yihao Ding, Soyeon Caren Han

机构 * Pohang University of Science and Technology（釜山科学技术大学） ； The University of Sydney（悉尼大学） ； The University of Western Australia（西澳大学） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出DocHop-QA基准，通过多模态、多文档、多跳科学问答评估多模态证据综合能力，揭示当前模型在长上下文和多证据需求下的局限性。

Explainable Action Form Assessment by Exploiting Multimodal Chain-of-Thoughts Reasoning

通过利用多模态链式推理解释可解释的动作形式评估

Mengshi Qi, Yeteng Wu, Wulian Yun, Xianlin Zhang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 本文提出了一种新的动作形式评估任务，并引入了一个包含大量健身和武术视频的多级标注数据集CoT-AFA，通过引入新的链式思维解释方法，提出了可解释性健身评估框架，以提升动作分析能力。

Benchmark Everything Everywhere All at Once

无处不在的基准测试

Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue

机构 * MMLab, The Chinese University of Hong Kong（中大香港实验室） ； CPII under InnoHK（创新香港 CPII） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Shandong University（山东大学） ； Huawei Technologies（华为技术） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 提出Benchmark Agent，一个全自主智能体系统，自动化基准构建流程，以解决现有基准构建劳动密集、难以复用和性能饱和的问题。

Comments Project page: https://benchmarkagent.github.io/

OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents

OpenWebRL: 揭秘视觉网络代理的在线多轮强化学习

Rui Yang, Qianhui Wu, Yuxi Chen, Hao Bai, Wenlin Yao, Hao Cheng, Baolin Peng, Huan Zhang, Tong Zhang, Jianfeng Gao

机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出OpenWebRL框架，通过在线多轮强化学习在真实网站上训练视觉网络代理，以4B参数模型在基准测试中达到开源最优，并与闭源系统竞争。

Comments 36 pages, 11 figures

FUSAR-GPT : A Spatiotemporal Feature-Embedded and Two-Stage Decoupled Visual Language Model for SAR Imagery

FUSAR-GPT : 一种嵌入时空特征和两阶段解耦的视觉语言模型，用于合成孔径雷达图像

Xiaokun Zhang, Yi Yang, Ziqi Ye, Baiyun, Xiaorong Guo, Qingchen Fang, Ruyi Zhang, Xinpeng Zhou, Haipeng Wang

机构 * Fudan University（复旦大学） ； Discipline and Technology Center of Microwave Vision Intelligent Sensing, Fudan University（微波视觉智能感知学科与技术中心，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态评测 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FUSAR-GPT，一种专门针对合成孔径雷达图像的视觉语言模型，通过嵌入时空特征和两阶段解耦方法，在多个遥感视觉语言基准测试中实现了最先进的性能。

CLEAR: Cognition and Latent Evaluation for Adaptive Routing in End-to-End Autonomous Driving

CLEAR：端到端自动驾驶中的认知与潜在评估自适应路由

Yining Xing, Zehong Ke, Zhiyuan Liu, Yanbo Jiang, Wenhao Yu, Jianqiang Wang

机构 * Qwen 3.5 0.8B 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出CLEAR框架，通过单步条件漂移替代扩散模型的多步去噪，结合视觉编码器Drive-JEPA和微调Qwen 3.5 0.8B进行语义推理，实现高效多模态规划，在NAVSIM v1上达到93.7 PDMS。

PlanBench-V: A Spatial Planning Map Benchmark for Vision-Language Models

PlanBench-V: 面向视觉语言模型的空间规划地图基准

Minxin Chen, He Zhu, Junyou Su, Wen Wang, Yijie Deng, Wenjia Zhang

机构 * Behavioral and Spatial AI Lab（行为与空间人工智能实验室） ； Tongji University（同济大学） ； Peking University（北京大学） ； College of Architecture and Urban Planning（建筑与城市规划学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 为评估视觉语言模型在空间规划地图解读中的能力，构建了专家标注数据集SPMD，并提出基于感知、推理、关联、实施四阶段认知框架的基准PlanBench-V，实验表明当前模型在实施类任务上存在显著局限。

PerceptUI: LLM Agents as Human-Aligned Synthetic Users for UI/UX Evaluation

PerceptUI: 用于UI/UX评估的与人类对齐的合成用户的LLM智能体

Nicolas Bougie, Xiaotong Ye, Gian Maria Marconi, Narimasa Watanabe

机构 * Woven by Toyota（丰田 woven） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出PerceptUI框架，通过对比反思微调和反思式提示进化，使多模态大语言模型能够模拟特定用户对界面问题的回答，实现与人类水平相当的UI/UX评估。