多模态大模型

Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality

跨模态掩码组合概念建模以增强视觉-语言组合性

Wei Li, Zhen Huang, Xinmei Tian

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。

Comments Accepted to ACL 2026 Main Conference, 25 pages

Multi-Label Test-Time Adaptation with Bayesian Conditional Priors

基于贝叶斯条件先验的多标签测试时自适应

Qiru Li, Ao Zhou, Zhiwei Jiang, Zifeng Cheng, Cong Wang, Yafeng Yin, Qing Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出贝叶斯条件先验估计（BCP），一种无梯度的测试时自适应方法，通过在线估计锚定条件先验注入标签依赖性，提升冻结视觉语言模型在多标签识别中的分布偏移鲁棒性。

Comments accepted by ICML2026

GIVE: Grounding Human Gestures in Vision-Language-Action Models

GIVE：在视觉-语言-动作模型中接地人类手势

Pengfei Liu, Gen Li, Junqiao Fan, Boyu Ma, Jindou Jia, Yang Xiao, Jianfei Yang

机构 * MARS Lab, Nanyang Technological University（南洋理工大学MARS实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 针对VLA模型忽略手势导致意图理解不准的问题，提出GIVE方法，通过视觉和语义双路径增强手势理解，在真实HRI实验中目标识别准确率提升40%，任务成功率提升80%。

Comments Project page: https://luis-cloud-sg.github.io/GIVE-project/

CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts

CausalMoE：基于模式路由异构专家的十亿规模多模态基础模型用于格兰杰因果发现

Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室） ； National Institute of Health Data Science, and Institute for Artificial Intelligence, Peking University（北京大学健康医疗大数据国家研究院、人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

AI总结 提出CausalMoE，一种十亿规模多模态格兰杰因果基础模型，通过模式路由混合异构专家解耦动态机制，结合因果自注意力与LLM/VLM先验，实现稀疏因果图恢复，在监督和少样本场景中达到最优。

MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models

MultiToP：学习修补视觉令牌以减轻视频大型多模态模型中的幻觉

Yuansheng Gao, Wenbin Xing, Jiahao Yuan, Kaiwen Zhou, Han Bao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； East China Normal University（华东师范大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MultiToP框架，通过轻量级视觉令牌修补器动态替换不可靠视觉令牌，结合信息引导排名校准和稀疏正则化，在不修改原模型情况下减少视频多模态模型幻觉，显著提升F1分数和问答准确率。

Comments Preprint

HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers

HYDRA-X: 具有整体视觉分词器的原生统一多模态模型

Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, Junzhe Li, Tao Huang, Xiao Zhang, Yang Li, Jianbing Wu, Miles Yang, Zhao Zhong, Liefeng Bo, Limin Wang

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。

Net-Ev$^2$: A Generative Simulator for Network Event Evolution

Net-Ev$^2$：网络事件演化的生成式模拟器

Guangyu Wang, Zhaonan Wang

机构 * NYU Shanghai（上海纽约大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出Net-Ev$^2$，一种结合事件线索与网络拓扑的生成式模拟器，通过结构引导掩码预训练和拓扑感知扩散过程模拟网络事件演化，在多个道路网络数据集上达到最优性能。

Comments Accepted by KDD 2026 Research Track

Journal ref In Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models

GRIP：面向大型多模态模型的反馈引导提示检索

Garvita Allabadi, Matteo Sodano, Roberto Estevão, Yuxiong Wang, Vikram Adve, Emre Kiciman, Ranveer Chandra

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Bonn（波恩大学） ； Microsoft（微软） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出GRIP，一种可学习的视觉检索框架，利用多模态模型反馈识别真正提升上下文学习性能的示例，在分类、描述和VQA任务上优于基于相似度的检索。

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

PersonaDrive: 面向闭环驾驶模拟的人类风格检索增强VLA智能体

Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

机构 * University of California, Irvine（加利福尼亚大学尔湾分校） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CL、cs.AI

AI总结 提出PersonaDrive流水线，通过检索风格指令下的人类驾驶演示来调节视觉-语言-动作（VLA）驾驶智能体，实现闭环模拟中多样化的非自车智能体行为，无需针对每种风格重新训练。

VietFashion: Benchmarking Sketch-Text Composed Image Retrieval for Cultural Outfits

VietFashion：面向文化服饰的草图-文本组合图像检索基准

Hoang-Nguyen Cao, Le-Hoang Bui, Dinh-Khoi Vo, Minh-Triet Tran, Trung-Nghia Le

机构 * University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出VietFashion基准，针对越南传统服饰奥黛，结合手绘草图和文本描述进行多目标检索，揭示现有方法在细粒度文化语义和跨模态组合上的不足。

Comments ICMR 2026. Project page: https://hng0303.github.io/VietFashion

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

OmniDirector: 无需配对数据的通用多镜头相机克隆

Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

机构 * Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出OmniDirector框架，通过将相机参数编码为网格运动视频，并利用百万级配对数据训练，实现无需交叉配对数据的多镜头相机运动克隆，具备卓越的控制性能。

Comments 12 pages, 8 figures

Topical Phase Transitions in Artificial Intelligence Research: Large-Scale Evidence and an Early-Warning Signature for Emerging Topics

人工智能研究中的主题相变：大规模证据与新兴主题的早期预警信号

Rasul Khanbayov, Hasan Kurban

机构 * College of Science and Engineering（科学与工程学院） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） ； Doha, Qatar（卡塔尔多哈） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 通过分析2017-2025年五大AI会议论文，发现AI主题通过“相变”方式突然爆发，并基于早期预警信号识别未来需关注的主题。

ECA: Efficient Continual Alignment for Open-Ended Image-to-Text Generation

ECA：面向开放图像到文本生成的高效持续对齐

Jiangtao Kong, Peijun Zhao, Chun-Fu Chen, Youngwook Do, Shaohan Hu, Tianyi Zhou, Huajie Shao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出ECA方法，通过混合查询模块、Fisher动态扩展和字典重放，实现无需旧数据的持续对齐，缓解灾难性遗忘，提升开放图像到文本生成的增量学习性能。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

帮助图表讲述它们的故事！基于论文的视频生成解释复杂科学图表

Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber

机构 * University of Maryland, College Park（马里兰大学学院市分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

AI总结 提出MINARD流水线，从图表及其论文生成基于区域分解的叙述性视频，并发布FigTalk基准，在自动和人工评估中优于现有方法。

Comments Webpage: https://minard.vercel.app/

A Stabilized Path-Space Approach to Diffusion-Based Posterior Sampling

一种稳定的路径空间方法用于基于扩散的后验采样

Evan Scope Crafts, Umberto Villa, Saviz Mowlavi, Yanting Ma, Hassan Mansour, Wael H. Ali

机构 * Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室） ； Department of Biomedical Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校生物医学工程系） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出一种稳定的路径空间框架，通过随机最优控制与信任域优化，实现非线性逆问题中准确且鲁棒的后验采样。

Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

基于多模态大语言模型的移动用户体验推理：任务、基准与方法

Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出UXBench基准（2000个VQA样本）评估多模态大模型在UI推理上的能力，并设计UI-UX模型，通过奖励路由和不对称过渡奖励机制在UXBench上达到0.7963准确率，超越Claude-4.5-Sonnet。

Comments 10 pages, 6 figures, Accepted at CVPR 2026 Findings

Multi-Modal Agents for Power Distribution Defect Detection: An Evaluation of Foundation Models

用于配电缺陷检测的多模态智能体：基础模型评估

Quan Quan

机构 * Quan Quan 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 提出多模态智能体框架，系统评估基础模型在感知、推理和工具使用三方面的能力，用于配电缺陷检测的闭环自动化。

Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis

双域等变生成对抗网络用于多模态CT-PET合成

Gabriel Steele, Alzahra Altalib, Alessandro Perelli

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出双域等变生成对抗网络（DDE-GAN），联合空间与频域学习并融入旋转等变性，实现高保真多模态CT-PET图像合成。

Comments 4 pages, 3 figures, 1 table, 2026 IEEE 23rd International Symposium on Biomedical Imaging (ISBI)

Frozen Multimodal Embeddings for AI-Assisted Interview Assessment of Personality and Cognitive Ability

冻结多模态嵌入用于异步视频面试中的个性与认知能力评估

Kuo-En Hung, Hung-Yue Suen, Shih-Ching Yeh, Hsiang-Wen Wang

机构 * Technology Application and Human Resource Development, National Taiwan Normal University（台湾国立台中教育大学技术应用与人力资源发展系） ； Computer Science and Information Engineering, National Central University（台湾国立中央大学计算机科学与资讯工程系） ； Institute of Photonic System, National Yang Ming Chiao Tung University（台湾阳明交通大学光电系统研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对异步视频面试中标注数据有限的高维多模态学习问题，提出使用冻结多模态编码器（CLIP、Whisper、RoBERTa等）结合低容量下游模型，在个性预测任务上实现MSE降低19.1%，并发现认知能力预测中存在数据集捷径。

Comments 9 pages, 1 figure, 5 tables

GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

GeoDial：面向几何问题求解的多模态对话式辅导数据集，包含可视化辅导轮次

Sankalan Pal Chowdhury, Junling Wang, Donya Rooein, April Yi Wang, Mrinmaya Sachan

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； Bocconi University（博科尼大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出GeoDial数据集，包含1300+几何师生对话，通过可扩展标注协议整合对话行为、视觉高亮和反馈，微调视觉语言模型发现其难以生成准确图解高亮。

Radiology-Report Semantic Modelling and Host-Response Laboratory Biomarkers for Multimodal Survival Prediction in Lung Cancer

放射学报告语义建模与宿主反应实验室生物标志物用于肺癌多模态生存预测

Jingxiang Shi, Yiming Wang, Zhengda Li, Yan Zhang, Weihua Meng, Yuqi Ma, Xiaoyan Li, Feng-Ming, Kong, Gen Yang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出多模态自适应风险评分(AMRS)，融合放射学报告语义和常规实验室生物标志物，在574例肺癌患者中实现C-index 0.849，优于TNM分期。

Comments 14 pages,7 figures

MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

MLUBench: 多模态大语言模型终身遗忘评估基准

He Li, Haoang Chi, Qizhou Wang, Yunxin Mao, Zhiheng Zhang, Jie Tan, Tongliang Liu, Wenjing Yang, Bo Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出MLUBench基准，评估多模态大模型在连续遗忘请求下的性能，发现现有方法存在累积退化，并揭示多模态对齐保持的挑战，提出LUMoE方法缓解退化。

Comments 36 pages, accepted to the ICML 2026

MinhwaNet: Faithful but Insufficient Object Grounding in Korean Folk Painting

MinhwaNet: 韩国民俗画中忠实但不足的对象定位

Joonhyung Bae

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出MinhwaNet，通过部分级检测器生成对象证据图，发现韩国民俗画中符号列表不足以预测画作类型，而符号布局更重要，揭示了忠实但不足的解离现象。

Unified MRI Brain Image Translation via Hierarchical Tumor Structure Comparison

基于层级肿瘤结构比较的统一MRI脑图像翻译

Yupeng Cai, Jia Wei, Jianlong Zhou

机构 * South China University of Technology（华南理工大学） ； UTS Data Science Institute, University of Technology Sydney（悉尼科技大学UTS数据科学研究所） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出HTSCGAN模型，通过层级肿瘤结构比较和多种损失函数，提高多模态MRI脑图像翻译质量，在BraTS2020/2021上表现优异。

Towards Reliable Sequential Object Picking in Clutter: The Runner-up Solution to RGMC 2025

面向杂乱环境中的可靠顺序物体抓取：RGMC 2025 亚军方案

Wei Yu, Xidan Zhang, Ziyi Zheng, Weijie Kong, Huixu Dong

机构 * School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 针对杂乱环境中的顺序物体抓取任务，提出集成硬件-软件流水线，结合多功能夹爪设计与物体分布及遮挡关系新表示，实现高效识别、搜索与顺序抓取，获RGMC 2025亚军。

Comments First, Second and Third Coauthor contributed equally to this work

Multi-Modal Multi-Agent Robotic Cognitive Alignment enabled by Non-Invasive Consumer Brain Computer Interfaces: A Proof of Concept Exploration

基于非侵入式消费级脑机接口的多模态多智能体机器人认知对齐：概念验证探索

Nataliya Kosmyna, Liz Jenkins, Anoop K. Sinha

机构 * GOOGLE（谷歌） ； Paradigms of Intelligence（智能范式） ； Cambridge, MA, United States（马萨诸塞州剑桥市，美国） ； Mountain View, CA, United States（加利福尼亚州山景城，美国） 纠错

专题命中 多模态Agent ：multi-modal(title)

AI总结 提出一种框架，利用消费级脑机接口监测脑电信号，在高认知负荷时延迟智能体通信，实现认知对齐的多智能体交互，初步验证了实时信号处理、大语言模型与机器人结合的可行性。

Comments 19 pages, 9 figures, for associated video, see https://youtu.be/0Tav-G87XGs

Skill-3D: Evolving Scene-Aware Skills for Agentic 3D Spatial Reasoning

Skill-3D：面向智能体3D空间推理的场景感知技能进化

Haoyuan Li, Zhengdong Hu, Jun Wang, Hehe Fan, Yi Yang

机构 * Zhejiang University（浙江大学） ； University of Technology Sydney（技术悉尼大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Skill-3D框架，通过场景记忆和技能库的协同进化，使智能体根据场景自适应选择工具，显著提升3D空间推理中工具使用的正确性和充分性。

Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

感知、交互、推理：构建工具增强的视觉智能体用于空间推理

Changye Li, Meng Lu, Yi Wu, Ligeng Zhu

机构 * Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出PERIA智能体，通过视觉感知和交互工具增强VLM的空间推理能力，在13个基准上优于同类模型7.0%-14.8%。

Emerging Flexible Designs for Geospatial Multimodal Foundation Models

地理空间多模态基础模型的新兴灵活设计

Philipe Dias, Waqwoya Abebe, Abhishek Potnis, Aristeidis Tsaris, Dan Lu, Xiao Wang, Dalton Lunga

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.CV、cs.AI

AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。

A Multi-Modal Framework with Cross-Subject Pseudo-Labeling and Semantic Alignment for Micro-Gesture Recognition

一种结合跨主体伪标签与语义对齐的多模态微手势识别框架

Haoran Zhang, Haokun Zhang, Pengyu Liu, Yujia Zhang, Weibao Xue, Yanbin Hao

机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT)（合肥工业大学计算机科学与信息工程学院） ； School of Computer Science, University of Auckland (UOA)（奥克兰大学计算机科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对微手势识别中低信噪比、长尾分布和跨主体域偏移问题，提出多模态框架，通过显著性引导提取、平方根平滑加权、正交语义嵌入损失和跨模态伪标签策略，实现有效识别，F1分数达68.13%。

Comments 14 pages, 2 figures