多模态大模型

Penny Wise, Pixel Foolish: Bypassing Price Constraints in Multimodal Agents via Visual Adversarial Perturbations

精打细算，却愚弄像素：通过视觉对抗扰动在多模态智能体中绕过价格限制

Jiachen Qian, Zhaolu Kang

机构 * City University of Hong Kong（香港城市大学） ； Peking University（北京大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究发现多模态大语言模型在价格受限环境下易受视觉误导，提出PriceBlind攻击框架，通过语义解耦损失提升图像嵌入精度，实现80%的攻击成功率，并展示鲁棒编码和防御机制对攻击的抑制效果。

Comments 15 pages, 4 figures, 13 tables

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 16059-16073, 2026

BUS: Brain-Inspired Unsupervised Self-Reflection via Backward Prediction for Multimodal Reasoning

BUS：用于高级多模态推理的受脑启发的无监督自我反思

Jiacheng Yang, Tongying Xiao, Yunkai Dang, Cong Wang, Yuekun Yang, Qi Fan, Tianyu Ding, Wenbin Li, Feng Miao, Yang Gao

机构 * AAAI Press（美国人工智能协会出版社） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV

AI总结 研究针对VLM处理复杂视觉任务的不足，受脑启发提出BUS无监督训练框架，通过反向预测提升其反思推理能力，无需标注数据，与多种微调方法兼容，经实验验证在多任务中有效提升了VLM推理性能。

ALICE: Learning a General-Purpose Pathology Foundation Model from Vision, Vision-Language, and Slide-Level Experts

ALICE：从视觉、视觉语言和玻片级专家学习通用病理学基础模型

Jiawen Li, Tian Guan, Huijuan Shi, Xitong Ling, Mingxi Fu, Anjia Han, Chao He, Yonghong He

机构 * Institute of Biopharmaceutical and Health Engineering, Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学生物医药与健康工程研究院，清华大学深圳国际研究生院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Department of Pathology, The First Affiliated Hospital of Sun Yat-sen University（中山大学附属第一医院病理科） ； Medical Optical Technology R&D Center, Research Institute of Tsinghua, Pearl River Delta（清华珠三角研究院医学光学技术研发中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出通过多阶段凝聚蒸馏训练的ALICE统一基础模型，将多种教师模型知识整合到单个主干。它在大量图像上预训练，经多场景多任务评估，在任务匹配病理基础模型中平均排名最佳，证明凝聚蒸馏可整合能力用于广泛病理学应用。

Parameter-Efficient Vision-Language Adaptation with Continuous Metadata Conditioning for Animal Re-Identification

基于连续元数据条件的参数高效视觉语言适配用于动物再识别

Anil Osman Tur, Tonje Knutsen Sordalen, Kim Tallaksen Halvorsen, Cigdem Beyan

机构 * Department of Computer Science, University of Verona（维罗纳大学计算机科学系） ； Institute of Marine Research（海洋研究所） ； University of Agder, Centre for Coastal Research（阿格德大学海岸研究中心） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对动物再识别中适应纵向生态环境的挑战，提出基于连续元数据条件的参数高效CLIP适配框架，通过保留元数据连续结构，在训练中平滑调制嵌入空间，提升了对外观变化和分布偏移的鲁棒性，实现纯视觉推理管道。

Comments This is the author's version of the paper accepted for publication in Expert Systems with Applications. The final authenticated version will be available from the publisher

The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs

计数存在但未对齐：理解和纠正视觉语言模型中的计数失败

Ahmed Oumar El-Shangiti, Abzal Nurgazy, Hilal AlQuabeh, Nikolai Rozanov, Kentaro Inui

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究视觉语言模型计数失败问题，通过对VLM激活进行探测训练及分析，发现其虽常编码正确计数但输出错误，提出探测器引导的自校正方法，在不更新参数时提高计数准确率，揭示内部知识与模型输出差距并提供改进工具。

Robustifying Vision-Language Models via Test-Time Prompt Adaptation

通过测试时提示自适应增强视觉语言模型的鲁棒性

Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen

机构 * University of Science（科学大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science（香港科学大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究针对对抗扰动下视觉语言模型性能下降问题，提出RITA框架，通过最优传输实现分布级对齐，引入动态缓存积累线索，提升了模型对抗鲁棒性且不损干净准确率。

Comments ICML 2026 regular

Test-Time Adaptation via Cache Personalization for Facial Expression Recognition in Videos

基于缓存个性化的时间测试适应用于视频面部表情识别

Masoumeh Sharafi, Muhammad Osama Zeeshan, Soufiane Belharbi, Alessandro Lameiras Koerich, Marco Pedersoli, Eric Granger

机构 * LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA系统工程系，蒙特利尔工程学院，加拿大） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal, Canada（LIVIA软件与信息工程系，蒙特利尔工程学院，加拿大） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出TTA-CaP方法，通过缓存实现高效视频面部表情识别的模型个性化，减少计算开销并提升跨主体和环境变化的性能。

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

超越时间偏移：将全能语言模型（Omni-LLM）适配为生成式视听模型的无参考评估器

Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（易路泰克科技） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究针对视听生成模型跨模态同步评估难题，提出框架解决人类与自动化评估指标的矛盾。通过引入数据集、适配模型及提出优化方法，实现先进的人类偏好对齐，建立标准化基准推动评估从信号相关性到因果关系发展。

Comments Accepted to ECCV 2026

AV-Master: Dual-Path Comprehensive Perception Makes Better Audio-Visual Question Answering

AV-Master：双路径综合感知实现更优的音频视觉问答

Jiayu Zhang, Shuo Ye, Qilang Ye, Xun Lin, Zihan Song, Zitong Yu

机构 * Great Bay University（大湾区大学） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞智能与信息科技重点实验室） ； Nankai University（南开大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 AV-Master通过动态建模时序和模态维度，提升模型在复杂视听场景中提取关键信息的能力，有效解决现有方法在时间采样和模态偏好意识上的不足，从而在复杂场景中增强推理能力。

Comments Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT'26)

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

多语言视觉多项选择题中小视觉语言模型的测试时缩放

Spiros Baxevanakis, Peng-Jian Yang

机构 * ImageCLEF Lab（图像CLEF实验室） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究小型视觉语言模型在多语言视觉多项选择题中的测试时缩放，比较多种方法，发现运行条件重要，可解析性是关键，增加解码预算有帮助，复杂方法贡献小，最佳配置在测试集上表现出色，位居排行榜首位。

Comments 14 pages, 2 figures, accepted at ImageCLEF 2026

Event-Based Token Sequences for Audio-Conditioned Music-Game Level Modeling

用于音频条件音乐游戏关卡建模的基于事件的令牌序列

Ke Zhang, Chu-Hsuan Hsueh, Kokolo Ikeda

机构 * Japan Advanced Institute of Science and Technology（日本先进科学技术学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 研究音乐游戏关卡程序生成问题，受基于事件的符号音乐建模启发，提出令牌级序列公式，构建Transformer模型，在事件级评估中优于基线，能系统分析音频对节奏对齐事件预测的支持。

Comments Camera-ready version, published at ICMR 2026

Journal ref Proceedings of the International Conference on Multimedia Retrieval (ICMR '26), June 16-19, 2026, Amsterdam, Netherlands

MemeBuddy: Dialog-Style Audio Representations for Engaging Non-Visual Meme Experiences

MemeBuddy：用于引人入胜的非视觉表情包体验的对话式音频表示

Chirag Bhansali, Vikas Ashok, Hae-Na Lee

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对盲人用户无法充分理解表情包的问题，提出MemeBuddy系统，将表情包建模为对话，结合文本与多模态大语言模型隐含知识生成音频表示。用户研究表明，该方式能提升盲人用户参与度与满意度，且理解能力相当。

Dual-BEATs: Unlocking Zero-Shot Stereo Audio Perception in Audio Large Language Models via Dithering

双BEATs：通过抖动在音频大语言模型中解锁零样本立体声音频感知

Shuo-Chun Lin, Hen-Hsen Huang

机构 * Institute of Information Science, Academia Sinica（台湾中央研究院资讯科学研究所） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对多模态大语言模型空间感知局限，提出双BEATs架构，通过在编码前注入抖动噪声解决归一化问题，在三元方向分类任务中验证该方法有出色空间分辨率且能零样本泛化，证明标准模型经正则化可实现广义立体声音频理解。

Comments 14 pages, 3 figures

Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry

通过多模态基础模型和几何进行零样本3D通用障碍物检测

Tamás Matuszka, Péter Hajas, Dávid Szeghy

机构 * aiMotive 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CV

AI总结 针对自动驾驶中通用障碍物检测难题，提出结合多模态基础模型与几何推理的免训练零样本方法，能精准定位达100米，借基础模型先验提升召回率，还可实现可扩展自动标注。

Comments Accepted to CVPR 2026 AUTOPILOT Workshop

SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition

SVF-CR：用于多模态矛盾心理和犹豫识别的同步视觉-面部交叉细化

Hyein Park, Namho Kim, Junhwa Kim

机构 * Konyang University（公州大学） ； Korean Broadcasting System (KBS)（韩国广播公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态矛盾心理和犹豫识别，提出SVF-CR框架，通过提取视频和面部令牌，经多种注意力机制细化，构建视觉-面部证据并融合文本、声学特征，实验证明该框架提升了公共宏F1。

Diagnosing Long-Video Quantitative Reasoning in Multimodal LLMs via Enumeration and Counting

EC-Bench：超长视频的枚举与计数基准

Fumihiko Tsuchiya, Taiki Miyanishi, Shunsuke Yasuki, Mahiro Ukai, Nakamasa Inoue, Shuhei Kurita, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo, Japan（东京大学） ； Institute of Science Tokyo, Japan（东京科学大学） ； National Institute of Informatics, Japan（国立信息学研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 EC-Bench针对超长视频的枚举与计数问题，通过152部超过30分钟的视频和1699个查询，评估多模态大语言模型的性能，揭示模型在时间推理和计数任务中的局限性。

Comments The first two authors are equally contributed. The data and code are publicly available at: https://github.com/matsuolab/EC-Bench

Event Stream based Multi-Modal Video Anomaly Detection: A Benchmark Dataset and Algorithms

基于事件流的多模态视频异常检测：一个基准数据集和算法

Peipei Zhu, Yueqing Niu, Lin Zhu, Guanchong Niu, Yang Yu, Zheng Li

机构 * College of Pharmaceutical Engineering of Traditional Chinese Medicine, Tianjin University of Traditional Chinese Medicine（天津中医药大学中药制药工程学院） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院） ； State Key Laboratory of Component-based Chinese Medicine, Tianjin University of Traditional Chinese Medicine（天津中医药大学组分中药国家重点实验室） 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究针对视频异常检测在复杂条件下的局限性，提出EVAD框架，利用事件相机与传统视频。构建大规模基准数据集，设计对比多模态预训练框架及自适应融合模块，实验验证了该方法在现实场景中检测VAD的有效性。

Implicit-Behavior Coordination from Unlabeled Sub-Task Demonstrations for Rearrangement Tasks

基于未标记子任务演示的重排任务隐式行为协调

Ahmed Shokry, Usama Ahmed Siddiquie, Sicong Pan, Maren Bennewitz

机构 * Humanoid Robots Lab and Center for Robotics, University of Bonn（人形机器人实验室及机器人技术中心，波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 研究长期机器人重排任务，提出基于未标记子任务演示的隐式行为协调方法，通过价值引导动作选择学习类技能行为，实验表明该方法在复杂任务中表现优，能处理更大行为库，为显式技能管道提供替代。

Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026

通过置信度校准和增量推理实现特定任务的多模态问答代理，用于QANTA 2026

Nirjhar Das, Md. Al-Mamun Provath

机构 * Department of Computer Science ； Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对QANTA 2026共享挑战，开发特定任务双代理架构，抢答代理用带置信度校准的模型及数值推理策略，加分代理用多种推理整合信息，强调仅托管环境下的高效推理与校准，系统取得高分，证明轻量级策略在资源受限问答中性能强。

Comments 10 pages, 1 figure. Accepted at the EMM-QA 2026 Workshop, ICML 2026 (Non-Archival). Rank #1 overall system in the QANTA 2026 Challenge

Multimodal Scenario Similarity Search for Autonomous Driving

用于自动驾驶的多模态场景相似性搜索

Tamás Matuszka, András Tamásy, Balázs Szolár

机构 * aiMotive（爱莫提夫） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究自动驾驶场景相似性搜索，提出多模态框架结合视觉与轨迹表示，对比两种基于轨迹的方法与视觉基线，实验表明轨迹表示在运动事件中性能强，视觉嵌入在外观线索丰富时出色，结合二者可提升检索质量。

Contrastive Learning on Multimodal Analysis of Electronic Health Records

电子健康记录多模态分析中的对比学习

Tianxi Cai, Feiqing Huang, Ryumei Nakada, Linjun Zhang, Doudou Zhou

机构 * Harvard T.H. Chan School of Public Health（哈佛T.H. 柏林公共卫生学院） ； Harvard Medical School（哈佛医学院） ； Rutgers University（罗格斯大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对电子健康记录多模态数据传统分析方法不足，提出多模态特征嵌入生成模型及对比损失来学习特征表示，经理论分析、模拟研究和真实数据验证，该方法有效且具隐私保护特性，展现了多模态学习优势。

Omni-Sleep: A Sleep Foundation Model via Hierarchical Contrastive Learning of CNS-ANS Dynamics

全睡眠：一种通过中枢神经系统-自主神经系统动态分层对比学习的睡眠基础模型

Zhoujie Hou, Song Wang, Kexin Lou, Mo Wang, Chen Wei, Quanying Liu

机构 * Department of Biomedical Engineering, Southern University of Science and Technology（南方科技大学生物医学工程系） ； Omni-Intelligence（全知智能） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 介绍全睡眠模型，利用CNS/ANS划分，通过分层对比学习的三个目标进行拓扑约束表示学习，在多中心多模态PSG数据预训练后用于睡眠分期和多疾病分类，性能优于基线，凸显生理层次对睡眠表示学习的价值。

M4V: Multimodal Mamba for Efficient Text-to-Video Generation

M4V：用于高效文本到视频生成的多模态曼巴

Jiancheng Huang, Gengwei Zhang, Zequn Jie, Siyu Jiao, Yinlong Qian, Ling Chen, Yunchao Wei, Lin Ma

机构 * Meituan（美团） ； University of Technology Sydney（技术大学悉尼分校） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对文本到视频生成计算量大的问题，引入多模态曼巴框架M4V。设计MM-DiM块，采用多模态令牌重新组合设计，增强时空一致性。实验表明，该框架能在降计算成本的同时生成高质量视频。

Comments CVPR 2026

Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs

利用多模态大语言模型探索程序流程图在代码生成中的潜力

Yuki Toi, Tao Xiao, Kazushi Tomoto, Masanari Kondo, Yasutaka Kamei

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 研究利用多模态大语言模型探索程序流程图对代码生成的潜力，通过从示例代码生成流程图并与问题陈述一起提供给模型进行代码生成实验，发现结合流程图可提升性能，不同细节程度的流程图效果有差异，还比较了与少样本学习的效果。

Render-in-the-Loop: Vector Graphics Generation via Visual Self-Feedback

循环渲染：通过视觉自反馈生成矢量图形

Guotao Liang, Zhangcheng Wang, Juncheng Hu, Haitao Zhou, Ziteng Xue, Jing Zhang, Dong Xu, Qian Yu

机构 * School of Software, Beihang University（北航软件学院） ； Department of Computer Science, The University of Hong Kong（香港大学计算机科学系） ； Paradigm（4Paradigm） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出Render-in-the-Loop方法，通过视觉上下文引导矢量图形生成，提升模型对视觉信息的利用效率，实现更高效的SVG生成。

Decoupled Illumination Priors for Spatially Controllable Multi-View Indoor Scene Relighting

用于空间可控多视图室内场景重光照的解耦光照先验

Chenjian Gao, Linning Xu, Tianfan Xue

机构 * Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； CPII under InnoHK（创新香港研发平台下的CPII） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究室内场景重光照问题，提出Lume-Palette框架，通过将重光照解耦为光照蒸馏和投射两阶段，并引入不对称多视图条件策略，实现了逼真、空间可控且多视图一致的重光照效果。

CoDiMAD: Diffusion-Based Privileged Distillation for Communication-Free Multi-Robot Coordination

CoDiMAD：基于扩散的特权蒸馏用于无通信多机器人协调

Jiyue Tao, Shunheng Xin, Tongsheng Shen, Dexin Zhao, Feitian Zhang

机构 * Peking University（北京大学） ； National Innovation Institute of Defense Technology（国防科技创新研究院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 研究无通信多机器人协调问题，提出CoDiMAD三阶段框架，先训练特权预言机，再构建数据集，最后将预言机蒸馏到学生智能体中，通过扩散反向过程采样动作，实验证明其性能优于基线。

Variable-Length Generative Protein Design via Generalized Poisson Flow

通过广义泊松流进行可变长度生成蛋白质设计

Chaoran Cheng, Zhanghan Ni, Yanru Qu, Yuxin Chen, Ruihan Guo, Jiajun Fan, Ge Liu

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究针对蛋白质设计中可变长度生成的关键问题，引入广义泊松流（GPFlow）框架，通过最小化负对数似然学习速率函数，经多模态评估验证其可变长度生成质量，在多种设计任务中表现出色，提升了蛋白质设计的灵活性与适应性。

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

混合探针：通过探针在多模态大语言模型中从特权模态学习

Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

机构 * Sony Group Corporation（索尼集团公司） ； Sony AI（索尼人工智能） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV

AI总结 研究多模态大语言模型在特权模态设置下的问题，提出混合探针（MoP）框架及MoP跨模态训练（MoP-X），通过结构化探测机制分离模态信号，经评估在多任务中优于基线，有效利用辅助模态训练可提升性能。

Comments Preprint (16 pages)

Multimodal Reward Hacking in Reinforcement Learning

强化学习中的多模态奖励黑客攻击

Jiayu Yao, Yiwei Wang, Anmeng Zhang, Zhe Sun, Songsong Wang, Lingrui Mei, Yuyao Ge, Shenghua Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； Southeast University（东南大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究强化学习中多模态奖励黑客攻击问题，通过引入新奖励失败率（NRFR）等方法，在多种设置下改变模型规模、算法等因素进行实验，发现仅结果奖励易导致黑客攻击，扩大规模可减少但不能消除，还得出不同算法和奖励方式对黑客攻击的影响及相关结论。