视觉大模型 / VLM

CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models

CARPRT：用于黑盒视觉语言模型的类感知零样本提示重加权

Ruijiang Dong, Zesheng Ye, Jianzhong Qi, Lei Feng, Feng Liu, Gang Niu, Masashi Sugiyama

机构 * University of Melbourne（墨尔本大学） ； Southeast University（东南大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） ； The University of Tokyo（东京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 研究针对预训练视觉语言模型零样本图像分类中提示与类独立性假设不成立的问题，提出类感知零样本提示重加权方法CARPRT，通过无训练方式量化提示与类的相关性并调整权重，实验表明该方法优于现有方法。

Comments Accepted at ICLR 2026

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

MultiRef-Compass：迈向多参考到音频-视频生成的综合评估

Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 研究针对多参考到音频-视频生成设置，引入MultiRef-Compass基准。通过可扩展管道构建350个样本，定义含四个维度14个子指标的评估协议，集成自动指标与MLLM评判框架，实验表明该基准对MR2AV研究有重要意义。

Comments 32 pages

U-shaped Multi-granularity Learning for Vision-Language Models

用于视觉语言模型的U形多粒度学习

Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Hithink Research（恒生电子股份有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究视觉语言模型提示学习的粒度困境，提出U形多粒度提示学习框架UPrompt，通过构建并行多粒度表示及粗细粒度交互增强与监督，在多个基准实验中验证了其有效性和优势。

TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models

TokenSwap：对大型视觉语言模型组合理解的后门攻击

Zhifang Zhang, Qiqi Tao, Jiaqi Lv, Na Zhao, Lei Feng, Joey Tianyi Zhou

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（昆士兰大学电气工程与计算机科学学院） ； Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学设计学院） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心（CFAR）） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所（IHPC）） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究针对大型视觉语言模型的后门攻击，提出TokenSwap方法，通过注入视觉触发器和交换文本答案中关键令牌语法角色，并采用自适应加权损失，在多基准和不同架构上实现高成功率且隐蔽性强的后门攻击。

InfoFlow KV: Information-Flow-Aware KV Recomputation for Long Context

InfoFlow KV：面向长上下文的信息流感知KV重计算

Xin Teng, Canyu Zhang, Shaoyi Zheng, Danyang Zhuo, Tianyi Zhou, Shenji Wan

机构 * New York University（纽约大学） ； Duke University（杜克大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 提出将选择性KV重计算建模为信息流问题，利用查询的注意力范数信号识别语义相关且结构上能传播信息的token，并引入信息流引导的块重排序策略，在LLM和VLM基准上优于现有方法。

Comments In proceedings of the 43rd International Conference on Machine Learning (ICML 2026). Project page: https://infoflow-kv.github.io

ARMOR++: Agentic Orchestration of a Multi-Domain Primitive Set for Transferable Attacks on Deepfake Detectors

ARMOR++：用于对深度伪造检测器进行可转移攻击的多域原语集的智能编排

Christos Korgialas, Gabriel Lee Jun Rong, Dion Jia Xu Ho, Pai Chet Ng, Xiaoxiao Miao, Konstantinos N. Plataniotis

机构 * Department of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学系） ； Infocomm Technology Cluster, Singapore Institute of Technology（新加坡科技学院信息通信技术集群） ； Department of Applied Physics and Applied Mathematics, Columbia University（哥伦比亚大学应用物理与应用数学系） ； Division of Natural and Applied Sciences, Duke Kunshan University（昆山杜克大学自然科学与应用科学部） ； Department of Electrical and Computer Engineering, University of Toronto（多伦多大学电气与计算机工程系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究针对深度伪造检测器在黑盒对抗转移下可靠性下降问题，提出ARMOR++多智能体框架，利用视觉与语言模型提供语义先验并编排原语选择等，整合多种原语有效针对异构偏差，实验表明其性能优于现有基线，凸显当前检测器可靠性差距及智能编排的有效性。

Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation

Lavida-O：用于统一多模态理解与生成的弹性大掩码扩散模型

Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 研究提出Lavida-O统一多模态MDM，采用Elastic-MoT架构，结合轻量级生成与理解分支，通过多种技术支持高效生成。该模型在多模态任务基准测试中性能领先，优于现有模型，还能加速推理，成为可扩展多模态推理和生成新范式。

Comments 31 pages, 15 figures

Multi-Head Latent Control: A Unified Interface for LLM Agent Decision Making

多头潜在控制：大语言模型智能体决策的统一接口

Amirhosein Ghasemabadi, Ruichen Chen, Bahador Rashidi, Di Niu

机构 * University of Alberta（阿尔伯塔大学） ； Huawei Technologies Canada Co., Ltd.（华为加拿大技术有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 研究大语言模型作智能体时的决策控制问题，提出多头潜在控制方法，通过读取冻结模型的隐藏状态轨迹生成控制信号，能在不修改模型的情况下进行事后适配，改善多模型系统质量成本权衡，减少大模型使用并提高工具使用决策质量。

VistaVLA: Geometry- and Semantic-Aware 3D Gaussian-Grounded VLA for Robotic Manipulation

VistaVLA：用于机器人操作的几何和语义感知3D高斯基础VLA

Mohan Liu, Zhihao Gu, Xuanyu Chen, Haitian Zhang, Kaimin Mao, Yan Wu, Wei-Yun Yau, Lin Wang

机构 * EmPACT Lab, Nanyang Technological University（南洋理工大学EmPACT实验室） ； Institute for Infocomm Research (I2R), A*STAR（资讯通信研究院（I2R），新加坡科技研究局） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究针对VLA模型缺乏3D表示的问题，提出VistaVLA框架，通过3D高斯原语构建几何和语义感知的3D认知表示，利用MtQ机制压缩令牌，在模拟和真实环境评估中有效提升VLA性能，尤其在真实场景中显著提高成功率。