视觉大模型 / VLM

Fast and Faithful: Real-Time Verification for Long-Document Retrieval-Augmented Generation Systems

快速而忠实：长文档检索增强生成系统中的实时验证

Xunzhuo Liu, Bowei He, Xue Liu, Haichen Zhang, Huamin Chen

机构 * MBZUAI, McGill University（MBZUAI，麦吉尔大学） 纠错

专题命中 文档图表理解 ：grounding(abstract)

AI总结 本文提出一种实时验证组件，用于长文档检索增强生成系统，通过平衡响应时间和验证覆盖度，提升对长文档的忠实性验证。

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

CarePilot: 一种用于医疗领域长周期计算机任务自动化的多智能体框架

Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan

机构 * Indian Institute of Technology Patna（印度理工学院帕纳布分校） ； Mohamed bin Zayed University of AI (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出CarePilot多智能体框架，通过双记忆机制和actor-critic范式，解决医疗领域长周期任务自动化中的复杂推理问题，实验表明其在基准和分布外数据集上均优于现有基线。

Comments CVPR 2026 Findings

UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience

UI-Voyager：一种通过失败经验自我进化的GUI代理学习

Zichuan Lin, Feiyu Liu, Yijun Yang, Jiafei Lyu, Yiming Gao, Yicheng Liu, Zhicong Lu, Yangbin Yu, Mingyu Yang, Junyou Li, Deheng Ye, Jie Jiang

机构 * Tencent（腾讯） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出UI-Voyager，一种两阶段自我进化的移动GUI代理，通过拒绝微调和组相对自蒸馏提升GUI任务的效率和性能，实验显示其在AndroidWorld上达到81.0%的Pass@1成功率。

Comments Code and models are available at https://github.com/ui-voyager/UI-Voyager

CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents

CUA-Suite：大规模人工标注的视频演示用于计算机使用代理

Xiangru Jian, Shravan Nayak, Kevin Qinghong Lin, Aarash Feizi, Kaixin Li, Patrice Bechard, Spandana Gella, Sai Rajeswar

机构 * ServiceNow ； University of Waterloo（多伦多大学） ； Mila ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 CUA-Suite通过提供连续高质量视频演示和密集标注，解决计算机使用代理训练中视频数据不足的问题，包含约55小时的专家视频和600万帧数据，支持多模态研究。

Comments Project Page: https://cua-suite.github.io/

3D-Mix for VLA: A Plug-and-Play Module for Integrating VGGT-based 3D Information into Vision-Language-Action Models

3D-Mix用于VLA：一种用于将基于VGGT的3D信息整合到视觉-语言-动作模型中的即插即用模块

Bin Yu, Shijie Lian, Xiaopeng Lin, Zhaolong Shen, Yuliang Wei, Haishan Liu, Changti Wu, Hang Yuan, Bailing Wang, Cong Huang, Kai Chen

机构 * HIT（哈尔滨工业大学） ； ZGCA（中钢集团自动化研究院） ； ZGCI（中钢集团信息研究院） ； HUST（华中科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； BUAA（北京航空航天大学） ； ECNU（华东师范大学） ； DeepCybo 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出3D-Mix模块，通过语义条件门控融合机制提升视觉-语言-动作模型的3D感知能力，在标准化基准测试中实现最佳性能。

Comments 13 pages

Continual GUI Agents

连续GUI代理

Ziwei Liu, Borui Kang, Hangjie Yuan, Zixiang Zhao, Wei Li, Yifan Zhu, Tao Feng

机构 * Department of Computer Science and Technology, Tsinghua University, China（计算机科学与技术系，清华大学，中国） ； College of Computer Science, Zhejiang University, China（浙江大学计算机科学学院，中国） ； College of Computer Science, Beijing University of Posts and Telecommunications, China（北京邮电大学计算机科学学院，中国） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出连续GUI代理任务，通过引入GUI-Anchoring in Flux框架，解决GUI分布变化时持续学习稳定性问题，实验显示其优于现有方法。

Comments Code is available at: https://github.com/xavierliu34/GUI-AiF

TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models

目标无关引导：用于视觉-语言-动作模型中稳定对象中心推断的指导

Jiaying Zhou, Zhihao Zhan, Ruifeng Zhai, Qinhan Lyu, Hao Liu, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Lab of Big Data Analysis & Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出TAG目标无关引导，通过对比原始观察和物体擦除观察下的策略预测差异，减少干扰和外观偏差，提升视觉-语言-动作模型在复杂场景中的鲁棒性。

ELITE: Experiential Learning and Intent-Aware Transfer for Self-improving Embodied Agents

ELITE：经验学习与意图感知迁移用于自我改进的具身智能体

Bingqing Wei, Zhongyu Xia, Dingai Liu, Xiaoyu Zhou, Zhiwei Lin, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（清华大学王轩计算机技术研究所，北京，中国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 ELITE通过经验学习与意图感知迁移机制，使具身智能体能持续学习环境交互经验并迁移至相似任务，实现在EB-ALFRED和EB-Habitat基准上的性能提升。

Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution

Xiaomi-Robotics-0：一个具有实时执行能力的开源视觉-语言-动作模型

Rui Cai, Jun Guo, Xinze He, Piaopiao Jin, Jie Li, Bingxuan Lin, Futeng Liu, Wei Liu, Fei Ma, Kun Ma, Feng Qiu, Heng Qu, Yifei Su, Qiao Sun, Dong Wang, Donghao Wang, Yunhong Wang, Rujie Wu, Diyun Xiang, Yu Yang, Hangjun Ye, Yuan Zhang, Quanyun Zhou

机构 * Xiaomi Robotics（小米机器人） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.LG

AI总结 本文提出Xiaomi-Robotics-0，通过精心设计的训练配方和部署策略，实现了高效且流畅的实时执行。模型在大规模跨体机器人轨迹和视觉语言数据上预训练，支持广泛的动作生成能力，并在真实机器人任务中表现出色。

Comments Project page: https://xiaomi-robotics-0.github.io

TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation

TacVLA: 基于接触感知的触觉融合用于鲁棒的视觉-语言-动作操控

Kaidi Zhang, Heng Zhang, Zhengtong Xu, Zhiyuan Zhang, Md Rakibul Islam Prince, Xiang Li, Xiaojing Han, Yuhao Zhou, Arash Ajoudani, Yu She

机构 * Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia（人机交互实验室，意大利理工学院） ； Ph.D. program of national interest in Robotics and Intelligent Machines (DRIM) and Università di Genova（机器人与智能机器国家级博士项目（DRIM）和热那亚大学） ； Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 TacVLA通过引入触觉模态提升视觉-语言-动作操控的鲁棒性，采用接触感知门控机制实现多模态融合，实验显示在拆解、箱内拾取和视觉遮挡场景中性能提升显著。

Comments 9 pages, 7 figures

Revealing Multi-View Hallucination in Large Vision-Language Models

揭示大型视觉-语言模型中的多视角幻觉

Wooje Park, Insu Lee, Soohyun Kim, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim

机构 * Seoul National University（首尔国立大学） ； Sungkyunkwan University（全州大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文针对大型视觉-语言模型在多视角输入中出现的视觉信息混淆问题，提出Reference Shift Contrastive Decoding方法，通过生成负logits抑制视觉干扰，提升模型在多视角幻觉检测任务中的性能。

Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models

通过空域投影实现原理化引导用于视觉-语言模型中的对抗防御

Xingyu Zhu, Beier Zhu, Shuo Wang, Junfeng Fang, Kesen Zhao, Hanwang Zhang, Xiangnan He

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（北京信息科技大学MoE关键实验室，中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出NullSteer框架，通过线性变换在模型激活中构建拒绝方向，在良性子空间保持零扰动，动态诱导拒绝有害方向，提升安全性而不损害模型能力。

Comments CVPR 2026

Scaling Test-Time Robustness of Vision-Language Models via Self-Critical Inference Framework

通过自批评推理框架提升视觉-语言模型的测试时鲁棒性

Kaihua Tang, Jiaxin Qi, Jinli Ou, Yuhua Zheng, Jianqiang Huang

机构 * Tongji University（同济大学） ； Computer Network Information Center, CAS（计算机网络信息中心，中国科学院） ； HIAS, University of Chinese Academy of Sciences（高等研究所，中国科学院大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出自批评推理框架，通过多轮反事实推理提升视觉-语言模型的鲁棒性，引入动态鲁棒性基准评估框架以应对语言偏差和敏感性问题，实验表明该方法在鲁棒性上优于基线方法。

Comments Accepted to CVPR 2026. Code: https://github.com/KaihuaTang/Self-Critical-Inference-Framework

Learning To Guide Human Decision Makers With Vision-Language Models

通过视觉-语言模型引导人类决策者

Debodeep Banerjee, Stefano Teso, Burcu Sayin, Andrea Passerini

机构 * DI, University of Pisa（比萨大学DI） ； DISI, University of Trento（特伦托大学DISI） ； CIMEC, University of Trento（特伦托大学CIMEC） ； Rajib Pal Bankura Sammilani Medical College（拉吉布·帕尔班克尔医学学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文提出LTG框架，通过视觉-语言模型生成可解释的决策指导，使人类负责最终决策，提升高风险场景下的决策质量与可靠性。

When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm

当理解成为风险：新兴图像生成范式中的真实性与安全性风险

Ye Leng, Junjie Chu, Mingjie Li, Chenhao Lin, Chao Shen, Michael Backes, Yun Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心） ； Xi’an Jiaotong University（西安交通大学） ； Flexera（Flexera公司） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态大语言模型在图像生成中的安全性风险，发现其在语义理解能力上强于扩散模型，但生成不安全内容和伪造图像的风险更高，挑战现有检测方法。

Comments Accepted by CVPR 2026. 15 pages, 11 figures

Who Benefits from RAG? The Role of Exposure, Utility and Attribution Bias

谁从RAG中受益？曝光、效用和归因偏差的作用

Mahdi Dehghan, Graham McDonald

机构 * University of Glasgow, Glasgow, UK（格拉斯哥大学，格拉斯哥，英国） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本文研究RAG中查询组公平性的影响因素，发现RAG系统在不同组查询的平均准确率和改进上存在偏差，揭示了曝光、效用和归因对公平性的重要性。

Adapting Point Cloud Analysis via Multimodal Bayesian Distribution Learning

通过多模态贝叶斯分布学习适应点云分析

Xingyu Zhu, Liang Yi, Shuo Wang, Wenbo Zhu, Yonglinag Wu, Beier Zhu, Hanwang Zhang

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（脑信息处理实验室，中国科学技术大学） ； Opus AI Research（Opus AI研究院） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出BayesMM框架，通过多模态贝叶斯分布学习实现测试时点云分析的持续适应，利用文本先验和流式视觉特征的高斯分布融合，提升在分布偏移下的鲁棒性。

Comments CVPR 2026

DUPLEX: Agentic Dual-System Planning via LLM-Driven Information Extraction

DUPLEX：基于LLM驱动信息提取的代理双系统规划

Keru Hua, Ding Wang, Yaoying Gu, Xiaoguang Ma

机构 * Midea Corporate Research Center（美的集团研发中心） ； Midea Group（美的集团） ； Northeastern University（东北大学） ； Engineering Department（工程部） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 DUPLEX通过限制LLM进行结构化语义 grounding，结合符号规划器实现可靠规划，优于现有端到端和混合LLM基线。

Learning Actionable Manipulation Recovery via Counterfactual Failure Synthesis

通过反事实失败合成学习可操作的操纵恢复

Dayou Li, Jiuzhou Lei, Hao Wang, Lulin Liu, Yunhao Yang, Zihan Wang, Bangya Liu, Minghui Zheng, Zhiwen Fan

机构 * Texas A&M University（德克萨斯A&M大学） ； University of Minnesota（明尼苏达大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Abaka AI（Abaka人工智能） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出Dream2Fix框架，通过生成反事实失败场景数据提升机器人故障恢复能力，实现高精度的故障诊断与轨迹修正。

DP^2-VL: Private Photo Dataset Protection by Data Poisoning for Vision-Language Models

DP^2-VL: 通过数据污染保护隐私照片的视觉语言模型隐私威胁模型

Hongyi Miao, Jun Jia, Xincheng Wang, Qianli Ma, Wei Sun, Wangqiu Zhou, Dandan Zhu, Yewen Cao, Zhi Liu, Guangtao Zhai

机构 * Shandong University（山东大学） ； Shanghai Jiao Tong University（上海交通大学） ； Donghua University（东华大学） ； Shanghai Normal University（上海师范大学） ； East China Normal University（华东师范大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出DP2-VL框架，通过数据污染保护隐私照片，分析视觉语言模型在身份关联泄露中的脆弱性，并展示其在不同保护比例下的有效性。

Vision-Language Models vs Human: Perceptual Image Quality Assessment

视觉-语言模型与人类：感知图像质量评估

Imran Mehmood, Imad Ali Shah, Ming Ronnier Luo, Brian Deegan

机构 * School of Engineering, University of Galway（Galway大学工程学院） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光信息获取国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文研究视觉语言模型是否能近似人类对图像质量的感知判断，通过对比心理物理数据，发现模型在颜色丰富度上表现优异，但在对比度上表现较差，且模型一致性与人类对齐性存在矛盾。

PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

PromptLoop: 通过潜在反馈实现扩散模型对齐的即插即用提示精炼

Suhyeon Lee, Jong Chul Ye

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 PromptLoop通过引入潜在反馈的逐步提示精炼方法，提升扩散模型在奖励优化、泛化能力及对抗奖励黑客方面的性能，同时保持灵活性和通用性。

Comments CVPR26 poster. 25 pages, 19 figures

Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

多模态大语言模型和人类语言认知中的量化与物体感知

Raquel Montero, Natalia Moskvina, Paolo Morosi, Tamara Serrano, Elena Pagliarini, Evelina Leivada

机构 * Universitat Autònoma de Barcelona（巴塞罗那自治大学） ； Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高级科研与研究机构（ICREA）） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)

AI总结 本文研究多模态大语言模型和人类在量化中的关键特征，探讨其在模型架构中的编码差异及语言影响。

ViHOI: Human-Object Interaction Synthesis with Visual Priors

ViHOI：基于视觉先验的人-物交互合成

Songjin Cai, Linjie Zhong, Ling Guo, Changxing Ding

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ViHOI通过从2D图像中提取丰富的交互先验，利用扩散模型提升生成质量，实现人-物交互的高质量合成。

Comments Accepted to CVPR 2026

Will It Zero-Shot?: Predicting Zero-Shot Classification Performance For Arbitrary Queries

零样本预测是否可行？：预测任意查询的零样本分类性能

Kevin Robbins, Xiaotong Liu, Yu Wu, Le Sun, Grady McPeak, Abby Stylianou, Robert Pless

机构 * Computer Science George Washington University Washington, DC, USA（计算机科学 华盛顿大学 华盛顿特区, 美国） ； Computer Science Saint Louis University Saint Louis, USA（计算机科学 圣路易斯大学 圣路易斯, 美国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文通过生成相关图像提升零样本分类性能预测的准确性，并为用户提供反馈，帮助非专家用户评估视觉语言模型在特定任务上的有效性。

Journal ref 2025 IEEE International Conference on Data Mining Workshops (ICDMW), Washington, DC, USA, 12-15 November 2025

E0: Enhancing Generalization and Fine-Grained Control in VLA Models via Tweedie Discrete Diffusion

E0: 通过 Tweedie 离散扩散增强 VLA 模型的泛化能力与细粒度控制

Zhihao Zhan, Jiaying Zhou, Likui Zhang, Qinhan Lv, Hao Liu, Jusheng Zhang, Weizheng Li, Ziliang Chen, Tianshui Chen, Ruifeng Zhai, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出 E0 框架，通过离散扩散方法提升 VLA 模型在多任务和多视角下的泛化能力，并实现精细可控的动作生成。

Language Models Can Explain Visual Features via Steering

语言模型可通过引导解释视觉特征

Javier Ferrando, Enrique Lopez-Cuena, Pablo Agustin Martin-Torres, Daniel Hinjos, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center（巴塞罗那超级计算中心） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过因果干预引导语言模型解释视觉特征，提供了一种可扩展的替代方法，提升视觉模型的可解释性。

Comments Accepted at CVPR 2026

Geometry-Guided Camera Motion Understanding in VideoLLMs

基于几何的视频LLMs中相机运动理解

Haoan Feng, Sri Harsha Musunuri, Guan-Ming Su

机构 * University of Maryland, College Park（马里兰大学College Park分校） ； Dolby Laboratories Inc.（杜比实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过基准测试、诊断和注入框架，解决视频LLMs中相机运动表示不足的问题，通过CameraMotionDataset和CameraMotionVQA基准，提升模型对相机运动的识别能力。

Comments 10 pages, 7 figures, supplementary included CVPR2026 PVUW

From Panel to Pixel: Zoom-In Vision-Language Pretraining from Biomedical Scientific Literature

从面板到像素：从生物医学科学文献中进行缩放视觉-语言预训练

Kun Yuan, Min Woo Sun, Zhen Chen, Alejandro Lozano, Xiangteng He, Shi Li, Nassir Navab, Xiaoxiao Sun, Nicolas Padoy, Serena Yeung-Levy

机构 * University of Strasbourg, CNRS, INSERM, ICube, UMR7357, Strasbourg, France（斯特拉斯堡大学、法国国家科学研究中心、法国国家医学研究院、ICube、UMR7357、斯特拉斯堡，法国） ； Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） ； DSAI, The Hong Kong Polytechnic University（香港理工大学DSAI实验室） ； University of British Columbia（不列颠哥伦比亚大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； IHU Strasbourg, Strasbourg（斯特拉斯堡IHU医院，斯特拉斯堡） ； Vector Institute for AI（人工智能向量研究所） ； Yale University（耶鲁大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Panel2Patch方法，通过挖掘生物医学文献中的层次结构，生成多粒度监督，提升视觉-语言预训练效果。

Cross-Modal Prototype Alignment and Mixing for Training-Free Few-Shot Classification

跨模态原型对齐与混合用于无训练少样本分类

Dipam Goswami, Simone Magistri, Gido M. van de Ven, Bartłomiej Twardowski, Andrew D. Bagdanov, Tinne Tuytelaars, Joost van de Weijer

机构 * Department of Computer Science, Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学计算机科学系） ； Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心） ； Media Integration and Communication Center, University of Florence, Italy（佛罗伦萨大学媒体整合与传播中心） ； Bernoulli Institute, University of Groningen, the Netherlands（格罗宁根大学伯努利学院） ； IDEAS Research Institute, Poland（波兰IDEAS研究所） ； ESAT-PSI, KU Leuven, Belgium（比利时KU莱顿大学ESAT-PSI） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文研究了直接混合图像与文本原型对少样本分类的影响，提出通过投影获取语义对齐的图像子空间，结合文本嵌入和图像特定LDA分类器提升性能。

Comments Preprint