视觉大模型 / VLM

SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

SycoPhantasy: 量化小型开放权重视觉-语言模型中趋炎附势行为与幻觉现象以评估奇幻角色的视觉-语言评分

Arya Shah, Deepali Mishra, Chaklam Silpasuwanchai

机构 * IIT Gandhinagar（印度加尔各答理工学院） ； IIT Kanpur（印度坎浦尔理工学院） ； Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)

AI总结 本文研究小型开放权重VLM在评估图像-文本对齐时是否存在趋炎附势行为，通过引入布林系数量化模型评分与视觉证据的不匹配程度，发现模型规模与趋炎附势率呈负相关。

Comments 13 pages, 12 figures, 6 tables

PushupBench: Your VLM is not good at counting pushups

PushupBench: 你的VLM在计数俯卧撑时并不出色

Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

机构 * Shengzhi Li（李盛之） ； Jiarun Chen（陈佳润） ； Karun Sharma（Sharma 卡鲁恩） ； Jiaqi Su（苏佳琦） ； Shichao Pei（裴世超） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 PushupBench通过446个长视频片段评估重复计数任务，发现最佳模型准确率仅42.1%，开源模型表现更差，表明计数能力反映更广泛的时序推理能力。

From Pixels to Explanations: Interpretable Diabetic Retinopathy Grading with CNN-Transformer Ensembles, Visual Explainability and Vision-Language Models

从像素到解释：结合CNN-Transformer集成、视觉可解释性和视觉语言模型的可解释性糖尿病视网膜病变分级

Pir Bakhsh Khokhar, Carmine Gravino, Fabio Palomba, Sule Yildirim Yayilgan, Sarang Shaikh

机构 * Department of Informatics, University of Salerno（萨勒诺大学信息学院） ； Department of Information Security and Communication Technology (IIK), Norwegian University of Science and Technology（挪威科技大学信息安全部） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出结合强判别模型与多模态解释的方法，利用APTOS 2019基准评估六种CNN和Transformer模型，通过集成策略提升分级一致性，并利用视觉语言模型生成可解释的视网膜病变分级结果。

DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

DRIFT：用于高效MLLM微调的推理先验转移

Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

机构 * University of Rochester（罗切斯特大学） ； AMD 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 DRIFT通过在梯度空间中转移推理知识，实现高效稳定的多模态推理迁移，优于传统方法并在数据和计算上更高效。

Comments ACL 2026 camera-ready; Project Page: https://wikichao.github.io/DRIFT/

CheXmix: Unified Generative Pretraining for Vision Language Models in Medical Imaging

CheXmix：用于医学影像的统一生成预训练

Ashwin Kumar, Robbie Holland, Corey Barrett, Jangwon Kim, Maya Varma, Zhihong Chen, Yunhe Gao, Greg Zaharchuk, Tara Taghavi, Krishnaram Kenthapadi, Akshay Chaudhari

机构 * Stanford AIMI, Stanford University（斯坦福大学AIMI研究所，斯坦福大学） ； Oracle Health AI（Oracle健康AI） ； Department of Radiology, Stanford University（斯坦福大学放射科） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 CheXmix通过统一早融合生成方法，在医学影像中实现更精确的联合表征学习，优于现有生成模型，在多个任务上表现突出。

Comments CVPR Findings (2026)

LinguDistill: Recovering Linguistic Ability in Vision-Language Models via Selective Cross-Modal Distillation

LinguDistill: 通过选择性跨模态蒸馏恢复视觉语言模型中的语言能力

Patrick Amadeus Irawan, Erland Hilman Fuadi, Shanu Kumar, Alham Fikri Aji, Yova Kementchedjhieva

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·本·扎耶德人工智能大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出LinguDistill方法，通过利用冻结的原始语言模型作为教师，选择性蒸馏语言信号以恢复语言能力，同时保持视觉基础，提升了语言和知识基准性能。

NVILA: Efficient Frontier Visual Language Models

NVILA：高效的前沿视觉语言模型

Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu

机构 * NVIDIA ； MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； UC San Diego（加州大学圣地亚哥分校） ； University of Washington（华盛顿大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：visual language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 NVILA通过'缩放后再压缩'方法提升效率与准确性，降低训练和推理成本，适用于高分辨率图像和长视频处理。

Comments CVPR 2025. Project page: https://z-lab.ai/projects/nvila/

MIRAGE: A Micro-Interaction Relational Architecture for Grounded Exploration in Multi-Figure Artworks

MIRAGE：一种面向多人物艺术品 grounded 探索的微交互关系架构

Jui-Cheng Chiu, Yu-Chao Wang, Shengyang Luo, Tongyan Wang, Qi Yang, Nabin Khanal, Yingjie Victor Chen

机构 * Purdue University（普渡大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 MIRAGE通过构建结构化中间表示，提升多人物艺术品中微交互的识别与解释，增强身份一致性并减少关系幻觉。

Comments 14 pages (11 pages main text), 6 figures, 1 table

ESPADA: Execution Speedup via Semantics Aware Demonstration Data Downsampling for Imitation Learning

ESPADA：通过语义感知演示数据下采样提升执行速度的模仿学习

Byung-ju Kim, Jinu Pahk, Chungwoo Lee, Jaejoon Kim, Jangha Lee, Theo Taeyeong Kim, Kyuhwan Shim, Jun Ki Lee, Byoung-Tak Zhang

机构 * Tommoro Robotics（Tommoro机器人公司） ； Seoul National University（首尔国立大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 ESPADA通过语义和空间感知框架，利用VLM-LLM管道对演示进行分段，仅在非关键部分进行激进下采样，保持关键阶段的精度，无需额外数据或架构修改，实现约2倍的执行速度提升。

Comments project page: https://project-espada.github.io/espada/

Evaluating Remote Sensing Image Captions Beyond Metric Biases

超越度量偏差的遥感图像描述评估

Ziyun Chen, Fan Liu, Liang Yao, Chuanyi Zhang, Yuye Ma, Wei Zhou

机构 * Hohai University（河海大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出ReconScore指标，通过文本重建能力评估描述质量，发现未微调的MLLM在零样本遥感图像描述任务中表现更优，并引入无需训练的RemoteDescriber方法提升语义精度。

Beyond Cross-Modal Alignment: Measuring and Leveraging Modality Gap in Vision-Language Models

超越跨模态对齐：测量和利用模态差距在视觉-语言模型中

Hanqi Yan, Xiangxiang Cui, Lu Yin, Jindong Gu, Paul Pu Liang, Yulan He, Yifei Wang

机构 * King’s College London（伦敦国王学院） ； University of Surrey（萨里大学） ； University of Oxford（牛津大学） ； MIT CSAIL（麻省理工学院CSAIL实验室） ； The Alan Turing Institute（阿兰·图灵研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过测量和利用模态差距改进视觉-语言模型的下游任务，引入模态主导分数和自动可解释性度量，实现轻量级编辑和系统分析。

Comments accepted by ACL26-findings

LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models

LearnPruner: 重新思考基于注意力的视觉语言模型中令牌修剪

Rinyoichi Takezoe, Yaqian Li, Zihao Bo, Anzhou Hou, Mo Guang, Kaiwen Long

机构 * Li Auto Inc.（利自动公司） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出LearnPruner，通过两阶段令牌修剪框架在视觉语言模型中实现高效修剪，保留95%性能的同时减少5.5%视觉令牌使用，提升3.2倍推理速度。

Comments Accepted to ICLR 2026

Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency

大型视觉语言模型的结构剪枝：对剪枝动态、恢复和数据效率的全面研究

Yiran Huang, Lukas Thede, Massimiliano Mancini, Wenjia Xu, Zeynep Akata

机构 * Technical University of Munich, Germany（慕尼黑技术大学，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国） ； Helmholtz Munich, Germany（海德堡-慕尼黑赫尔姆霍尔茨研究中心，德国） ； University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国） ； University of Trento, Italy（特伦托大学，意大利） ； Beijing University of Posts and Telecommunications, China（北京邮电大学，中国） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)

AI总结 本文研究了通过结构化剪枝压缩现有大型视觉语言模型的方法，发现宽度剪枝在低资源环境下表现更优，结合监督微调和隐藏状态蒸馏可实现高效恢复，仅需5%的数据即可保持95%性能。

Comments Accepted at International Journal of Computer Vision (IJCV) 2026

Structural and Disentangled Adaptation of Large Vision Language Models for Multimodal Recommendation

大型视觉语言模型的结构和解耦适应用于多模态推荐

Zhongtao Rao, Peilin Zhou, Dading Chong, Zhiwei Chen, Shoujin Wang, Nan Tang

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)

AI总结 本文提出SDA框架，通过跨模态结构对齐和模态解耦适应，解决多模态推荐中表示不一致和梯度冲突问题，实验显示在三个Amazon数据集上提升了推荐性能。

Comments Accepted to SIGIR '26

PhySE: A Psychological Framework for Real-Time AR-LLM Social Engineering Attacks

PhySE: 一种用于实时AR-LLM社会工程攻击的心理学框架

Tianlong Yu, Yang Yang, Ziyi Zhou, Jiaying Xu, Siwei Li, Tong Guan, Kailong Wang, Ting Bi

机构 * Hubei University（湖北大学） ； Apple Inc（苹果公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；visual language model(abstract)；分类 cs.AI

AI总结 PhySE通过视觉语言模型的社会上下文训练和自适应心理代理，解决AR-LLM社会工程攻击中的冷启动个性化和静态攻击策略问题，提升实时交互效果。

Not All Directions Matter: Towards Structured and Task-Aware Low-Rank Model Adaptation

并非所有方向都重要：迈向结构化和任务感知的低秩模型适应

Xi Xiao, Chenrui Ma, Yunbei Zhang, Chen Liu, Zhuxuanzi Wang, Yanshu Li, Lin Zhao, Guosheng Hu, Tianyang Wang, Hao Xu

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； University of Virginia（弗吉尼亚大学） ； Tulane University（路易斯安那州立大学） ； Yale University（耶鲁大学） ； Brown University（布朗大学） ； Northeastern University（东北大学） ； University of Bristol（布里斯托尔大学） ； Harvard University（哈佛大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV

AI总结 本文提出StructLoRA框架，通过信息瓶颈引导过滤和图协调器解决低秩适应中的语义漂移和结构不一致问题，实验证明其在多种模型上均优于传统LoRA及其他方法，尤其在低秩和低数据场景下表现突出。

Comments ACL 2026

For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs

For-Value：高效前向仅数据估值用于微调LLM和VLM

Wenlong Deng, Qi Zeng, Jiaming Zhang, Minghui Chen, Zixin Ding, Christos Thrampoulidis, Boying Gong, Xiaoxiao Li

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Meta 纠错

专题命中 VLM训练与架构 ：VLM(title_cn)；vision-language model(abstract)

AI总结 本文提出For-Value框架，通过前向计算高效评估数据价值，无需反向传播，提升大规模模型训练效率。

Learning an Image Editing Model without Image Editing Pairs

无需图像编辑配对学习图像编辑模型

Nupur Kumari, Sheng-Yu Wang, Nanxuan Zhao, Yotam Nitzan, Yuheng Li, Krishna Kumar Singh, Richard Zhang, Eli Shechtman, Jun-Yan Zhu, Xun Huang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出无需配对数据的图像编辑模型训练方法，通过扩散模型解卷积和视觉语言模型反馈实现端到端优化，同时结合分布匹配损失提升视觉真实性。

Comments project page: https://nupurkmr9.github.io/npedit/ ICLR 2026

Aligned Multi-View Scripts for Universal Chart-to-Code Generation

对齐的多视图脚本用于通用图表到代码生成

Zhihan Zhang, Lizi Liao

机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Chart2NCode数据集和CharLuMA模型，通过多语言监督提升图表到代码生成的可执行性和视觉一致性，优于开源基线并具备竞争力。

Comments Accepted to ACL 2026 Main Conference

SMoES: Soft Modality-Guided Expert Specialization in MoE-VLMs

SMoES：在MoE-VLMs中的软模态引导专家专业化

Zi-Hao Bo, Yaqian Li, Anzhou Hou, Rinyoichi Takezoe, Ertao Zhao, Tianxiang Pan, Jiale Yan, Mo Guang, Kaiwen Long

机构 * Li Auto Inc.（李自动公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出SMoES，通过动态软模态评分、专家分组机制和互信息正则化，提升MoE-VLMs的模态感知专家专业化，实验显示在多模态和语言任务上平均提升0.9%和4.2%，通信开销降低56.1%，吞吐量提升12.3%。

Comments CVPR 2026

Agri-CPJ: A Training-Free Explainable Framework for Agricultural Pest Diagnosis Using Caption-Prompt-Judge and LLM-as-a-Judge

Agri-CPJ：一种无需训练的可解释框架，用于利用Caption-Prompt-Judge和LLM-as-a-Judge进行农业害虫诊断

Wentao Zhang, Qi Zhang, Mingkun Xu, Mu You, Henghua Shen, Zhongzhi He, Keyan Jin, Derek F. Wong, Tao Fang

机构 * Business School, Shandong University of Technology（山东理工大学商学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） ； Guangdong Institute of Intelligent Science and Technology（广东智能科学与技术研究院） ； Macau Millennium College（澳门 millennium 学院） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Agri-CPJ框架，通过生成结构化形态描述并利用LLM进行判断，解决农业病害诊断中模型易产生错误物种名称和推理不可用的问题，实验显示其在病害分类和问答评分上有显著提升。

Comments This work is an expanded version of our prior paper published in the IEEE ICASSP 2026 conference arXiv:2512.24947, from 4 to 20+ pages, presenting a well-structured and principled framework, extensive experiments, and deeper insights. Tao Fang is the corresponding author

GA2-CLIP: Generic Attribute Anchor for Efficient Prompt Tuningin Video-Language Models

GA2-CLIP：通用属性锚点用于视频-语言模型高效提示微调

Bin Wang, Ruotong Hu, Wentong Li, Wenqian Wang, Mingliang Gao, Runmin Cong, Wei Zhang, Xudong Jiang

机构 * Shandong Provincial Key Laboratory of New Power Distribution & Utilization Technology and Equipment, School of Electrical and Electronic Engineering, Shandong University of Technology（山东省新型电力分布与利用技术及设备重点实验室，山东理工大学电气与电子工程学院） ； School of Computer Science and Technology, Shandong University of Technology（山东理工大学计算机科学与技术学院） ； School of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； Pillar of Information Systems Technology and Design, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计 pillar） ； School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 GA2-CLIP通过引入外部监督提示和无关视频集，优化视频任务中V-L模型的泛化性能，防止语义空间过拟合，提升模型在新类别预测上的表现。

Comments Technical Report

Complete Cyclic Subtask Graphs for Tool-Using LLM Agents: Flexibility, Cost, and Bottlenecks in Multi-Agent Workflows

完全循环子任务图用于工具使用LLM代理：多代理工作流程中的灵活性、成本和瓶颈

Luay Gharzeddine, Samer Saab

机构 * Lebanese American University（黎巴嫩美国大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文研究了完全循环子任务图，通过分析不同基准测试发现，多代理工作流程中灵活性可能带来协调成本和推理成本，而外部任务瓶颈可能主导性能。

ANCHOR: LLM-driven Subject Conditioning for Text-to-Image Synthesis

ANCHOR：基于大语言模型的文本到图像合成中的主体条件化

Aashish Anantha Ramakrishnan, Sharon X. Huang, Dongwon Lee

机构 * Optum AI ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 ANCHOR通过大规模抽象式标题数据集研究文本到图像合成中多主体理解与上下文推理的缺陷，提出基于大语言模型的主体感知微调方法，提升图像-标题一致性与人类偏好对齐。

Comments Accepted to The 64th Annual Meeting of the Association for Computational Linguistics (ACL) 2026