视觉大模型 / VLM

Beyond Text: Probing K-12 Educators' Perspectives and Ideas for Learning Opportunities Leveraging Multimodal Large Language Models

超越文本：探索K-12教育工作者对利用多模态大语言模型学习机会的视角和想法

Tiffany Tseng, Katelyn Lam, Tiffany Lin Fu, Alekhya Maram

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 研究通过工作坊探讨K-12教育工作者对多模态大语言模型在教育中的应用看法，分析其面临的挑战与需求，提出两种用户导向的实施方法。

CoVEBench: Can Video Editing Models Handle Complex Instructions?

CoVEBench: 视频编辑模型能处理复杂指令吗？

Jiangtao Wu, Jiaming Wang, Yiwen He, Yuanxing Zhang, Shihao Li, Dunyuan Liu, Xuedong Zhao, Jialu Chen, Zekun Moore Wang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。

Comments 34 pages, 11 figures, 9 tables

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

几何在发挥作用吗？对双曲视觉-语言模型层次性的工作点审计

Jaeyoung Kim, Eunseok Kim, Dongsuk Jang

机构 * MADI 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究针对双曲视觉-语言模型是否利用其几何特性的问题，提出多组诊断指标审计三类主流模型，发现其实际未激活双曲径向/锥机制，层次性表现与几何特性无关。

Comments 48 pages, 5 figures, Under review at TMLR

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent：当视频详细描述器通过代理自我反思而自我进化

Qiang Wang, Xinyuan Gao, Yuhang He, Jizhou Han, Jiangyang Li, SongLin Dong, Zhiheng Ma, Yihong Gong

机构 * Xi’an Jiaotong University（西安交通大学） ； Kuaishou Technology（快手科技） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 VDC-Agent通过自我反思机制实现视频详细描述的自我进化，利用自动生成的(描述，评分)对提升描述准确性与评分表现。

Comments Accepted to ECCV 2026. Project Page: https://vdcagent.github.io

Text Steganography with Dynamic Codebook and Multimodal Large Language Model

基于动态代码本和多模态大语言模型的文本隐写术

Jianxin Gao, Ruohan Lei, Wanli Peng

机构 * China Agricultural University（中国农业大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于动态代码本和多模态大语言模型的文本隐写术，通过共享会话配置和多模态模型构建动态代码本，设计加密隐写映射并引入反馈优化机制，提升隐写术的安全性和实用性。

Personalize Your Large Vision-language Models With In-context Prompt Tuning

用上下文提示调优个性化你的大型视觉语言模型

Yanshu Li, Jiaqian Li, Kuai Yu, Xi Xiao, Dongfang Liu, Tianyang Wang, Ruixiang Tang

机构 * Brown University（布朗大学） ； Columbia University（哥伦比亚大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出上下文提示调优（ICPT）方法，通过轻量投影模块从多参考图像中提取细粒度视觉语义并转化为连续提示，结合几何正则化解决环境偏差和跨概念干扰，实现高效个性化。

Comments Accepted at ECCV 2026, 27 pages, 10 figures, 5 tables

From Pixels to Prompts: Vision-Language Models

从像素到提示：视觉-语言模型

Khang Nhat Hoang Vo

机构 * MBZUAI 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文探讨了视觉-语言模型的发展历程，旨在提供清晰的认知框架，帮助读者理解该领域的核心概念和应用，而非罗列所有数据集和模型变体。

The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

错觉-错觉：视觉语言模型在不存在错觉的地方看到错觉

Tomer Ullman

机构 * Harvard University（哈佛大学） 纠错

专题命中 其他VLM ：vision language model(title,abstract)；分类 cs.CV

AI总结 研究通过给视觉语言模型呈现不应引发处理错误的‘错觉-错觉’，发现许多模型会误将其视为错觉，揭示了模型存在基本处理错误，此失败是文献中更广泛失败的一部分。

Comments 9 pages, 5 figures

Region-Aware Multimodal Large Language Model via SlowFast Tokenization and Pseudo-Mask Guidance for 3D CT Report Generation

区域感知多模态大语言模型：基于慢快标记化与伪掩码引导的3D CT报告生成

Sunggu Kyung, Jinyoung Seo, Hyunseok Lim, Dongyeong Kim, Hyungbin Park, Jimin Sung, Jihyun Kim, Wooyoung Jo, Yoojin Nam, Namkug Kim

机构 * Department of Convergence Medicine, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea（韩国首尔峨山医疗中心蔚山大学医学院融合医学系） ； University of Ulsan College of Medicine, Seoul, Republic of Korea（韩国首尔蔚山大学医学院） ； Department of Radiology and Research Institute of Radiology, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea（韩国首尔峨山医疗中心蔚山大学医学院放射科与放射学研究所） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 提出MedRegion-CT框架，通过区域慢快标记器联合建模全局与细粒度信息、伪掩码引导关注诊断关键区域、结构化病变信息提示，实现高质量CT报告生成，在多项指标上达到最优。

Comments Accepted to ECCV 2026. 15 pages, 8 figures, 4 tables

Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

文化反事实：用反事实示例评估大型视觉语言模型中的文化偏见

Phillip Howard, Xin Su, Kathleen C. Fraser

机构 * Thoughtworks ； University of Ottawa（Ottawa大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出文化反事实数据集（近6万张反事实图像），通过图像编辑模型将不同人口特征的人置于真实文化背景中，量化大型视觉语言模型在宗教、国籍和社会经济地位方面的文化偏见。

Multilingual Training and Evaluation Resources for Vision-Language Models

面向视觉语言模型的多语言训练和评估资源

Daniela Baiamonte, Elena Fano, Matteo Gabburo, Stefano Simonazzi, Leonardo Rigutini, Andrea Zugarini

机构 * Villanova.ai ； Aithlas 纠错

专题命中 其他VLM ：vision-language model(title)；vision language model(abstract)；分类 cs.AI

AI总结 本文提出跨五种欧洲语言的视觉语言模型训练与评估资源，通过再生与翻译方法生成高质量多语言数据，验证多语言数据在非英语基准上的有效性。

Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models

属性应来自图像，而非类名：视觉语言模型的分布条件属性选择

Gautam Rajendrakumar Gare, Jia Shi, Zhiqiu Lin, Deepak Pathak, John Galeotti, Deva Ramanan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 其他VLM ：vision-language model(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究视觉语言模型可解释零样本分类，指出基于类名的描述符视觉证据不足。提出从目标图像集选属性的方法，该方法提升了准确率，性能优于CoOp，用时短，所选属性还能描述数据分布，是一种有效的分布条件属性选择策略。

Comments Accepted at the PFATCV Workshop, ECCV 2026. Project page: https://ggare-cmu.github.io/AttributeSelect/

GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models

GePBench：评估多模态大语言模型的基础几何感知能力

Shangyu Xing, Changhao Xiang, Yuteng Han, Yifan Yue, Zhen Wu, Xinyu Liu, Zhangtai Wu, Fei Zhao, Xinyu Dai

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)

AI总结 提出GePBench基准，系统评估多模态大语言模型的几何形状识别与空间关系感知能力，发现现有模型存在显著缺陷，而基于该基准训练可提升下游任务性能。

EvoIR-Agent: Self-Evolving Image Restoration Agentic System via Experience-Driven Learning

EvoIR-Agent: 通过经验驱动学习实现自进化图像修复智能体

Kailin Zhuang, Jiawei Wu, Zhi Jin

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出EvoIR-Agent，通过经验驱动学习解决图像修复中经验不足导致的规划失败问题，通过构建分层经验池和自进化机制提升修复性能和效率，实验表明其在全参考指标上表现优异，且在性能与效率之间取得显著平衡。

Comments Temporarily withdrawn for institutional clearance and compliance review. A revised version will be uploaded once the process is finalized

Is Oracle Pruning the True Oracle?

Oracle剪枝真的是真正的Oracle吗？

Sicheng Feng, Keda Tao, Huan Wang

机构 * Westlake University（西湖大学） ； Nankai University（南开大学） ； ENCODE Lab, Westlake University（西湖大学ENCODE实验室） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文通过大规模实验（37K模型）发现，对于中等规模以上的深度学习模型，Oracle剪枝选择的权重在重训练后性能与重训练前几乎无关，质疑了Oracle剪枝作为剪枝方法基础的有效性。

Comments TMLR, Webpage: https://fscdc.github.io/Oracle-Pruning-Sanity-Check/

Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

Dress-ED：基于指令的虚拟试穿和试脱编辑

Davide Lobba, Fulvio Sanguigni, Bin Ren, Marcella Cornia, Rita Cucchiara, Nicu Sebe

机构 * University of Modena（摩德纳大学） ； University of Trento（特伦托大学） ； University of Pisa（比萨大学） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出Dress-ED数据集，首次统一了虚拟试穿、试脱和文本引导的服装编辑，包含146k个样本，涵盖外观和结构修改，提供统一的多模态扩散框架作为指令驱动的VTON和VTOFF基线。

Comments Accepted at ECCV 2026. Project page at https://aimagelab.github.io/Dress-ED/

SLU-2K: A Question-Based Benchmark for Semantic Evaluation of Sign Language Translation

SLU-2K：基于问题的手语翻译语义评估基准

Zeno Testa, Antonino Furnari, Lorenzo Baraldi, Natalia Díaz-Rodríguez

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Catania（卡塔尼亚大学） ； University of Granada（格拉纳达大学） ； CITIC & DaSCI Institute（CITIC与DaSCI研究所） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出SLU-2K基准，通过2350个视频问答对评估手语翻译的语义理解，揭示当前系统在语义正确性上的不足。

Comments Accepted at the GenSign Workshop, CVPR 2026

Efficient Scaling of LLM Training with Flexible Context Parallelism

利用灵活上下文并行实现LLM训练的高效扩展

Yifan Niu, Han Xiao, Dongyi Liu, Wei Zhou, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对数据异构导致负载不均和通信冗余问题，提出自适应重配置通信组和上下文并行度的FCP策略，实现近线性加速比，最高达1.46倍吞吐提升。

Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels

整体最优标签选择用于在部分标签下的鲁棒提示学习

Yaqi Zhao, Haoliang Sun, Yating Wang, Yongshun Gong, Yilong Yin

机构 * Shandong University, Jinan, China（山东大学（济南，中国）） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Holistic Optimal Label Selection方法，通过局部密度过滤和全局最优传输策略，提升部分标签下的提示学习性能，实验表明其在八个基准数据集上表现优异。

Comments ECCV 2026

CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space

CLAY：视觉相似性模拟能力在视觉-语言嵌入空间中的条件性

Sohwi Lim, Lee Hyoseok, Jungjoon Park, Tae-Hyun Oh

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 CLAY通过重构预训练视觉-语言模型的嵌入空间，实现基于文本条件的灵活相似性计算，提升多条件检索效率与准确性。

Comments CVPR 2026, Project page: https://sohwi-lim.github.io/CLAY

BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning

BOFA: 基于CLIP的类增量学习中的桥接层正交低秩融合

Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出BOFA框架，通过将适应限制在CLIP的跨模态桥接层并使用正交低秩融合防止遗忘，无需额外参数或数据回放，实现高效类增量学习。

Comments Accepted by AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(27): 22967-22975, 2026

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN: 基于CLIP的类增量学习中的层次表示匹配

Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * School of Artificial Intelligence and the State Key Laboratory for Novel Software Technology, Nanjing University（人工智能学院和新型软件技术国家重点实验室，南京大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出HERMAN方法，利用LLM递归生成判别性文本描述，匹配不同语义层次并自适应路由，解决CLIP在类增量学习中的灾难性遗忘问题，在多个基准上取得最优性能。

Consistency Has a Computable Blind Spot: A Commutation Theory of Label-Free Reliability for Vision-Language Figure Reading

一致性存在可计算的盲区：视觉-语言图表阅读的无标签可靠性交换理论

Rasul Khanbayov, Hasan Kurban

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.LG

AI总结 该研究提出视觉-语言图表阅读的无标签可靠性交换理论，构建无标签、无需训练的检测器，发布REND-EQUIV数据集，揭示一致性盲区可计算，循环重标记可提升性能，解释排序反转现象。

Reliability-Prioritized Fine-Grained Generation in Multimodal Large

多模态大模型中可靠性优先的细粒度生成

Xiaomeng Fan, Wei Wu, Yuwei Wu, Zhi Gao, Shiyu Luo, Mingyang Gao, Haoyu Zhao, Zhenxin Diao, Yuxuan Ba, Lijia Feng, Yunde Jia, Mehrtash Harandi

机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Electrical and Computer System Engineering, Monash University（电子与计算机系统工程系，莫纳什大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大模型细粒度生成易出错的问题，提出GranFact基准和层次感知评估算法，并基于直接偏好优化提出可靠性优先的偏好优化方法，提升细粒度生成同时保持可靠性。

Comments Equal contribution: Xiaomeng Fan and Wu Wei. Corresponding authors: Zhi Gao and Yunde Jia

Render-in-the-Loop: Vector Graphics Generation via Visual Self-Feedback

循环渲染：通过视觉自反馈生成矢量图形

Guotao Liang, Zhangcheng Wang, Juncheng Hu, Haitao Zhou, Ziteng Xue, Jing Zhang, Dong Xu, Qian Yu

机构 * School of Software, Beihang University（北航软件学院） ； Department of Computer Science, The University of Hong Kong（香港大学计算机科学系） ； Paradigm（4Paradigm） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Render-in-the-Loop方法，通过视觉上下文引导矢量图形生成，提升模型对视觉信息的利用效率，实现更高效的SVG生成。

UniICL: Systematizing Unified Multimodal In-context Learning through a Capability-Oriented Taxonomy

UniICL：通过能力导向的分类系统化统一多模态上下文学习

Yicheng Xu, Jiangning Zhang, Zhucun Xue, Teng Hu, Ran Yi, Xiaobin Hu, Yong Liu, Dacheng Tao

机构 * Zhejiang University（浙江大学） ； Shanghai Jiaotong University（上海交通大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出能力导向的分类系统，通过构建UniICL-760K语料库和UniICL-Bench评估体系，提出Context-Adaptive Prototype Modulator模块，提升多模态少样本学习效果。

Towards Realistic Remote Sensing Dataset Distillation with Discriminative Prototype-guided Diffusion

基于判别原型引导扩散的逼真遥感数据集蒸馏研究

Yonghao Xu, Pedram Ghamisi, Qihao Weng

机构 * Computer Vision and Learning Systems, Department of Electrical Engineering, Linköping University（计算机视觉与学习系统，电气工程系，利厄普大学） ； Helmholtz-Zentrum Dresden-Rossendorf, Responsible AI Group（海姆霍尔茨·德累斯顿-罗斯托克研究中心，负责任人工智能小组） ； University of Iceland, Faculty of Electrical and Computer Engineering（冰岛大学，电气与计算机工程学院） 纠错

专题命中 其他VLM ：visual language model(abstract)；分类 cs.CV

AI总结 针对遥感图像解释依赖大量训练数据带来的高成本问题，提出判别原型引导扩散框架，通过提取原型、构建语义锚及筛选候选样本，将大规模数据集浓缩成有代表性的蒸馏数据集用于下游模型训练。

Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

谱不平衡导致低秩持续适应中的遗忘

Hao Gu, Mao-Lin Luo, Zi-Hao Zhou, Han-Chen Zhang, Min-Ling Zhang, Tong Wei

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.LG

AI总结 本文从知识分解角度发现低秩适应存在奇异值谱不平衡，导致遗忘，并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法，有效缓解前后向遗忘。

Comments 21 pages, 7 figures

Towards Interactive Global Geolocation Assistant

迈向交互式全球地理定位助手

Zhiyang Dou, Zipeng Wang, Xumeng Han, Guorong Li, Zhipei Huang, Zhenjun Han

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences (UCAS)（中国科学院大学先进交叉学科学院） ； School of Electronic, Electrical and Communication Engineering, UCAS（中国科学院大学电子、电气与通信工程学院） ； School of Computer Science and Technology, UCAS（中国科学院大学计算机科学与技术学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 提出基于大型视觉语言模型的交互式全球地理定位助手GaGA，通过挖掘图像地理线索并结合世界知识进行定位，支持用户交互，在GWS15k数据集上达到最优性能。