视觉大模型 / VLM

Artificial Intelligence for Software Architecture: Literature Review and the Road Ahead

人工智能用于软件架构：文献综述与未来之路

Alessio Bucaioni, Martin Weyssow, Junda He, Yunbo Lyu, David Lo

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 通过系统文献综述，识别AI在软件架构中应用的14个主题领域和6个AI特有挑战，并基于实证访谈提出五大战略支柱的研究路线图。

Comments 37 pages, accepted for publication in TOSEM

LLM-Based Generalizable Hierarchical Task Planning and Execution for Heterogeneous Robot Teams with Event-Driven Replanning

基于LLM的异构机器人团队通用分层任务规划与执行及事件驱动重规划

Suraj Borate, Bhavish Rai B, Vipul Pardeshi, Madhu Vadali

机构 * Department of Mechanical Engineering, IIT Gandhinagar（印度加尔各直辖区理工学院机械工程系） ； Sahyadri College of Engineering and Management（萨哈亚德里工程与管理学院） ； Vishwakarma Institute of Information Technology（维什瓦克arma信息技术学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)

AI总结 提出CoMuRoS架构，结合集中式规划与分布式执行，通过LLM解释自然语言目标、分配子任务，并支持事件驱动重规划，在硬件实验中实现自主恢复和协调运输。

Comments full version of this short paper is accepted at Frontiers in Robotics and AI Journal

A Recipe for Long-Context Reasoning in Large Language Models via On-Policy Optimization and Distillation

结合在线优化与蒸馏以提升大语言模型的长上下文推理能力

Miguel Moura Ramos, Duarte M. Alves, André F. T. Martins

机构 * Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院） ； Instituto de Telecomunicações（电信研究所） ； TransPerfect（TransPerfect公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文提出dGRPO方法，结合在线优化与蒸馏，通过强教师模型提供密集指导，提升长上下文推理能力，同时保持短上下文能力。

ALAS: An Automatic Latent Alignment Score for Audio Language Models

ALAS：音频语言模型的自动潜在对齐分数

Pooneh Mousavi, Yingzhi Wang, Mirco Ravanelli, Cem Subakan

机构 * Concordia University（Concordia 大学） ； Mila-Quebec AI Institute（Mila-Quebec 人工智能研究所） ； Centrale Supelec（Centrale Supelec 研究院） ； Laval University（Laval 大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出ALAS指标，通过计算音频与文本表示的跨模态余弦相似度，无需训练即可评估语音-LLM的音频-文本对齐质量，揭示模型对齐深度与任务需求的关系。

Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy

评估多源RAG中的事实密度：医学AI准确性研究

Michael R. DeMarco

机构 * NexusAgentics 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 针对标准RAG管道因专家盲视效应而忽视高密度事实证据的问题，提出事实密度（FD*）作为检索优化信号，通过概率事实性分析预处理和Z-score归一化消除长度偏差，在HealthFC基准上实现100%系统综述覆盖率。

Comments 16 pages, 8 tables. Includes Experiment 3 results (n=11, Wilcoxon p=0.0619). Preliminary findings; powered Experiment 3 and Graph RAG extension identified as future work. Updated from v1

Beyond Text: Probing K-12 Educators' Perspectives and Ideas for Learning Opportunities Leveraging Multimodal Large Language Models

超越文本：探索K-12教育工作者对利用多模态大语言模型学习机会的视角和想法

Tiffany Tseng, Katelyn Lam, Tiffany Lin Fu, Alekhya Maram

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 研究通过工作坊探讨K-12教育工作者对多模态大语言模型在教育中的应用看法，分析其面临的挑战与需求，提出两种用户导向的实施方法。

CoVEBench: Can Video Editing Models Handle Complex Instructions?

CoVEBench: 视频编辑模型能处理复杂指令吗？

Jiangtao Wu, Jiaming Wang, Yiwen He, Yuanxing Zhang, Shihao Li, Dunyuan Liu, Xuedong Zhao, Jialu Chen, Zekun Moore Wang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。

Comments 34 pages, 11 figures, 9 tables

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

几何在发挥作用吗？对双曲视觉-语言模型层次性的工作点审计

Jaeyoung Kim, Eunseok Kim, Dongsuk Jang

机构 * MADI 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究针对双曲视觉-语言模型是否利用其几何特性的问题，提出多组诊断指标审计三类主流模型，发现其实际未激活双曲径向/锥机制，层次性表现与几何特性无关。

Comments 48 pages, 5 figures, Under review at TMLR

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent：当视频详细描述器通过代理自我反思而自我进化

Qiang Wang, Xinyuan Gao, Yuhang He, Jizhou Han, Jiangyang Li, SongLin Dong, Zhiheng Ma, Yihong Gong

机构 * Xi’an Jiaotong University（西安交通大学） ； Kuaishou Technology（快手科技） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 VDC-Agent通过自我反思机制实现视频详细描述的自我进化，利用自动生成的(描述，评分)对提升描述准确性与评分表现。

Comments Accepted to ECCV 2026. Project Page: https://vdcagent.github.io

Text Steganography with Dynamic Codebook and Multimodal Large Language Model

基于动态代码本和多模态大语言模型的文本隐写术

Jianxin Gao, Ruohan Lei, Wanli Peng

机构 * China Agricultural University（中国农业大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于动态代码本和多模态大语言模型的文本隐写术，通过共享会话配置和多模态模型构建动态代码本，设计加密隐写映射并引入反馈优化机制，提升隐写术的安全性和实用性。

Personalize Your Large Vision-language Models With In-context Prompt Tuning

用上下文提示调优个性化你的大型视觉语言模型

Yanshu Li, Jiaqian Li, Kuai Yu, Xi Xiao, Dongfang Liu, Tianyang Wang, Ruixiang Tang

机构 * Brown University（布朗大学） ； Columbia University（哥伦比亚大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出上下文提示调优（ICPT）方法，通过轻量投影模块从多参考图像中提取细粒度视觉语义并转化为连续提示，结合几何正则化解决环境偏差和跨概念干扰，实现高效个性化。

Comments Accepted at ECCV 2026, 27 pages, 10 figures, 5 tables

From Pixels to Prompts: Vision-Language Models

从像素到提示：视觉-语言模型

Khang Nhat Hoang Vo

机构 * MBZUAI 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文探讨了视觉-语言模型的发展历程，旨在提供清晰的认知框架，帮助读者理解该领域的核心概念和应用，而非罗列所有数据集和模型变体。

The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

错觉-错觉：视觉语言模型在不存在错觉的地方看到错觉

Tomer Ullman

机构 * Harvard University（哈佛大学） 纠错

专题命中 其他VLM ：vision language model(title,abstract)；分类 cs.CV

AI总结 研究通过给视觉语言模型呈现不应引发处理错误的‘错觉-错觉’，发现许多模型会误将其视为错觉，揭示了模型存在基本处理错误，此失败是文献中更广泛失败的一部分。

Comments 9 pages, 5 figures

Region-Aware Multimodal Large Language Model via SlowFast Tokenization and Pseudo-Mask Guidance for 3D CT Report Generation

区域感知多模态大语言模型：基于慢快标记化与伪掩码引导的3D CT报告生成

Sunggu Kyung, Jinyoung Seo, Hyunseok Lim, Dongyeong Kim, Hyungbin Park, Jimin Sung, Jihyun Kim, Wooyoung Jo, Yoojin Nam, Namkug Kim

机构 * Department of Convergence Medicine, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea（韩国首尔峨山医疗中心蔚山大学医学院融合医学系） ； University of Ulsan College of Medicine, Seoul, Republic of Korea（韩国首尔蔚山大学医学院） ； Department of Radiology and Research Institute of Radiology, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea（韩国首尔峨山医疗中心蔚山大学医学院放射科与放射学研究所） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 提出MedRegion-CT框架，通过区域慢快标记器联合建模全局与细粒度信息、伪掩码引导关注诊断关键区域、结构化病变信息提示，实现高质量CT报告生成，在多项指标上达到最优。

Comments Accepted to ECCV 2026. 15 pages, 8 figures, 4 tables

Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

文化反事实：用反事实示例评估大型视觉语言模型中的文化偏见

Phillip Howard, Xin Su, Kathleen C. Fraser

机构 * Thoughtworks ； University of Ottawa（Ottawa大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出文化反事实数据集（近6万张反事实图像），通过图像编辑模型将不同人口特征的人置于真实文化背景中，量化大型视觉语言模型在宗教、国籍和社会经济地位方面的文化偏见。

Multilingual Training and Evaluation Resources for Vision-Language Models

面向视觉语言模型的多语言训练和评估资源

Daniela Baiamonte, Elena Fano, Matteo Gabburo, Stefano Simonazzi, Leonardo Rigutini, Andrea Zugarini

机构 * Villanova.ai ； Aithlas 纠错

专题命中 其他VLM ：vision-language model(title)；vision language model(abstract)；分类 cs.AI

AI总结 本文提出跨五种欧洲语言的视觉语言模型训练与评估资源，通过再生与翻译方法生成高质量多语言数据，验证多语言数据在非英语基准上的有效性。

Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models

属性应来自图像，而非类名：视觉语言模型的分布条件属性选择

Gautam Rajendrakumar Gare, Jia Shi, Zhiqiu Lin, Deepak Pathak, John Galeotti, Deva Ramanan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 其他VLM ：vision-language model(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究视觉语言模型可解释零样本分类，指出基于类名的描述符视觉证据不足。提出从目标图像集选属性的方法，该方法提升了准确率，性能优于CoOp，用时短，所选属性还能描述数据分布，是一种有效的分布条件属性选择策略。

Comments Accepted at the PFATCV Workshop, ECCV 2026. Project page: https://ggare-cmu.github.io/AttributeSelect/

GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models

GePBench：评估多模态大语言模型的基础几何感知能力

Shangyu Xing, Changhao Xiang, Yuteng Han, Yifan Yue, Zhen Wu, Xinyu Liu, Zhangtai Wu, Fei Zhao, Xinyu Dai

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)

AI总结 提出GePBench基准，系统评估多模态大语言模型的几何形状识别与空间关系感知能力，发现现有模型存在显著缺陷，而基于该基准训练可提升下游任务性能。

EvoIR-Agent: Self-Evolving Image Restoration Agentic System via Experience-Driven Learning

EvoIR-Agent: 通过经验驱动学习实现自进化图像修复智能体

Kailin Zhuang, Jiawei Wu, Zhi Jin

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出EvoIR-Agent，通过经验驱动学习解决图像修复中经验不足导致的规划失败问题，通过构建分层经验池和自进化机制提升修复性能和效率，实验表明其在全参考指标上表现优异，且在性能与效率之间取得显著平衡。

Comments Temporarily withdrawn for institutional clearance and compliance review. A revised version will be uploaded once the process is finalized

Is Oracle Pruning the True Oracle?

Oracle剪枝真的是真正的Oracle吗？

Sicheng Feng, Keda Tao, Huan Wang

机构 * Westlake University（西湖大学） ； Nankai University（南开大学） ； ENCODE Lab, Westlake University（西湖大学ENCODE实验室） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文通过大规模实验（37K模型）发现，对于中等规模以上的深度学习模型，Oracle剪枝选择的权重在重训练后性能与重训练前几乎无关，质疑了Oracle剪枝作为剪枝方法基础的有效性。

Comments TMLR, Webpage: https://fscdc.github.io/Oracle-Pruning-Sanity-Check/

Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

Dress-ED：基于指令的虚拟试穿和试脱编辑

Davide Lobba, Fulvio Sanguigni, Bin Ren, Marcella Cornia, Rita Cucchiara, Nicu Sebe

机构 * University of Modena（摩德纳大学） ； University of Trento（特伦托大学） ； University of Pisa（比萨大学） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出Dress-ED数据集，首次统一了虚拟试穿、试脱和文本引导的服装编辑，包含146k个样本，涵盖外观和结构修改，提供统一的多模态扩散框架作为指令驱动的VTON和VTOFF基线。

Comments Accepted at ECCV 2026. Project page at https://aimagelab.github.io/Dress-ED/

SLU-2K: A Question-Based Benchmark for Semantic Evaluation of Sign Language Translation

SLU-2K：基于问题的手语翻译语义评估基准

Zeno Testa, Antonino Furnari, Lorenzo Baraldi, Natalia Díaz-Rodríguez

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Catania（卡塔尼亚大学） ； University of Granada（格拉纳达大学） ； CITIC & DaSCI Institute（CITIC与DaSCI研究所） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出SLU-2K基准，通过2350个视频问答对评估手语翻译的语义理解，揭示当前系统在语义正确性上的不足。

Comments Accepted at the GenSign Workshop, CVPR 2026

Efficient Scaling of LLM Training with Flexible Context Parallelism

利用灵活上下文并行实现LLM训练的高效扩展

Yifan Niu, Han Xiao, Dongyi Liu, Wei Zhou, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对数据异构导致负载不均和通信冗余问题，提出自适应重配置通信组和上下文并行度的FCP策略，实现近线性加速比，最高达1.46倍吞吐提升。

MiniGPT-Reverse-Designing: Predicting Image Adjustments Utilizing MiniGPT-4

MiniGPT-反向设计：利用MiniGPT-4预测图像调整

Vahid Azizi, Fatemeh Koochaki

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过扩展和微调MiniGPT-4，使其可应用于给定源图像、编辑后图像及可选文本描述来预测图像编辑操作与参数的反向设计任务，验证了现成VLMs在复杂多模态任务中的可扩展性。

Comments 8 pages, 7 figures

Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels

整体最优标签选择用于在部分标签下的鲁棒提示学习

Yaqi Zhao, Haoliang Sun, Yating Wang, Yongshun Gong, Yilong Yin

机构 * Shandong University, Jinan, China（山东大学（济南，中国）） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Holistic Optimal Label Selection方法，通过局部密度过滤和全局最优传输策略，提升部分标签下的提示学习性能，实验表明其在八个基准数据集上表现优异。

Comments ECCV 2026

CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space

CLAY：视觉相似性模拟能力在视觉-语言嵌入空间中的条件性

Sohwi Lim, Lee Hyoseok, Jungjoon Park, Tae-Hyun Oh

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 CLAY通过重构预训练视觉-语言模型的嵌入空间，实现基于文本条件的灵活相似性计算，提升多条件检索效率与准确性。

Comments CVPR 2026, Project page: https://sohwi-lim.github.io/CLAY

BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning

BOFA: 基于CLIP的类增量学习中的桥接层正交低秩融合

Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出BOFA框架，通过将适应限制在CLIP的跨模态桥接层并使用正交低秩融合防止遗忘，无需额外参数或数据回放，实现高效类增量学习。

Comments Accepted by AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(27): 22967-22975, 2026

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN: 基于CLIP的类增量学习中的层次表示匹配

Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * School of Artificial Intelligence and the State Key Laboratory for Novel Software Technology, Nanjing University（人工智能学院和新型软件技术国家重点实验室，南京大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出HERMAN方法，利用LLM递归生成判别性文本描述，匹配不同语义层次并自适应路由，解决CLIP在类增量学习中的灾难性遗忘问题，在多个基准上取得最优性能。

MMArt: A Multi-Perspective Multimodal Dataset for Visual Art Understanding

MMArt：用于视觉艺术理解的多视角多模态数据集

Shuai Wang, Wangyuan Ding, Yixian Shen, Jia-Hong Huang, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊AGI） ； College of Business and Economics, University of Johannesburg（约翰内斯堡大学经济与商学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 针对现有艺术数据集单视角局限，推出含74234幅WikiArt画作的多视角多模态数据集MMArt，通过分析各视角特性证实多视角设计的必要性，为视觉艺术理解提供支撑。