视觉大模型 / VLM

GPA: Learning GUI Process Automation from Demonstrations

GPA：从演示中学习图形用户界面过程自动化

Zirui Zhao, Jun Hao Liew, Yan Yang, Wenzhuo Yang, Ziyang Luo, Doyen Sahoo, Silvio Savarese, Junnan Li

机构 * Salesforce AI Research（Salesforce AI 研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 GPA是一种轻量但通用的基于视觉的机器人流程自动化方法，通过单次演示实现快速稳定的过程回放，解决了传统RPA的脆弱性和当前基于视觉语言模型的GUI代理的非确定性风险，具备鲁棒性、确定性和隐私保护等核心优势。

BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing

BoxComm：基于 boxing 的类别感知评论生成与叙述节奏基准测试

Kaiwen Wang, Kaili Zheng, Rongrong Deng, Yiming Shi, Chenyi Guo, Ji Wu

机构 * Tsinghua University（清华大学） ； Beijing Sport University（北京体育大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出 BoxComm 数据集，包含 445 场世界拳击锦标赛视频及 52000 多条专业评论，通过分类注解和两项新评估方法，解决拳击评论生成中的节奏与类别准确性问题。

Hypothesis Graph Refinement: Hypothesis-Driven Exploration with Cascade Error Correction for Embodied Navigation

假设图细化：基于假设的探索与级联错误校正的具身导航

Peixin Chen, Guoxi Zhang, Jianwei Ma, Qing Li

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院） ； Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出HGR框架，通过假设节点的可修改性实现具身导航中的定向探索，并通过级联校正系统性地纠正错误。实验显示HGR在GOAT-Bench和QA基准上均取得显著提升。

Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies

通过质量多样性提示生成实现视觉-语言-动作模型的红队测试以获得鲁棒的机器人策略

Siddharth Srikanth, Freddie Liang, Ya-Chuan Hsu, Varun Bhatt, Shihan Zhao, Henry Chen, Bryon Tjanaka, Minjune Hwang, Akanksha Saran, Daniel Seita, Aaquib Tabrez, Stefanos Nikolaidis

机构 * Thomas Lord Department of Computer Science, University of Southern California（南加州大学托马斯·洛德计算机科学系） ； Sony AI（索尼AI） ； Sibley School of Mechanical and Aerospace Engineering, Cornell University（康奈尔大学西布利机械与航空航天工程学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出Q-DIG方法，通过生成多样化且相关的语言指令来发现VLA模型的漏洞，提升机器人策略的鲁棒性。

Beyond Standard Benchmarks: A Systematic Audit of Vision-Language Model's Robustness to Natural Semantic Variation Across Diverse Tasks

超越标准基准：对视觉-语言模型在不同任务中对自然语义变化鲁棒性的系统审计

Jia Chengyu, AprilPyone MaungMaung, Huy H. Nguyen, Jinyin Chen, Isao Echizen

机构 * Zhejiang University of Technology（浙江工业大学） ； National Institute of Informatics（国立信息学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文系统评估了视觉-语言模型在自然对抗场景下的鲁棒性，分析了不同模型在零样本图像分类、语义分割和视觉问答中的表现，揭示了鲁棒CLIP模型放大对抗漏洞的问题。

Comments Accepted to ICPR 2026

Enhancing Foundation VLM Robustness to Missing Modality: Scalable Diffusion for Bi-directional Feature Restoration

增强基础视觉语言模型对缺失模态的鲁棒性：可扩展的扩散用于双向特征恢复

Wei Dai, Haoyu Wang, Honghao Chang, Lijun He, Fan Li, Jian Sun, Haixia Bi

机构 * Department of Electronics ； Information \ 'an Jiaotong University Xi'an China ； School of Information ； Communications Engineering \ 'an Jiaotong University Xi'an China ； School of Mathematics ； Statistics \ 'an Jiaotong University Xi'an China ； Information \ 'an Jiaotong University ； Communications Engineering \ 'an Jiaotong University ； Statistics \ 'an Jiaotong University 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.AI

AI总结 本文提出一种通用缺失模态恢复策略，通过增强扩散模型实现双向特征对齐，提升视觉语言模型在模态缺失情况下的鲁棒性和可扩展性。

Comments 10 pages, 8 figures, 6 tables. Experiments and some details have been updated

VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

VLBiasBench: 一个用于评估大视觉-语言模型偏见的综合性基准

Sibo Wang, Xiangkui Cao, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen, Wen Gao

机构 * Key Laboratory of AI Safety of CAS, Institute of Computing Technology (ICT)（中国科学院人工智能安全重点实验室，计算技术研究所） ； University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Peking University（北京大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLBiasBench，通过覆盖九种社会偏见类别和两个交叉偏见类别的大规模数据集，评估大视觉-语言模型的偏见问题，基于15种开源和两种闭源模型进行广泛评估，揭示模型中的偏见特征。

Comments Accepted By TPAMI

Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models

重点至关重要：面向视觉语言模型中幻觉的相位感知抑制

Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong

机构 * Pusan National University（釜山大学） ； Pukyong National University（釜庆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级干预方法，在视觉编码器的聚焦阶段选择性抑制低关注的token，通过单次前向传递统计信息和DPP保留多样视觉线索，减少幻觉的同时保持caption质量，且推理延迟低。

The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models

鲁棒性几何：优化损失景观曲率和特征流形对齐以增强视觉-语言模型的鲁棒微调

Shivang Chopra, Shaunak Halbe, Chengyue Huang, Brisa Maneechotesuwan, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出GRACE框架，通过联合调节参数空间曲率和特征空间不变性，提升视觉-语言模型在分布内准确率、分布外泛化和对抗鲁棒性之间的平衡，实验显示在ImageNet微调中ID准确率提升10.8%，对抗准确率提升13.5%。

Optimizing LLM Prompt Engineering with DSPy Based Declarative Learning

基于DSPy的声明式学习优化大语言模型提示工程

Shiek Ruksana, Sailesh Kiran Kurra, Thipparthi Sanjay Baradwaj

机构 * Vasavi College of Engineering（瓦萨维工程学院） ； Amazon（亚马逊） ； Texas（德克萨斯州） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出基于DSPy的声明式学习方法，通过符号规划、无梯度优化和自动模块重写提升提示优化的可靠性、效率和泛化能力，实验显示事实准确率提升30-45%，幻觉率降低25%。

Comments Best paper Award ,IEEE International Conference on Emerging Smart Computing and Informatics (ESCI) Pune, India. Mar 11-13, 2026

Physically Interpretable World Models via Weakly Supervised Representation Learning

通过弱监督表征学习实现物理可解释的世界模型

Zhenjiang Mao, Mrinall Eashaan Umasudhan, Ivan Ruchkin

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出PIWM框架，通过弱监督学习实现物理可解释的世界模型，利用物理动态约束提升预测准确性与系统参数恢复能力。

Computational emotion analysis with multimodal LLMs: Current evidence on an emerging methodological opportunity

基于多模态大语言模型的计算情感分析：当前对新兴方法论机会的证据

Hauke Licht

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)

AI总结 本文评估了多模态大语言模型在政治视频情感分析中的表现，发现实验室条件下的模型表现接近人类水平，但在真实场景中存在显著性能差距及性别偏差。

Solar-VLM: Multimodal Vision-Language Models for Augmented Solar Power Forecasting

Solar-VLM：用于增强太阳能发电预测的多模态视觉语言模型

Hang Fan, Haoran Pei, Runze Liang, Weican Liu, Long Cheng, Wei Wei

机构 * North China Electric Power University（华北电力大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(title)；分类 cs.AI

AI总结 本文提出Solar-VLM框架，通过融合时序观测、卫星图像和文本天气信息，提升太阳能发电预测的准确性，采用多模态编码器和图注意力网络捕捉空间依赖性。

Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations

超越全局评分：细粒度令牌接地作为检测LVLM幻觉的稳健检测器

Tuan Dung Nguyen, Minh Khoi Ho, Qi Chen, Yutong Xie, Nguyen Cam-Tu, Minh Khoi Nguyen, Dang Huy Pham Nguyen, Anton van den Hengel, Johan W. Verjans, Phi Le Nguyen, Vu Minh Hieu Phan

机构 * Hanoi University of Science and Technology（河内科技大学） ； Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学） ； Nanjing University（南京大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Hanoi-Amsterdam High School for the Gifted（河内阿姆斯特丹天才高中） 纠错

专题命中 VLM训练与架构 ：grounding(title)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出细粒度令牌接地方法，通过分析模型层间令牌交互，发现幻觉令牌的扩散注意力模式和语义对齐失败特征，实现90%的幻觉检测准确率。

Comments Accepted at CVPR2026 Main Track

A Patch-based Cross-view Regularized Framework for Backdoor Defense in Multimodal Large Language Models

基于补丁的跨视图正则化框架用于多模态大语言模型中的后门防御

Tianmeng Fang, Yong Wang, Zetai Kong, Zengzhen Su, Jun Wang, Chengjin Yu, Wei Wang

机构 * Singapore Management University（新加坡管理大学） ； China University of Mining and Technology（中国矿业大学） ； The University of Melbourne（墨尔本大学） ； Anhui University（安徽大学） ； Xi’an Jiaotong University（西安交通大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种基于补丁增强和跨视图正则化的统一后门防御框架，通过约束特征表示和输出分布层面的异常行为，有效降低后门攻击成功率并保持正常生成能力。

Comments 26 pages, 3 figures. Subjects: Machine Learning (cs.LG)

Gram-Anchored Prompt Learning for Vision-Language Models via Second-Order Statistics

基于二阶统计的Gram锚定提示学习用于视觉-语言模型

Minglei Chen, Weilong Wang, Jiang Duan, Ye Deng

机构 * Southwestern University of Finance and Economics（西南财经大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GAPL框架，通过引入Gram矩阵增强局部语义对齐与全局结构一致性，解决传统一阶特征在领域偏移下的鲁棒性不足问题。

ClickAIXR: On-Device Multimodal Vision-Language Interaction with Real-World Objects in Extended Reality

ClickAIXR: 基于设备的多模态视觉-语言交互与现实世界对象在扩展现实中的交互

Dawar Khan, Alexandre Kouyoumdjian, Xinyu Liu, Omar Mena, Dominik Engel, Ivan Viola

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ClickAIXR通过设备端视觉-语言模型与基于控制器的对象选择方法，实现对现实世界对象的精确点击交互，提升隐私和延迟方面的可信度。

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用

Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。

The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models

适应的盲区：量化和缓解在微调驾驶模型中的遗忘

Runhao Mao, Hanshi Wang, Yixiang Yang, Qianli Ma, Jingmeng Zhou, Zhipeng Zhang

机构 * AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院AutoLab实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文首次系统研究驾驶模型中灾难性遗忘问题，提出Drive Expert Adapter框架，通过提示空间适应提升驾驶性能并保留通用能力。

Comments received by cvpr2026

Scale-Aware Vision-Language Adaptation for Extreme Far-Distance Video Person Re-identification

面向极端远距离视频人的规模感知视觉语言适应

Ashwat Rajbhandari, Bharatesh Chakravarthi

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种基于CLIP的视觉语言模型，通过升级视觉主干和引入选择性微调机制，提升远距离视频人重识别的鲁棒性，实验表明在DetReIDX基准上取得显著提升。

Scalable and Explainable Learner-Video Interaction Prediction using Multimodal Large Language Models

基于多模态大语言模型的可扩展且可解释的学习者-视频交互预测

Dominik Glandorf, Fares Fawzi, Tanja Käser

机构 * EPFL（瑞士联邦理工学院洛桑） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出利用多模态大语言模型预测学习者观看、暂停、跳过和回放行为，以评估视频内容的认知负荷，通过7700万次视频控制事件验证了模型的可扩展性和解释性。

Comments Accepted as long paper to the 27th International Conference on Artificial Intelligence in Education (AIED 2026)

Restore-R1: Efficient Image Restoration Agents via Reinforcement Learning with Multimodal LLM Perceptual Feedback

Restore-R1: 通过多模态大语言模型感知反馈的强化学习图像修复代理

Jianglin Lu, Yuanwei Wu, Ziyi Zhao, Hongcheng Wang, Felix Jimenez, Abrar Majeedi, Yun Fu

机构 * Amazon（亚马逊） ； Northeastern University（东北大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 其他VLM ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Restore-R1框架，利用强化学习和多模态大语言模型感知反馈，高效解决图像修复问题，无需标注数据即可实现高质量修复。

Clear Roads, Clear Vision: Advancements in Multi-Weather Restoration for Smart Transportation

清晰的道路，清晰的视野：智能交通中多天气恢复的进展

Vijay M. Galshetwar, Praful Hambarde, Prashant W. Patil, Akshay Dudhane, Sachin Chaudhary

机构 * Finolex Academy of Management and Technology（Finolex管理与技术学院） ； Drone Lab, Centre for Artificial Intelligence and Robotics, IIT Mandi（印度理工学院曼迪分校人工智能与机器人中心无人机实验室） ； Mehta Family School of Data Science and Artificial Intelligence, IIT Guwahati（印度理工学院古瓦哈提分校梅塔家族数据科学与人工智能学院） ； SPACE42 ； Centre of Excellence: Artificial Intelligence, School of Computer Science, UPES Dehradun（UPES德拉敦分校计算机科学学院人工智能卓越中心） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了图像和视频恢复技术，以缓解天气引起的视觉障碍，分类了传统方法和数据驱动模型，并讨论了多天气系统和未来方向。

Comments Accepted for publication in IEEE Transactions on Intelligent Transportation Systems (2026)

RDFace: A Benchmark Dataset for Rare Disease Facial Image Analysis under Extreme Data Scarcity and Phenotype-Aware Synthetic Generation

RDFace：一种用于罕见疾病面部图像分析的基准数据集，在极端数据稀缺和表型意识合成生成下

Ganlin Feng, Yuxi Long, Hafsa Ali, Erin Lou, Fahad Butt, Qian Liu, Yang Wang, Pingzhao Hu

机构 * Western University（西安大略大学） ； Concordia University（康考迪亚大学） ； University of Toronto（多伦多大学） ； University of Winnipeg（温尼伯大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 RDFace包含456张儿童面部图像，涵盖103种罕见遗传疾病，旨在开发和评估在低数据条件下高效的人工智能模型，通过合成生成和数据增强提升诊断准确率。

Comments Accepted to CVPR 2026. 8 pages main paper + appendix

3D-IDE: 3D Implicit Depth Emergent

3D-IDE: 3D隐式深度涌现

Chushan Zhang, Ruihan Lu, Jinguang Tong, Yikai Wang, Hongdong Li

机构 * School of Computing, Australian National University（澳大利亚国立大学计算学院） ； School of EECS, The University of Queensland（昆士兰大学电气工程与计算机科学学院） ； FreiNexus ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出3D-IDE方法，通过几何自监督学习实现3D感知的隐式涌现，消除了深度和姿态依赖，提升推理效率和多任务性能。

Comments CVPR 2026 accepted. Project page: https://chushanzhang.github.io/3D-IDE/

GenSmoke-GS: A Multi-Stage Method for Novel View Synthesis from Smoke-Degraded Images Using a Generative Model

GenSmoke-GS：一种基于生成模型的多阶段方法，用于从烟雾退化图像中生成新视角

Qida Cao, Xinyuan Hu, Changyue Shi, Jiajun Ding, Zhou Yu, Jun Yu

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院） 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.CV

AI总结 本文提出GenSmoke-GS方法，通过多阶段流程提升烟雾退化图像的可视性，减少场景内容变化，实验表明其在定量和视觉质量上优于基线模型。