视觉大模型 / VLM

GUIDE: Resolving Domain Bias in GUI Agents through Real-Time Web Video Retrieval and Plug-and-Play Annotation

GUIDE：通过实时网络视频检索和即插即用标注解决GUI代理的领域偏见

Rui Xie, Zhi Gao, Chenrui Shi, Zirui Shang, Lu Chen, Qing Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； State Key Laboratory for General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GUIDE通过实时网络视频检索和即插即用标注框架，解决GUI代理的领域偏见问题，通过视频语义分析和自动化标注流程提升代理对特定应用的操作流程和UI布局的理解，实验表明其在多代理系统和单模型代理中均能提升性能。

Comments Accepted to ECCV 2026. 30 pages: 15-page main paper followed by supplementary material as an appendix (Sections A-F). Project page: https://sharryXR.github.io/GUIDE/

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1: 面向视觉-语言-动作模型的高效强化学习

Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

机构 * Zioneer Robot Team（Zioneer机器人团队） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Z-1框架，结合共享前缀生成、树状轨迹分支、完成感知奖励校准和选择性联合训练，通过GRPO策略在24个RoboCasa任务上平均成功率80.6%，较SFT提升13.2%。

Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models

文本到图像模型强化学习后训练的有限差分流优化

David McAllister, Miika Aittala, Tero Karras, Janne Hellsten, Angjoo Kanazawa, Timo Aila, Samuli Laine

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出一种在线强化学习变体，通过采样配对轨迹并将流速度拉向更优图像方向来降低模型更新方差，将整个采样过程视为单一动作，实现更快的收敛和更高的输出质量与提示对齐。

Comments Code available at https://github.com/NVlabs/finite-difference-flow-optimization

LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents

LUMOS：面向无障碍AI代理的语义操作系统层

Yogeswar Reddy Thota

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出LUMOS语义层，将操作系统无障碍元数据转化为机器可读蓝图，使AI代理通过结构化UI原语而非截图进行观察-行动循环，降低视觉依赖和成本。

Comments The LUMOS repository is available at https://github.com/thotayogeswarreddy/Lumos.git

ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm

ComAct: 通过COM即行动范式重构专业软件操作

Jiaxin Ai, Tao Hu, Xuemeng Yang, Shu Zou, Hairong Zhang, Daocheng Fu, Yu Yang, Hongbin Zhou, Nianchen Deng, Pinlong Cai, Zhongyuan Wang, Botian Shi, Kaipeng Zhang, Licheng Wen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出COM即行动范式，将专业软件交互转化为确定性程序合成，解决GUI代理的脆弱性和API代理的异构性问题；构建ComCADBench基准和ComActor自校正代理，在工业CAD软件上实现SOTA性能。

Designing Privacy-Preserving Visual Perception for Robot Navigation Based on User Privacy Preferences

基于用户隐私偏好的机器人导航视觉感知设计

Xuying Huang, Sicong Pan, Delphine Reinhardt, Maren Bennewitz

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出以用户为中心的隐私保护视觉感知设计方法，通过用户研究发现用户偏好隐私保护的视觉抽象和低分辨率保存机制，并据此制定可配置的隐私政策。

Localized Conformal Prediction for Image Classification with Vision-Language Models

基于视觉语言模型的图像分类局部化共形预测

Clément Fuchs, Tim Bary, Benoît Macq

机构 * CÉCI ； F.R.S.-FNRS（比利时国家科学研究基金会） ； Walloon Region（瓦隆大区） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 针对图像分类中局部化共形预测未充分探索的问题，提出一种简单的余弦相似度非线性变换，在保持边际覆盖保证的同时显著降低平均集大小。

Comments 7 pages, 2 figures, 3 tables, code availables, accepted to EUVIP 2025

Journal ref 2025 13th European Workshop on Visual Information Processing (EUVIP)

TreeAgent: A Generalizable Multi-Agent Framework for Automated Bias Labeling in Forestry via Compiled Expert Rules and Vision-Language Models

TreeAgent: 一种基于编译专家规则和视觉语言模型的通用多智能体框架，用于林业自动化偏差标注

Shiyi Chen, Nicholas Saban, Collin Hargreaves, Huiqi Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出TreeAgent多智能体框架，结合专家决策树与视觉语言模型，通过解耦声明式决策实现零修改泛化，在树木偏差分类中超越监督学习基线并降低标注成本。

Comments 9 pages, 2 figures

CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation

CoMet：多模态不确定性估计的上下文与多样性分解

Sanghyuk Chun, William Yang, Amaya Dharmasiri, Olga Russakovsky

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出CoMet方法，将多模态大模型的不确定性分解为上下文项和多样性项，通过轻量级后验模块高效估计，无需自回归生成或重复采样，在多个基准上优于现有方法。

Comments 33 pages, 13.3MB

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

从失败中学习：计算机使用代理的推理时自我改进

Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy, Yuhui Zhang

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出失败驱动的自我改进循环，利用LLM诊断失败模式并生成代码补丁，在OSWorld基准上将OpenCUA-72B模型成功率从42.3%提升至48.9%，无需额外训练成本。

Comments Published in ECCV 2026

MECoBench: A Systematic Study of Multimodal Agent Collaboration in Embodied Environments

MECoBench：具身环境中多模态智能体协作的系统研究

Qingyun Liu, Jiwen Zhang, Jingyi Hu, Siyuan Wang, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出MECoBench基准，通过多任务、多结构、多模式的实验，系统研究多模态大模型在具身环境中的协作机制，发现协作能提升任务完成度但需平衡收益与复杂度，通信是关键，且协作增强鲁棒性。

Comments Project website: https://q-i-n-g.github.io/MECoBench-Website/

Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation

更清晰的视野，更少的谎言：面向多模态幻觉缓解的定向拾取偏好优化

Xin Zou, Haolin Deng, Yibo Yan, Shuliang Liu, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出一种证据感知的对齐目标OPPO，通过对比不同视觉证据强度下的相同忠实响应，将视觉偏好转化为有序视觉证据对齐，以缓解多模态大模型的幻觉问题。

The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning

标签模仿游戏：用于零样本伪标签剪枝的图灵测试网络

Brent A. Griffin, Jason J. Corso

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出图灵测试网络（TTN）作为任务无关的“裁判”，通过对抗性交互在数据集上下文中评估伪标签，无需监督或重训练即可提升标签准确性，并实现零样本任务迁移。

Comments ECCV 2026

One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution

一次反思不够：通过多假设失败归因进行自我修正的自主研究

Jie Ma, Binfei Chu, Jie Gao, Jinlu Zhang, Yiwei Ma, Yi Tan, Jiayi Ji, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University（厦门大学） ； Hello Inc.（Hello公司） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出SAGE框架，通过多假设失败归因（MHFA）机制将实验失败恢复转化为结构化因果诊断，显著提升自主研究代理的可靠性和产出质量。

Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization

超越编译：评估从自然语言到Lean的忠实语句形式化

Ke Zhang, Patricio Gallardo Candela, Sudhir Murthy, Yi Xie, Zhi Wang, Maziar Raissi

机构 * University of California, Riverside（加州大学河滨分校） ； University of Arizona（亚利桑那大学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 提出忠实语句形式化评估方法，结合Lean编译、跨模型语义判断和人类专家校准，发现编译通过但语义不忠实的29.0%差距，并分解形式化流程中的关键干预因素。

Comments 25 pages, 5 figures

Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

VLM能稳健推理吗？一项神经符号研究

Weixin Chen, Antonio Vergari, Han Zhao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究视觉语言模型在分布偏移下的推理稳健性，提出结合VLM概念识别与电路符号推理的神经符号方法VLC，在三个视觉演绎推理任务上实现更高的分布外准确率。

Comments TMLR 2026

Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

看见不等于共享：一些视觉-语言模型在非对称对话中高估共同基础

Nan Li, Albert Gatt, Massimo Poesio

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 研究视觉-语言模型在对话中是否混淆潜在共享与已共享信息，发现模型过度依赖地图内容预测对齐，忽视对话历史中的基础建立过程。

Comments 17 pages, 9 figures, 8 tables; accepted to SIGDIAL 2026

Brevity is the Soul of Inference Efficiency: Inducing Concision in VLMs via Data Curation

简洁是推理效率的灵魂：通过数据策展诱导VLM的简洁性

DatologyAI, :, Matthew L. Leavitt, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Alvin Deng, David Schwab, Bogdan Gaza, Ari Morcos

机构 * DatologyAI 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出通过预训练数据策展诱导视觉语言模型输出简洁答案，从而降低推理成本，在保持精度的同时实现35倍成本优势。

Comments 36 pages, see https://datologyai.com for more information

Surprise as a Signal for Plasticity and Metacognition

惊喜作为可塑性和元认知的信号

Louis Mouchon

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出预测误差信号可作为可塑性门控和元认知基础，在冻结编码器上实现持续学习与视觉语言模型自适应，实验证明其有效性。

InstanceControl: Controllable Complex Image Generation without Instance Labeling

InstanceControl: 无需实例标注的可控复杂图像生成

Xiaoyu Liu, Huan Wang, Fan Li, Zhixin Wang, Jiaqi Xu, Ming Liu, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； HUAWEI Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出InstanceControl方法，利用视觉语言模型自动建立文本与视觉条件间的实例对应，无需人工标注，通过自适应掩码细化策略实现复杂多实例场景的精确可控生成。

SMART: When is it Actually Worth Expanding a Speculative Tree?

SMART: 在什么情况下扩展推测树实际上是有价值的？

Lifu Wang, Pan Zhou

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；MLLM(abstract_cn)；分类 cs.AI

AI总结 SMART系统通过运行时树构建优化，提升生成速度，通过边际效益-成本分析，在不同硬件和批量规模下实现平均20%的额外加速。

Comments Accepted by ECCV 2026

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

ADAPT: 通过偏好调优实现注意力动态对齐以增强多模态大模型的忠实性

Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大模型生成中的幻觉问题，提出ADAPT框架，通过跨注意力视觉锚点、注意力监督推理和视觉注意力引导DPO直接干预文本到图像的跨注意力动态，在多个基准上将幻觉率降低40%-60%。

Comments Accepted by ECCV 2026

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Goku：百万级通用指令视频编辑数据集与基准

Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出首个百万级多任务视频编辑数据集Goku，包含200万高质量指令对齐对，并设计高效数据合成流程和渐进过滤系统，基于此提出双分支模型Goku-Edit及包含1000个测试用例的基准Goku-Bench，在指令遵循上提升8%。

Comments Project Page: https://flying-sky999.github.io/Goku.github.io/

Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist

Arena-T2I Hard：基于依赖感知清单的忠实性基准测试与改进

Yuanhao Ban, Tong Xie, Sohyun An, Yunqi Hong, Evan Frick, I-Hung Hsu, Wei-Lin Chiang, Ion Stoica, Cho-Jui Hsieh

机构 * Arena Intelligence Inc ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对现有忠实性基准在复杂指令上的不足，提出310条压力测试提示集Arena-T2I Hard，并设计依赖感知清单奖励结合美学奖励，显著提升文本到图像模型的忠实性-美学权衡。

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

ReGRPO: 用于工具使用智能体的反思增强策略优化

Binjie Zhang, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show Lab） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI

AI总结 提出ReGRPO框架，通过反思数据引擎和联合优化反射令牌与纠正动作，提升工具使用智能体在故障后的恢复能力，在GTA和GAIA上取得最佳效果。

CoDex: Learning Compositional Dexterous Functional Manipulation without Demonstrations

CoDex: 无需演示学习组合式灵巧功能性操作

Bowen Jiang, William Painter Reger, Roberto Martin-Martin

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 提出零演示框架CoDex，结合视觉语言模型与强化学习，自主发现并执行涉及物体内部机制操控的灵巧操作策略，在多种工具任务中验证了其有效性。

Comments IEEE International Conference on Robotics and Automation (ICRA) 2026. Project page: https://robin-lab.cs.utexas.edu/CoDex/

LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment

LOPA：通过潜在序数原型对齐增强口语评估

Hong-Yun Lin, Fu-An Chao, Bi-Cheng Yan, Berlin Chen

机构 * National Taiwan Normal University（国立台湾师范大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 提出LOPA正则化器，在潜在空间施加序数几何先验，结合SALR自适应提取Whisper编码器多层表示，以0.361 RMSE媲美十亿参数系统，无需LLM微调。

ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs

ERA：基于熵引导的视觉令牌剪枝与修正注意力机制的高效多模态大语言模型

Yuhao Wang, Mu Qiao, Haiwen Diao, Yunzhi Zhuge, Pingping Zhang, Xindong Zhang, Lei Zhang, Huchuan Lu

机构 * School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出ERA框架，通过熵引导的视觉令牌剪枝和修正注意力机制，解决令牌减少导致的注意力对数坍塌问题，实现高效多模态大语言模型推理加速。

Comments 17 pages, 7 figures

UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization

UniCoder: 通过符号奖励和参考引导代码优化的统一视觉到代码生成

Yaozhi Zheng, Yilei Jiang, Manyuan Zhang, Yuxuan Wan, Kaituo Feng, Tianshuo Peng, Bo Zhang, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出UniCoder框架，通过符号属性对齐实现密集元素级奖励，并利用参考引导代码优化策略克服探索停滞，在多个基准上达到与专有模型相当的性能。

AC3S: Adaptive Conditioning for 3D-Aware Synthetic Data Generation

AC3S: 面向3D感知合成数据生成的自适应条件控制

Eric Ji, Qiran Hu, Wufei Ma, Sarthak Jain, Yingying Li, Minh N. Do, Yaoyao Liu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Johns Hopkins University（约翰霍普金斯大学） ； College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 提出AC3S框架，通过自适应条件控制模块调节ControlNet强度，结合多智能体视觉语言模型生成3D感知提示，实现高质量、结构对齐的合成图像生成。

Comments Accepted by ECCV 2026. Project page: https://ac3s.cvmlgroup.web.illinois.edu/