视觉大模型 / VLM

coDrawAgents: A Multi-Agent Dialogue Framework for Compositional Image Generation

coDrawAgents：一种用于组合图像生成的多智能体对话框架

Chunhan Li, Qifeng Wu, Jia-Hui Pan, Ka-Hei Hui, Jingyu Hu, Yuming Jiang, Bin Sheng, Xihui Liu, Wenjuan Gong, Zhengzhe Liu

机构 * Lingnan University（岭南大学） ； CMU（卡内基梅隆大学） ； CUHK（香港中文大学） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； SJTU（上海交通大学） ； HKU（香港大学） ； China University of Petroleum（中国石油大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 coDrawAgents通过四类智能体协作提升复杂场景中多对象生成的准确性与属性保持，实验表明其在文本-图像对齐、空间准确性和属性绑定方面表现更优。

Comments Accepted to CVPR 2026 Findings

The RIGID Framework: Research-Integrated, Generative AI-Mediated Instructional Design

RIGID框架：研究集成、生成式AI介导的课程设计

Yerin Kwak, Zachary A. Pardos

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文提出RIGID框架，整合学习科学研究与课程设计流程，利用生成式AI实现研究与设计的系统集成，提升课程设计的实证性和情境适应性。

Multi-Crit: Benchmarking Multimodal Judges on Pluralistic Criteria-Following

多标准：在多元标准下评估多模态裁判

Tianyi Xiong, Yi Ge, Ming Li, Zuolong Zhang, Pranav Kulkarni, Kaishen Wang, Qi He, Zeying Zhu, Chenxi Liu, Ruibo Chen, Tong Zheng, Yanshuo Chen, Xiyao Wang, Renrui Zhang, Wenhu Chen, Heng Huang

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 本文提出Multi-Crit基准，评估多模态裁判在多元标准下的表现，揭示了专有模型和开源模型在遵循复杂标准方面的不足，以及整体判断信号对视觉理解的影响。

Comments Accepted to CVPR 2026

Autonomous Integration and Improvement of Robotic Assembly using Skill Graph Representations

基于技能图表示的机器人装配自主集成与改进

Peiqi Yu, Philip Huang, Chaitanya Chawla, Guanya Shi, Jiaoyang Li, Changliu Liu

机构 * Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系） ； Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出基于技能图表示的机器人装配系统自主集成与持续改进框架，通过语义级规划与执行接口实现系统配置、执行、评估与学习的统一，提升装配系统的适应性与可重用性。

Building Benchmarks from the Ground Up: Community-Centered Evaluation of LLMs in Healthcare Chatbot Settings

从底层构建基准：面向医疗聊天机器人场景的社区中心评估

Hamna Hamna, Gayatri Bhat, Sourabrata Mukherjee, Faisal Lalani, Evan Hadfield, Divya Siddarth, Kalika Bali, Sunayana Sitaram

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出Samiksha社区驱动评估流程，通过与社会组织和社区成员合作，实现医疗领域LLM的可扩展自动化评估，强调文化意识和社区反馈在构建基准中的作用。

Comments Accepted at ACM CHI 2026

Adaptive Vision-Language Model Routing for Computer Use Agents

自适应视觉-语言模型路由用于计算机使用代理

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

机构 * vLLM Semantic Router Project（vLLM语义路由项目） ； MBZUAI ； McGill University（麦吉尔大学） ； AMD ； Red Hat（红帽公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出自适应VLM路由框架，通过动态选择模型降低推理成本，同时保持可靠性。在ScreenSpot-Pro数据集和OpenClaw基准测试中，AVR实现了高达78%的推理成本降低，并结合视觉困惑代理机制提升安全性。

NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction

NavForesee: 一种统一的视觉-语言世界模型用于分层规划和双时间尺度导航预测

Fei Liu, Shichao Xie, Minghua Luo, Zedong Chu, Junjun Hu, Xiaolong Wu, Mu Xu

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 NavForesee通过统一的视觉-语言模型实现分层规划和双时间尺度导航预测，结合任务分解与环境预测，提升复杂场景下的导航能力。

PVI: Plug-in Visual Injection for Vision-Language-Action Models

PVI：插件式视觉注入用于视觉-语言-动作模型

Zezhou Zhang, Songxin Zhang, Xiao Xiong, Junjie Zhang, Zejian Xie, Jingyi Xi, Zunyao Mao, Zan Mao, Zhixin Mai, Zhuoyang Song, Jiaxing Zhang

机构 * Lionrock AI Lab（Lionrock人工智能实验室） ； China Merchants Group（中国商人集团） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出PVI模块，通过零初始化残差路径注入辅助视觉特征，提升视觉-语言-动作模型的时间信息处理能力，实验证明其在多阶段任务中优于静态图像特征。

Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning

基本手术动作的通用识别促进技能评估和基于视觉-语言模型的手术规划

Mengya Xu, Daiyun Shen, Jie Zhang, Hon Chi Yip, Yujia Gao, Cheng Chen, Dillan Imans, Yonghao Long, Yiru Ye, Yixiao Liu, Rongyun Mai, Kai Chen, Hongliang Ren, Yutong Ban, Guangsuo Wang, Francis Wong, Chi-Fai Ng, Kee Yuan Ngiam, Russell H. Taylor, Daguang Xu, Yueming Jin, Qi Dou

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出包含10种基本手术动作的大型数据集，开发了新的基础模型以实现基本动作的通用识别，并展示了其在手术技能评估和手术规划中的应用。

Comments 34 pages, 8 figures

From Woofs to Words: Towards Intelligent Robotic Guide Dogs with Verbal Communication

从Woofs到Words：迈向具备言语交流的智能机器人导盲犬

Yohei Hayamizu, David DeFazio, Hrudayangam Mehta, Zainab Altaweel, Jacqueline Choe, Chao Lin, Jake Juettner, Furui Xiao, Jeremy Blackburn, Shiqi Zhang

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种新型对话系统，通过LLM实现导航计划和场景的言语化，以提升导盲犬在动态环境中的空间感知与人类操作者的协作决策能力。

Comments 10 pages, 6 figures, AAAI 2026

What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models

什么使视觉语言模型具备鲁棒性？迈向视觉语言模型鲁棒性与准确性的协调

Sen Nie, Jie Zhang, Zhongqi Wang, Zhaoyang Wei, Shiguang Shan, Xilin Chen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文研究了视觉语言模型鲁棒性与准确性的平衡问题，通过分析对抗性微调模型，发现鲁棒性主要集中在浅层网络，提出Adversarial Robustness Adaptation框架以提升鲁棒性与准确性。

Comments 28 pages

Partially Recentralization Softmax Loss for Vision-Language Models Robustness

部分重校正softmax损失用于视觉-语言模型鲁棒性

Hao Wang, Jinzhe Jiang, Xin Zhang, Chen Li

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.AI

AI总结 本文提出部分重校正softmax损失，通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性，实验显示细调后模型对主流攻击更具鲁棒性。

Comments The study described in Section 4 was conducted without required institutional review board approval. The paper is withdrawn pending completion of the approval process

FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration

FAPE-IR：面向全场景图像修复的频率感知规划与执行框架

Jingren Liu, Shuning Xu, Qirui Yang, Yun Wang, Xiangyu Chen, Zhong Ji

机构 * Tianjin University（天津大学） ； University of Macau（澳门大学） ； City University of Hong Kong（香港城市大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FAPE-IR框架，通过频率感知规划与执行模块，结合多模态大语言模型和LoRA-MoE架构，实现统一且可解释的全场景图像修复，实验显示其在七项任务中表现优异。

TubeMLLM: A Foundation Model for Topology Knowledge Exploration in Vessel-like Anatomy

TubeMLLM：一种用于血管状解剖拓扑知识探索的基础模型

Yaoyu Liu, Minghui Zhang, Xin You, Hanxiao Zhang, Yun Gu

机构 * Institute of Medical Robotics, Shanghai Jiao Tong University, Shanghai, China（上海交通大学医学机器人研究所） ； Department of Automation, Shanghai Jiao Tong University, Shanghai, China（上海交通大学自动化系） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出TubeMLLM，结合结构理解与可控生成，提升医学血管状解剖的拓扑感知能力，并通过TubeMData基准和自适应损失策略实现跨模态迁移。

Comments 18 pages, 12 figures

DriveMind: A Dual Visual Language Model-based Reinforcement Learning Framework for Autonomous Driving

DriveMind: 一种基于双视觉语言模型的强化学习框架，用于自动驾驶

Dawood Wasif, Terrence J. Moore, Chandan K. Reddy, Frederica Free-Nelson, Seunghyun Yoon, Hyuk Lim, Dan Dongseong Kim, Jin-Hee Cho

专题命中 VLM训练与架构 ：visual language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 DriveMind结合对比视觉语言模型和动态提示生成，实现自动驾驶的语义奖励框架，提升适应性和安全性，实测性能优于基线4%以上。

Comments Submitted to IEEE Transactions on Intelligent Vehicles (T-IV)

Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

医学视觉-语言模型的视觉对齐以实现基于基础的放射学报告生成

Sarosij Bose, Ravi K. Rajendran, Biplob Debnath, Konstantinos Karydis, Amit K. Roy-Chowdhury, Srimat Chakradhar

机构 * NEC Laboratories America（NEC美洲实验室） ； University of California, Riverside（加州大学河滨分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出VALOR方法，通过临床指导文本推理和自监督视觉推理解决医学报告生成中的视觉幻觉问题，提升生成质量与临床准确性。

ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation

ID-Crafter：基于视觉语言模型的在线强化学习多主体视频生成框架

Panwang Pan, Jingjing Zhao, Yuchen Lin, Chenguo Lin, Chenxin Li, Hengyu Liu, Tingting Shen, Yadong MU

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。

Comments Project page: https://angericky.github.io/ID-Crafter, Code: https://github.com/paulpanwang/IDCrafter

Journal ref CVPR 2026

VLM4Rec: Multimodal Semantic Representation for Recommendation with Large Vision-Language Models

VLM4Rec：基于大视觉-语言模型的多模态语义表示推荐系统

Ty Valencia, Burak Barlas, Varun Singhal, Ruchir Bhatia, Wei Yang

机构 * University of Southern California（南加州大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 VLM4Rec通过语义对齐而非直接特征融合，提升多模态推荐性能，实验显示其优于原始视觉特征和融合方法。

Comments 13 pages, 4 figures, 1 table

Test-Time Attention Purification for Backdoored Large Vision Language Models

针对受污染的大视觉语言模型的测试时间注意力净化

Zhifang Zhang, Bojun Yang, Shuo He, Weitong Chen, Wei Emma Zhang, Olaf Maennel, Lei Feng, Miao Xu

机构 * University of Queensland（昆士兰大学） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出CleanSight，一种无需训练的测试时间防御方法，通过检测和净化异常的视觉-文本注意力分布来对抗后门攻击，显著优于现有基于像素的净化方法。

Cost-Efficient Multimodal LLM Inference via Cross-Tier GPU Heterogeneity

通过跨层级GPU异构性实现高效的多模态大语言模型推理

Donglin Yu

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过跨层级GPU异构性优化多模态大语言模型推理，减少跨设备传输复杂度，提升吞吐量并降低部署成本。

Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

叙事编织者：迈向多模态可控的长程视觉一致性

Zhengjian Yao, Yongzhi Li, Xinyuan Gao, Quan Chen, Peng Jiang, Yanye Lu

机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 Narrative Weaver通过整合精细控制、自动叙事规划和长程一致性，解决生成AI中多模态可控、长程且一致的视觉内容生成问题，提出首个综合解决方案并构建首个电商广告视频脚本数据集。

Comments Accepted by CVPR2026

MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction

MovieTeller: 借助工具的电影概要与ID一致的渐进抽象

Yizhi Li, Xiaohan Chen, Miao Jiang, Wentao Tang, Gaoang Wang

机构 * Central Universities（中央高校） ； National Natural Science Foundation of China（中国国家自然科学基金委员会） ； Research Fund for International Scientists of National Natural Science Foundation of China（中国国家自然科学基金委员会国际科学家研究基金） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 MovieTeller通过工具增强的渐进抽象生成电影概要，解决传统VLM在长视频摘要中的身份一致性和叙事连贯性问题，提升事实准确性与一致性。

Comments 6 pages, CSCWD 2026

Altered Thoughts, Altered Actions: Probing Chain-of-Thought Vulnerabilities in VLA Robotic Manipulation

改变的思维，改变的行为：探测VLA机器人操作中的链式思维漏洞

Tuan Duong Trinh, Naveed Akhtar, Basim Azam

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨VLA模型中链式思维的脆弱性，发现仅篡改推理轨迹中的物体名称即可显著降低任务成功率，而其他篡改方式影响较小，表明动作解码器依赖实体引用完整性而非推理质量。

OARS: Process-Aware Online Alignment for Generative Real-World Image Super-Resolution

OARS：面向生成真实世界图像超分辨率的在线对齐

Shijie Zhao, Xuanyu Zhang, Bin Chen, Weiqi Li, Qunliang Xing, Kexin Zhang, Yan Wang, Junlin Li, Li Zhang, Jian Zhang, Tianfan Xue

机构 * ByteDance Inc.（字节跳动公司） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 OARS通过过程感知的在线对齐框架，结合COMPASS奖励模型，在线优化图像超分辨率模型，实现感知与保真度的平衡，提升真实世界图像超分辨率性能。

Comments Super-Resolution, Reinforcement Learning

Beyond Dense Futures: World Models as Structured Planners for Robotic Manipulation

超越密集未来：世界模型作为机器人操作的结构化规划器

Minghao Jin, Mozheng Liao, Mingfei Han, Zhihui Li, Xiaojun Chang

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出StructVLA，通过结构化规划器提升机器人操作的可靠性，采用稀疏结构帧替代密集预测，实现视觉规划与运动控制的结合，实验显示在多个环境中的高成功率。

OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation

OpenVision 3: 一种用于理解和生成的统一视觉编码器家族

Letian Zhang, Sucheng Ren, Yanqing Liu, Xianhang Li, Zeyu Wang, Yuyin Zhou, Huaxiu Yao, Zeyu Zheng, Weili Nie, Guilin Liu, Zhiding Yu, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； JHU（约翰霍普金斯大学） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.AI

AI总结 本文提出OpenVision 3，通过统一视觉表示实现图像理解和生成。核心架构将VAE压缩的图像潜在特征输入ViT编码器，同时训练其输出以支持重建和语义学习，从而在共享潜在空间中实现良好泛化。

A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

为跨模态和任务提供具有实用保障的视觉-语言模型去偏方法

Tangzheng Lian, Guanyu Hu, Yijing Ren, Dimitrios Kollias, Oya Celiktutan

机构 * King’s College London（伦敦国王学院） ； Queen Mary University of London（伦敦女王学院） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出一种无需标注数据的训练自由去偏方法，在跨模态空间中获得帕累托最优公平性，同时保持有限的实用性损失，实验显示其在多种公平度量和任务中优于现有方法。

AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network

AVION：从离线教师到提示调优网络的空域视觉-语言指令

Yu Hu, Jianyang Gu, Hao Liu, Yue Cao, Jozsef Hamari, Zheng Liu, Mohsen Zardadi

机构 * The University of British Columbia, Okanagan（不列颠哥伦比亚大学奥克兰分校） ； The Ohio State University（俄亥俄州立大学） ； TerraSense Analytics（TerraSense分析） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 AVION提出一种知识蒸馏框架，通过构建语义丰富的文本原型和轻量级提示，提升视觉语言模型在遥感图像中的适应能力，提升少样本分类和跨模态检索性能。

Comments Accepted to CVPR 2026