视觉大模型 / VLM

Spatio-Temporal Grounding of Large Language Models from Perception Streams

从感知流中对大语言模型进行时空 grounding

Jacob Anderson, Bardh Hoxha, Georgios Fainekos, Hideki Okamoto, Danil Prokhorov

机构 * Toyota Motor North America Research & Development（丰田北美研发中心） 纠错

专题命中 视觉定位与Grounding ：grounding(title)

AI总结 本文提出FESTS框架，通过将自然语言查询转化为SpRE，为大语言模型注入可验证的时空监督，提升时空推理能力，使30亿参数模型在27k数据上实现87.5%的帧级F1分数，接近GPT-4.1性能。

Vision-Language Foundation Models for Comprehensive Automated Pavement Condition Assessment

面向综合自动化路面状况评估的视觉-语言基础模型

Blessing Agyei Kyem, Joshua Kofi Asamoah, Anthony Dontoh, Armstrong Aboah

机构 * North Dakota State University（北达科他州立大学） ； University of Memphis（孟菲斯大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出PaveInstruct数据集和PaveGPT模型，通过领域特定指令微调提升视觉-语言模型在路面状况评估中的性能，实现20%以上的提升，并满足ASTM D6433标准。

Few-Shot Incremental 3D Object Detection in Dynamic Indoor Environments

少样本增量式动态室内环境3D物体检测

Yun Zhu, Jianjun Qian, Jian Yang, Jin Xie, Na Zhao

机构 * Nanjing University of Science and Technology（南京理工大学） ； Nanjing University（南京大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出FI3Det框架，利用视觉语言模型学习未见类别知识，通过VLM引导模块和多模态原型模块实现高效3D感知，在ScanNet V2和SUN RGB-D数据集上取得显著提升。

Comments Accepted by CVPR 2026

Journal ref CVPR-2026

Mitigating Visual Context Degradation in Large Multimodal Models: A Training-Free Decoupled Agentic Framework

缓解大多模态模型中的视觉上下文退化：一种无需训练的解耦代理框架

Hongrui Jia, Chaoya Jiang, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； Shandong University（山东大学） 纠错

专题命中 视觉定位与Grounding ：visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出无需训练的解耦代理框架DRP，通过让LLM作为策略推理者与LMM作为观察者解耦，有效缓解多模态推理中的视觉退化问题，实验表明其在MathVision基准上准确率优于GPT-4o。

SearchAD: Large-Scale Rare Image Retrieval Dataset for Autonomous Driving

SearchAD：大规模稀有图像检索数据集用于自动驾驶

Felix Embacher, Jonas Uhrig, Marius Cordts, Markus Enzweiler

机构 * Mercedes-Benz AG（梅赛德斯-奔驰集团） ； Institute for Intelligent Systems, Esslingen University of Applied Sciences（埃斯林根应用技术大学智能系统研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 SearchAD为自动驾驶提供大规模稀有图像检索数据集，包含423k帧和513k个标注框，针对稀有类别检索问题，支持文本到图像和图像到图像检索及少样本学习。

Comments To be published in CVPR 2026

RewardFlow: Generate Images by Optimizing What You Reward

RewardFlow: 通过优化所奖励的内容生成图像

Onkar Susladkar, Dong-Hwan Jang, Tushar Prakash, Adheesh Juvekar, Vedant Shah, Ayush Barik, Nabeel Bashir, Muntasir Wahed, Ritish Shrirao, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Sony Research, India（索尼印度研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 RewardFlow通过多奖励Langevin动力学优化预训练扩散和流匹配模型，统一了语义对齐、感知保真度等不同可微奖励，并引入基于VQA的可微奖励提升语义监督。

Comments CVPR 2026. Project page: https://plan-lab.github.io/rewardflow

InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

InstAP：面向空间-时间理解的实例感知视觉-语言预训练

Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

机构 * Woven by Toyota 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 InstAP通过结合全局视觉-文本对齐与细粒度实例级对比对齐，提升实例级推理能力，在InstVL数据集上实现优于现有VLP模型的实例检索性能，并在零样本视频基准中表现优异。

PASK: Toward Intent-Aware Proactive Agents with Long-Term Memory

PASK：迈向具有长期记忆的意图感知主动代理

Zhifei Xie, Zongzheng Hu, Fangda Ye, Xin Zhang, Haobo Chai, Zihang Liu, Pengcheng Wu, Guibin Zhang, Yue Liao, Xiaobin Hu, Deheng Ye, Chunyan Miao, Shuicheng Yan

机构 * Pask-Core（Pask核心） ； NTU（南洋理工大学） ； NUS（新加坡国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PASK框架，通过意图流模型和混合记忆系统实现主动代理，在现实场景中识别更深层用户意图。

Comments Technical report; Work in progress

ESOM: Efficiently Understanding Streaming Video Anomalies with Open-world Dynamic Definitions

ESOM：基于开放世界动态定义的高效流视频异常理解

Zihao Liu, Xiaoyu Wu, Wenna Li, Jianqin Wu, Linlin Yang

机构 * State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract)；分类 cs.CV

AI总结 本文提出ESOM模型，通过定义规范化、帧间匹配、混合流内存和概率评分模块，实现高效流视频异常检测，同时引入OpenDef-Bench基准测试，在单GPU上实现实时效率和先进性能。

Quine: Realizing LLM Agents as Native POSIX Processes

Quine：将LLM代理作为原生POSIX进程实现

Hao Ke

机构 * Independent Researcher（独立研究员） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 Quine通过将LLM代理作为原生POSIX进程实现，利用操作系统提供的隔离、调度和通信机制，继承内核的隔离、组合和资源控制能力，支持递归委托和上下文刷新。

Comments Minor revision clarifying exec semantics

AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors

AnomalyVFM -- 将视觉基础模型转变为零样本异常检测器

Matic Fučka, Vitjan Zavrtanik, Danijel Skočaj

机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出AnomalyVFM框架，通过合成数据生成与参数高效适应机制，使视觉基础模型在零样本异常检测中表现更优，实测在9个数据集上达到94.1%的AUROC。

Comments Accepted to CVPR 2026

Generating Literature-Driven Scientific Theories at Scale

大规模生成文献驱动的科学理论

Peter Jansen, Peter Clark, Doug Downey, Daniel S. Weld

机构 * Allen Institute for Artificial Intelligence（艾伦人工智能研究所） ； University of Arizona（亚利桑那大学） ； University of Washington（华盛顿大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究通过大规模文献数据生成科学理论，比较文献基础与参数知识生成对理论质量和预测能力的影响。

Comments 9 pages plus appendix, 3 figures

LangDriveCTRL: Natural Language Controllable Driving Scene Editing with Multi-modal Agents

LangDriveCTRL: 通过多模态代理实现自然语言可控的驾驶场景编辑

Yun He, Francesco Pittaluga, Ziyu Jiang, Matthias Zwicker, Manmohan Chandraker, Zaid Tasneem

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； NEC Labs America（NEC美国实验室） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 LangDriveCTRL通过多模态代理实现驾驶视频的自然语言可控编辑，生成多样化的交通场景，提升真实感和交通场景的真实性。

Comments Project Page: https://yunhe24.github.io/langdrivectrl/

How Do Data Owners Say No? A Case Study of Data Consent Mechanisms in Web-Scraped Vision-Language AI Training Datasets

数据所有者如何说不？Web抓取视觉-语言AI训练数据集中的数据同意机制案例研究

Chung Peng Lee, Rachel Hong, Harry H. Jiang, Aster Plotnik, William Agnew, Jamie Morgenstern

机构 * Princeton University（普林斯顿大学） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Toronto（多伦多大学） ； Amazon AWS AI/ML（亚马逊AWS AI/ML） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.AI

AI总结 研究探讨了数据所有者在AI训练数据集中的同意表达方式，分析了DataComp数据集中样本层面和网络层面的信息，揭示了当前数据收集流程对数据同意的不尊重问题。

From Binary Groundedness to Support Relations: Towards a Reader-Centred Taxonomy for Comprehension of AI Output

从二元 groundedness 到支持关系：迈向以读者为中心的 AI 输出理解分类体系

Advait Sarkar, Christian Poelitz, Viktor Kewenig

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出以读者为中心的 groundedness 分类体系，旨在通过支持关系提升 AI 输出理解的透明度和可解释性。

Comments Advait Sarkar, Christian Poelitz, and Viktor Kewenig. 2026. From Binary Groundedness to Support Relations: Towards a Reader-Centred Taxonomy for Comprehension of AI Output. ACM CHI 2026 Workshop on Science and Technology for Augmenting Reading (CHI '26 STAR) ACM CHI 2026 Workshop on Science and Technology for Augmenting Reading (CHI '26 STAR)

PeReGrINE: Evaluating Personalized Review Fidelity with User Item Graph Context

PeReGrINE：基于用户-物品图上下文的个性化评论可信度评估

Steven Au, Baihan Lin

机构 * Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 PeReGrINE通过构建用户-物品图结构，评估个性化评论生成中证据组合对可信度、个性化和检索条件语言模型的影响。

AtlasOCR: Building the First Open-Source Darija OCR Model with Vision Language Models

AtlasOCR: 构建首个开源的达里亚OCR模型：基于视觉语言模型

Imane Momayiz, Soufiane Ait Elaouad, Abdeljalil Elmajjodi, Haitame Bouanane

专题命中 文档图表理解 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AtlasOCR，首个开源达里亚OCR模型，通过微调3B参数视觉语言模型实现，结合合成数据与真实数据构建专用数据集，采用QLoRA和Unsloth高效训练，验证其在达里亚和标准阿拉伯语OCR任务中的先进性能。

Can Vision Language Models Judge Action Quality? An Empirical Evaluation

视觉语言模型能否评判动作质量？一项实证评估

Miguel Monte e Freitas, Rui Henriques, Ricardo Rei, Pedro Henrique Martins

机构 * Sword Health ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院） ； INESC-ID（INESC-ID研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(title,abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文评估了视觉语言模型在动作质量评估中的表现，发现现有模型在多个领域仅略高于随机水平，且存在预测偏差，提示细粒度动作质量评估存在根本性困难。

Vision-Language Navigation for Aerial Robots: Towards the Era of Large Language Models

面向大语言模型时代的空中机器人视觉-语言导航

Xingyu Xia, Lekai Zhou, Yujie Tang, Xiaozhou Zhu, Hai Zhu, Wen Yao

机构 * Defense Innovation Institute, Chinese Academy of Military Sciences（军事科学院国防创新研究院） ； Intelligent Game and Decision Laboratory（智能博弈与决策实验室） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 本文综述了空中机器人视觉-语言导航领域，分析了大语言模型与视觉-语言模型的整合，归纳了五类架构方法，指出了评估体系的不足，并提出了七个开放性问题。

Comments 28 pages, 8 figures

WorldMAP: Bootstrapping Vision-Language Navigation Trajectory Prediction with Generative World Models

WorldMAP: 通过生成世界模型提升视觉-语言导航轨迹预测

Hongjin Chen, Shangyun Jiang, Tonghua Su, Chen Gao, Xinlei Chen, Yong Li, Zhibo Chen

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shandong University（山东大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 WorldMAP通过生成世界模型与教师-学生框架，将生成的未来场景转化为语义空间结构和规划监督，提升导航轨迹预测的稳定性与准确性，取得最佳性能。

GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents

GameWorld: 向标准化和可验证的多模态游戏代理评估迈进

Mingyu Ouyang, Siyuan Hu, Kevin Qinghong Lin, Hwee Tou Ng, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 GameWorld提出一个标准化且可验证的多模态游戏代理评估基准，包含34种游戏和170个任务，通过可验证的指标评估代理能力，揭示了当前代理在视频游戏中与人类能力的差距。

Comments 23 pages, 8 figures

ThermoAct:Thermal-Aware Vision-Language-Action Models for Robotic Perception and Decision-Making

ThermoAct：面向机器人感知与决策的热感知视觉-语言-动作模型

Young-Chae Son, Dae-Kwan Ko, Yoon-Ji Choi, Soo-Chul Lim

机构 * Dongguk University（东国大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出一种融合热信息的视觉-语言-动作框架，通过高阶规划器解析自然语言指令并分解为子任务，提升机器人复杂操作的执行效率与安全性。

Comments 2026 RA-L

WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements

WebTestPilot: 通过符号化GUI元素推断或acles实现基于自然语言规范的端到端Web测试

Xiwen Teoh, Yun Lin, Duc-Minh Nguyen, Ruofei Ren, Wenjie Zhang, Jin Song Dong

专题命中 GUI与屏幕智能体 ：VLM(abstract)；visual language model(abstract)

AI总结 WebTestPilot通过符号化GUI元素推断隐式或acles，解决自然语言规范下的端到端Web测试中的隐式或acles推断和概率推理挑战，实现99%的任务完成率和高精度召回率。

MolmoWeb: Open Visual Web Agent and Open Data for the Open Web

MolmoWeb：开放视觉网络代理和开放数据用于开放网络

Tanmay Gupta, Piper Wolters, Zixian Ma, Peter Sushko, Rock Yuren Pang, Diego Llanes, Yue Yang, Taira Anderson, Boyuan Zheng, Zhongzheng Ren, Harsh Trivedi, Taylor Blanton, Caleb Ouellette, Winson Han, Ali Farhadi, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出MolmoWeb，一个开放的多模态网络代理，通过公开的浏览器任务演示和网页GUI感知数据，实现状态-of-the-art的网络代理性能，促进开放研究。

Comments https://allenai.org/blog/molmoweb

Invisible to Humans, Triggered by Agents: Stealthy Jailbreak Attacks on Mobile Vision-Language Agents

对人类不可见，由智能体触发：针对移动视觉-语言智能体的隐秘劫持攻击

Renhua Ding, Xiao Yang, Zhengwei Fang, Jun Luo, Kun He, Jun Zhu

机构 * School of Computer Science, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University（清华大学计算机科学与技术系、人工智能研究院、清华-博世机器学习联合中心、清华脑与智能实验室、北京国家信息科学与技术研究中心） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出了一种隐秘的劫持攻击方法，通过智能体交互时的感知注入，避免被人类察觉，同时在移动设备上有效绕过安全过滤器。

HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models

HiF-VLA：通过运动表示实现视觉-语言-动作模型的回顾、洞察与前瞻性

Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； HKUST(GZ)（香港科技大学（广州）） ； Nanjing University（南京大学） ； Westlake Robotics（西湖机器人） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 HiF-VLA通过运动表示提升视觉-语言-动作模型的时序推理能力，采用回顾、洞察和前瞻性机制，在长时域任务中表现优异，且推理延迟低。

Comments CVPR 2026, Project page: https://hifvla.github.io, Github: https://github.com/OpenHelix-Team/HiF-VLA

Administrative Decentralization in Edge-Cloud Multi-Agent for Mobile Automation

边缘-云多智能体中的行政去中心化

Senyao Li, Zhigang Zuo, Haozhao Wang, Junyu Chen, Zhanbo Jin, Ruixuan LI

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出AdecPilot，通过将行政去中心化原则应用于边缘-云多智能体框架，实现边缘代理的重新定义，提升任务成功率并降低云资源消耗与延迟。

Through the Magnifying Glass: Adaptive Perception Magnification for Hallucination-Free VLM Decoding

通过放大镜：用于无幻觉VLM解码的自适应感知放大

Shunqi Mao, Chaoyi Zhang, Weidong Cai

机构 * School of Computer Science, The University of Sydney, Australia（澳大利亚悉尼大学计算机科学学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出感知放大器PM，通过迭代隔离相关视觉标记并放大相应区域，提升VLM对视觉细节的 scrutiny，从而减少幻觉并增强语言生成与推理能力。

Comments ACL 2026 Main Conference

Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction

缓解大型视觉-语言模型中的纠缠引导以减少幻觉

Yuanhong Zhang, Zhaoyang Wang, Xin Zhang, Weizhan Zhang, Joey Tianyi Zhou

机构 * Ministry of Education Key Laboratory of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（前沿人工智能研究中心，高性能计算研究所，科技研究局） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MESA框架，通过可控的潜在空间干预减少视觉-语言模型中的幻觉，同时保持生成行为，实验表明其在多个模型家族中表现优于现有方法。

MM-MoralBench: A MultiModal Moral Evaluation Benchmark for Large Vision-Language Models

MM-MoralBench: 一种多模态道德评估基准用于大型视觉-语言模型

Bei Yan, Jie Zhang, Zhiyuan Chen, Shiguang Shan, Xilin Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 为评估大型视觉-语言模型的道德对齐性，提出MM-MoralBench基准，通过多模态场景测试模型在六个道德基础上的判断与分类能力，揭示模型存在显著的道德偏见问题。

Comments Accepted by Pattern Recognition