视觉大模型 / VLM

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

VeriOS: 基于查询的人机GUI交互以实现可信操作系统代理

Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 VeriOS通过引入查询驱动的人机GUI交互框架，提升操作系统代理在不可信环境中的任务完成能力，实验显示其在不可信场景中性能显著提升，同时保持正常场景下的稳定性。

Read More, Think More: Revisiting Observation Reduction for Web Agents

多读多想：重新审视网络代理中的观察缩减

Masafumi Enomoto, Ryoma Obara, Haochen Zhang, Masafumi Oyamada

机构 * NEC Corporation（日本电气股份有限公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文研究网络代理中观察缩减的优化问题，发现模型能力和思考token预算影响观察表示选择，高能力模型适合详细HTML观察，低能力模型适合紧凑的访问树观察，同时引入diff-based表示提升效率。

Semantic Zone-Based Map Management for Stable AI-Integrated Mobile Robots

基于语义区域的映射管理：用于稳定集成AI的移动机器人

Huichang Yun, Seungho Yoo

机构 * Dept. of computer Engineering, Pukyong National University（釜庆大学计算机工程系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出一种基于语义区域的映射管理方法，以在内存限制下稳定使用密集地图。通过将关键帧与语义室内区域关联，该方法减少了关键帧加载和卸载频率，提高了内存使用效率，并在实验中验证了其在内存压力下的稳定性和性能优势。

See Something, Say Something: Context-Criticality-Aware Mobile Robot Communication for Hazard Mitigations

看见即应言：面向灾害缓解的上下文感知移动机器人通信

Bhavya Oza, Devam Shah, Ghanashyama Prabhu, Devika Kodi, Aliasghar Arab

机构 * New York University Tandon School of Engineering（纽约大学坦登工程学院） ； The City College of New York, Grove School of Engineering（纽约市立学院格罗夫工程学院） ； ASAS LABS, Department of Mechanical and Aerospace Engineering, Tandon School of Engineering, New York University（纽约大学坦登工程学院机械与航空航天工程系ASAS实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出一种上下文感知的移动机器人通信框架，通过感知驱动自适应消息生成，提升灾害响应速度和有效性，在60多次实验中验证了结构化关键性评估对响应速度和缓解效果的提升。

ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

ACoT-VLA：面向视觉-语言-动作模型的行动链式推理

Linqing Zhong, Yi Liu, Yifei Wei, Ziyu Xiong, Maoqing Yao, Si Liu, Guanghui Ren

机构 * Beihang University（北京航空航天大学） ； AgiBot 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出ACoT-VLA，通过在动作空间中直接进行推理，改进视觉-语言-动作模型的行动生成，引入显式和隐式动作推理器，实验证明其在真实和仿真环境中的优越性。

Comments Accepted by Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Goal-VLA: Image-Generative VLMs as Object-Centric World Models Empowering Zero-shot Robot Manipulation

Goal-VLA: 图像生成视觉语言模型作为对象中心世界模型，赋能零样本机器人操作

Haonan Chen, Jingxiang Guo, Bangjun Wang, Tianrui Zhang, Xuchuan Huang, Boren Zheng, Yiwen Hou, Chenrui Tie, Jiajun Deng, Lin Shao

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； The HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong（香港大学数据科学研究院） ； Yuanpei College, Peking University（北京大学元培学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出Goal-VLA框架，利用图像生成视觉语言模型生成目标状态，通过对象状态表示分离高阶与低阶策略，提升机器人操作的泛化能力。

LLM-Enabled Low-Altitude UAV Natural Language Navigation via Signal Temporal Logic Specification Translation and Repair

基于大语言模型的低空无人机自然语言导航：通过信号时序逻辑规范翻译与修复

Yuqi Ping, Huahao Ding, Tianhao Liang, Longyu Zhou, Guangyu Lei, Xinglin Chen, Junwei Wu, Jieyu Zhou, Tingting Zhang

机构 * Guangdong Provincial Key Laboratory of Space-Aerial Networking and Intelligent Sensing, Harbin Institute of Technology, Shenzhen（广东省空天网络与智能感知重点实验室，哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory (PCL), Shenzhen（鹏城实验室） ； Information Systems Technology and Design, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计系） ； School of Computer Science and Engineering, Central South University, Changsha（中南大学计算机科学与工程学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出一种统一框架，通过将自然语言指令转换为信号时序逻辑规范并利用混合整数线性规划生成轨迹，提升低空无人机在复杂环境中的安全导航能力。

Can a Robot Walk the Robotic Dog: Triple-Zero Collaborative Navigation for Heterogeneous Multi-Agent Systems

机器人能否行走：异构多智能体系统的三零协同导航

Yaxuan Wang, Yifan Xiang, Ke Li, Xun Zhang, BoWen Ye, Zhuochen Fan, Fei Wei, Tong Yang

机构 * Yuanpei College, Peking University（北京大学元培学院） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） ； Pengcheng Laboratory（鹏城实验室） ； Beijing Jinruyi Large Model Technology Co., Ltd.（北京金如意大模型科技有限公司） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 本文提出三零路径规划框架，通过协调者-探索者架构实现无需训练、无需先验知识和无需模拟的异构多机器人系统协作导航，实验显示其在复杂环境中具有鲁棒性和适应性。

Comments 8 pages, 2 figures

HELIOS: Hierarchical Exploration for Language-Grounded Interaction in Open Scenes

HELIOS：面向开放场景的语言引导交互的分层探索

Katrina Ashton, Chahyon Ku, Shrey Shah, Saumit Vedula, Tingrui Zhang, Wen Jiang, Kostas Daniilidis, Bernadette Bucher

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Michigan（密歇根大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 HELIOS通过分层场景表示和搜索目标，解决开放环境中语言指令与部分观测场景的语义关联及动态更新问题，实现高仿真实验和现实场景中的语言引导抓取放置任务。

MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

MolmoB0T：大规模模拟实现零样本操控

Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出MolmoB0T，通过大规模模拟数据实现零样本操控，展示了在静态和移动操控任务中，无需真实世界微调即可有效迁移的成果。

TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation

TacVLA: 基于接触感知的触觉融合用于鲁棒的视觉-语言-动作操控

Kaidi Zhang, Heng Zhang, Zhengtong Xu, Zhiyuan Zhang, Md Rakibul Islam Prince, Xiang Li, Xiaojing Han, Yuhao Zhou, Arash Ajoudani, Yu She

机构 * Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia（人机交互实验室，意大利理工学院） ； Ph.D. program of national interest in Robotics and Intelligent Machines (DRIM) and Università di Genova（机器人与智能机器国家级博士项目（DRIM）和热那亚大学） ； Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 TacVLA通过引入触觉模态提升视觉-语言-动作操控的鲁棒性，采用接触感知门控机制实现多模态融合，实验显示在拆解、箱内拾取和视觉遮挡场景中性能提升显著。

Comments 9 pages, 7 figures

Task-Aware Positioning for Improvisational Tasks in Mobile Construction Robots via an AI Agent with Multi-LMM Modules

面向即兴任务的移动建筑机器人AI代理的定位任务感知

Seongju Jang, Francis Baek, SangHyun Lee

机构 * University of Michigan（密歇根大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)

AI总结 本文提出一种AI代理，通过多LMM模块实现对自然语言描述的即兴任务的理解与定位，使移动建筑机器人能自主完成非预定义任务。

SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation

SG-VLA：学习空间接地的视觉-语言-动作模型用于移动操作

Ruisen Tu, Arth Shukla, Sohyun Yoo, Xuanlin Li, Junxi Li, Jianwen Xie, Hao Su, Zhuowen Tu

机构 * UC San Diego（南加洲大学） ； Lambda, Inc（Lambda公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出SG-VLA模型，通过辅助任务协同训练和多模态输入增强，提升移动操作中视觉-语言-动作模型的空间感知与表征能力，实现在家庭环境中更高效的物体抓取与操作。

CompassNav: Steering From Path Imitation To Decision Understanding In Navigation

CompassNav: 从路径模仿到决策理解的导航导航

LinFeng Li, Jian Zhao, Yuan Xie, Xin Tan, Xuelong Li

机构 * East China Normal University（东华师范大学） ； The Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出CompassNav方法，通过引入Compass-Data-22k数据集和gap-aware奖励函数，使导航代理能理解而非单纯模仿路径，实现更高效的导航性能。

Journal ref Proceedings of the 14th International Conference on Learning Representations (ICLR), 2026

From Natural Language to Executable Properties for Property-based Testing of Mobile Apps

从自然语言到可执行属性：用于移动应用基于属性测试的可执行属性

Yiheng Xiong, Ting Su, Jingling Sun, Jue Wang, Qin Li, Geguang Pu, Zhendong Su

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种新的结构化属性合成方法，将自然语言属性描述自动转换为可执行属性，并通过iPBT工具验证，展示了其在提升测试效率和鲁棒性方面的贡献。

Not All Features Are Created Equal: A Mechanistic Study of Vision-Language-Action Models

并非所有特征都具有同等价值：一种视觉-语言-动作模型的机制研究

Bryce Grant, Xijia Zhao, Peng Wang

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 研究通过激活注入、稀疏自编码器和线性探针分析视觉-语言-动作模型，发现视觉路径主导动作生成，语言敏感性取决于任务结构而非模型设计，且专家路径编码运动程序，VLM路径编码目标语义，释放Action Atlas供探索。

Comments Accepted to Multimodal Intelligence Workshop @ ICLR

ImagiNav: Scalable Embodied Navigation via Generative Visual Prediction and Inverse Dynamics

ImagiNav：通过生成性视觉预测和逆动力学实现可扩展的具身导航

Jie Chen, Yuxin Cai, Yizhuo Wang, Ruofei Bai, Yuhong Cao, Jun Li, Yau Wei Yun, Guillaume Sartoretti

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出ImagiNav框架，通过解耦视觉规划与机器人动作，利用真实世界导航视频实现零样本迁移，无需机器人演示即可实现通用机器人自主导航。

From Woofs to Words: Towards Intelligent Robotic Guide Dogs with Verbal Communication

从Woofs到Words：迈向具备言语交流的智能机器人导盲犬

Yohei Hayamizu, David DeFazio, Hrudayangam Mehta, Zainab Altaweel, Jacqueline Choe, Chao Lin, Jake Juettner, Furui Xiao, Jeremy Blackburn, Shiqi Zhang

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种新型对话系统，通过LLM实现导航计划和场景的言语化，以提升导盲犬在动态环境中的空间感知与人类操作者的协作决策能力。

Comments 10 pages, 6 figures, AAAI 2026

$Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation

$Ψ_0$：一种面向通用人形机器人运动- manipulation 的开放基础模型

Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang, Sheng Zang, Weiduo Yuan, Marco Pavone, Di Huang, Yue Wang

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出$Ψ_0$模型，通过分阶段训练和异构数据利用，实现高效的人形机器人运动- manipulation 任务，仅用800小时视频和30小时机器人数据即超越基线性能。

StyleVLA: Driving Style-Aware Vision Language Action Model for Autonomous Driving

StyleVLA: 驾驶风格感知的视觉语言动作模型用于自动驾驶

Yuan Gao, Dengyuan Hua, Mattia Piccinini, Finn Rasmus Schäfer, Korbinian Moller, Lin Li, Johannes Betz

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

AI总结 StyleVLA通过引入物理约束和混合损失，生成多样且物理合理的驾驶行为，优于现有专有和先进模型。

Comments 8 pages

SPAN-Nav: Generalized Spatial Awareness for Versatile Vision-Language Navigation

SPAN-Nav: 通用空间感知用于多功能视觉-语言导航

Jiahang Liu, Tianyu Xu, Jiawei Chen, Lu Yue, Jiazhao Zhang, Zhiyong Wang, Minghan Li, Qisheng Zhao, Anqi Li, Qi Su, Zhizheng Zhang, He Wang

机构 * Peking University（北京大学） ； Galbot ； BAAI（北京人工智能研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 SPAN-Nav通过端到端模型和空间感知机制，在复杂环境中实现高效的视觉-语言导航。

ImpedanceDiffusion: Diffusion-Based Global Path Planning for UAV Swarm Navigation with Generative Impedance Control

阻抗扩散：基于扩散的全局路径规划用于无人机群导航的生成阻抗控制

Faryal Batool, Yasheerah Yaqoot, Muhammad Ahsan Mustafa, Roohan Ahmed Khan, Aleksey Fedoseev, Dzmitry Tsetserukou

机构 * Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室，数字工程中心，斯克尔科夫科学与技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 ImpedanceDiffusion通过结合扩散模型和人工势场跟踪，实现无人机群在复杂环境中的可靠路径规划与自适应阻抗控制。

Comments This is paper is under review

GeoAware-VLA: Implicit Geometry Aware Vision-Language-Action Model

GeoAware-VLA: 基于隐式几何的视觉-语言-动作模型

Ali Abouzeid, Malak Mansour, Qinbo Sun, Zezhou Sun, Dezhen Song

机构 * Department of Robotics, Mohamed bin Zayed University of Artificial Intelligence（机器人系，Mohamed bin Zayed人工智能大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 GeoAware-VLA通过整合几何先验提升视觉-语言-动作模型的视角不变性，显著提高零样本泛化能力，并在现实机器人平台中取得显著效果。

Comments Under Review, Project Page https://alisharey.github.io/GeoAware-VLA/

Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Green-VLA: 通用机器人中的分阶段视觉-语言-动作模型

I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 Green-VLA是一种面向真实环境的分阶段视觉-语言-动作模型，通过多阶段训练和强化学习对齐，提升机器人在多样化形态上的泛化能力和性能。

Comments 22 pages, 14 figures

Learning Next Action Predictors from Human-Computer Interaction

从人机交互中学习下一步动作预测器

Omar Shaikh, Valentin Teutschbein, Kanishk Gandhi, Yikun Chi, Nick Haber, Thomas Robinson, Nilam Ram, Byron Reeves, Sherry Yang, Michael S. Bernstein, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Hasso Plattner Institute（哈索普拉特纳研究所） ； New York University（纽约大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出LongNAP模型，通过结合参数化和上下文学习，从用户行为的完整上下文中预测下一步动作，显著优于传统方法。

Comments 32 pages, 10 figures, see https://generalusermodels.github.io/nap

Evolution 6.0: Robot Evolution through Generative Design

进化6.0：通过生成设计实现机器人进化

Muhammad Haris Khan, Artyom Myshlyaev, Artem Lykov, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯克洛夫诺研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 进化6.0通过生成式AI实现机器人自主设计工具和执行任务，展示高成功率和泛化能力。

Comments Accepted to HRI

A Robust Simulation Framework for Verification and Validation of Autonomous Maritime Navigation in Adverse Weather and Constrained Environments

一种用于自主水路航行在恶劣天气和受限环境下的验证与验证的稳健仿真框架

Mayur S. Patil, Nataraj Sudharsan, Anthony S. Saaiby, JiaChang Xing, Keliang Pan, Veneela Ammula, Jude Tomdio, Jin Wang, Michael Kei, Heonyong Kang, Sivakumar Rathinam, Prabhakar R. Pagilla

机构 * Department of Mechanical Engineering, Texas A&M University, College Station, USA（机械工程系，德克萨斯A&M大学，学院站，美国） ； Department of Ocean Engineering, Texas A&M University, College Station, USA（海洋工程系，德克萨斯A&M大学，学院站，美国） ； American Bureau of Shipping, Spring, TX, USA（美国船舶局，斯普林，德克萨斯州，美国） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种稳健的仿真框架，用于验证和验证自主水路航行系统在恶劣天气和受限环境下的性能。

RoboMIND 2.0: A Multimodal, Bimanual Mobile Manipulation Dataset for Generalizable Embodied Intelligence

RoboMIND 2.0：一种多模态、双臂移动操作数据集，用于通用具身智能

Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai, Langzhe Gu, Tao Li, Yuheng Zhang, Yixue Zhang, Xinhua Wang, Shichao Fan, Meng Li, Zhen Zhao, Ning Liu, Zhiyuan Xu, Pei Ren, Junjie Ji, Haonan Liu, Kuan Cheng, Shanghang Zhang, Jian Tang

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 RoboMIND 2.0通过多模态双臂移动操作数据集和MIND-2系统，提升通用具身智能的泛化能力。

Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation

人机交互：从视频演示中学习机器人模仿

Thanh Nguyen Canh, Thanh-Tuan Tran, Haolan Zhang, Ziyan Gao, Nak Young Chong, Xiem HoangVan

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本研究提出了一种基于视频演示的机器人模仿学习方法，通过模块化框架结合时间位移模块和深度强化学习，实现机器人从无结构视频中学习基本操作技能。

Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation

用于长时程机器人操作的扩散轨迹引导策略

Shichao Fan, Quantao Yang, Yajie Liu, Kun Wu, Zhengping Che, Qingjie Liu, Min Wan

机构 * School of Mechanical Engineering and Automation, BeiHang University（机械工程与自动化学院，北航） ； School of Computer Science and Engineering, BeiHang University（计算机科学与工程学院，北航） ； Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心） ； Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出DTP框架，通过生成轨迹减少模仿学习中的误差累积，提升长时程机器人任务的性能。

Comments 8 pages, 5 figures, accepted to IEEE Robotics and Automation Letters (RAL)

Journal ref IEEE Robotics and Automation Letters (Volume: 10, Issue: 12, December 2025)