视觉大模型 / VLM

Hierarchical Fast-Slow ReAct Agent for Zero-Shot Object-Goal Navigation

用于零样本物体目标导航的分层快慢ReAct智能体

Zhaochen Lan, Zhi Yang, Yuxiang Fu, Mengxiang Lin

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 该研究针对零样本物体目标导航，提出分层快慢ReAct智能体，结合价值图控制器与坐标锚定记忆及VLM，在HM3D、MP3D验证集上取得零样本方法最高成功率，远前沿审议可提升性能。

Comments 11 pages, 6 figures

AgenticNav: Zero-Shot Vision-and-Language Navigation as a Tool-Calling Harness

AgenticNav：零样本视觉与语言导航作为工具调用框架

Yijian Li, Changze Li, Hantian Shi, Jiaying Luo, Jiyuan Cai, Ming Yang, Tong Qin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 提出AgenticNav，通过将动作、深度和记忆作为可调用工具暴露给VLM，实现零样本连续环境导航，在R2R-CE基准上达到SOTA性能。

GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model

GemNav：使用多模态大语言模型的离散令牌视觉机器人导航

Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam

机构 * CSIRO Technology（联邦科学与工业研究组织） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

VTM-Nav：用于跨情节对象目标导航的分层视觉拓扑记忆

Xiaoran Xu, Yupeng Wu, Tianyu Xue, Yifan Xu, Xuanran Dong, Xiaoshan Yang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究跨情节对象目标导航问题，提出无训练的VLM导航框架\method，其带有分层视觉拓扑记忆，通过粗到细匹配检索经验，在三个基准测试中性能最佳，证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。

MatterDoor: Sampling Zero-shot Spatio-semantic Priors using Generative Models

MatterDoor: 使用生成模型采样零样本空间语义先验

Subhransu S. Bhattacharjee, Hao Lu, Dylan Campbell, Rahul Shome

机构 * School of Computing, Australian National University（澳大利亚国立大学计算机学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 针对机器人通过门缝观察时场景结构缺失的问题，提出MatterDoor方法，利用预训练生成模型（VLM引导外推、单目深度估计、语义分割）采样隐藏房间的语义3D点云先验，在Matterport3D基准上验证了零样本空间语义先验的有效性。

Comments Under Review

Fly0: Persistent Metric Anchoring for Zero-Shot Aerial Vision-Language Navigation

Fly0: 解耦语义定位与几何规划以实现零样本空中导航

Zhenxing Xu, Yihong Lu, Weidong Bao, Zhengqiu Zhu, Jingxuan Zhou, Zhichuang Wang, Ji Wang, Lihua Liu, Wei He

机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室） ； National University of Defense Technology（国防科技大学） ； State Key Laboratory of Digital Intelligent Modeling and Simulation（数字智能建模与仿真国家重点实验室） ； Information Support Force Engineering University（信息支援力量工程大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 Fly0通过解耦语义推理与几何规划，实现零样本空中导航，提升导航成功率和减少导航误差。

DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation

DeMaVLA：面向可泛化可变形物体操作的视觉-语言-动作基础模型

Taiyi Su, Jian Zhu, Tianjian Wang, Youzhang He, Zitai Huang, Jianjun Zhang, Chong Ma, Hanyang Wang, Tianjiao Zhang, Munan Yin, Weihao Ding, Yi Xu

机构 * Tongji University（同济大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出DeMaVLA模型，采用VLM骨干与动作专家结合流匹配生成连续动作，通过剪枝Transformer层提升效率，并利用大规模真实世界数据和人类反馈数据聚合训练，实现可变形物体折叠操作的多类别泛化。

Comments 14 pages, 2 figures

SleepWalk: A Three-Tier Benchmark for Stress-Testing Instruction-Guided Vision-Language Navigation

SleepWalk：一种三层压力测试基准，用于指导的视觉-语言导航

Niyati Rawal, Sushant Ravva, Shah Alam Abir, Saksham Jain, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

机构 * Indian AI Research Organization (IAIRO)（印度人工智能研究组织） ； ĸragya Lab, BITS Pilani Goa（BITS Pilani Goa 的 ĸragya 实验室） ； University of Dhaka（达卡大学） ； Delhi Technological University（德里技术大学） ； Apple（苹果公司） ； Meta 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出SleepWalk基准，用于评估基于指令的轨迹预测，针对局部化、交互导向的具身推理，揭示当前VLM在空间推理中的系统性失败。

GUI-Perturbed: Domain Randomization Reveals Systematic Brittleness in GUI Grounding Models

GUI-Perturbed：领域随机化揭示GUI接地模型的系统性脆弱性

Yangyue Wang, Harshvardhan Sikka, Yash Mathur, Tony Zhou, Jinu Nyachhyon, Pranav Guruprasad

机构 * Fig 2 Manifold Research（图2曼尼福德研究） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG

AI总结 GUI接地模型在标准基准上准确率超过85%，但在需要空间推理而非直接元素命名时下降27-56个百分点。GUI-Perturbed框架通过独立变化视觉场景和指令来评估接地鲁棒性，发现关系指令导致所有模型准确性崩溃，70%浏览器缩放显著降级，且增强数据训练反而降低性能。

Comments 26 Pages, 17 Figures, 9 Tables

Grounding Computer Use Agents on Human Demonstrations

基于人类演示的计算机使用智能体基础构建

Aarash Feizi, Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, Kaixin Li, Rabiul Awal, Xing Han Lù, Johan Obando-Ceron, Juan A. Rodriguez, Nicolas Chapados, David Vazquez, Adriana Romero-Soriano, Reihaneh Rabbany, Perouz Taslakian, Christopher Pal, Spandana Gella, Sai Rajeswar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ServiceNow Research（ServiceNow研究） ； University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG

AI总结 为解决桌面环境高质量基础数据稀缺问题，构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集，并基于此训练GroundNext模型，在5个基准上以少于先前十分之一的数据取得最优结果。

Comments Accepted at ICLR 2026

CatalyticMLLM: A Graph-Text Multimodal Large Language Model for Catalytic Materials

CatalyticMLLM: 一种用于催化材料的图-文本多模态大语言模型

Yanjie Li, Jian Xu, Xu-Yao Zhang, Shiming Xiang, Nian Ran, Weijun Li, Cheng-Lin Liu

机构 * AnnLab（安实验室） ； Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所） ； Zhongguancun Academy（中关村学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； State Key Laboratory of High Performance Ceramics（高性能陶瓷国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； University of ChineseAcademy of Sciences（中国科学院大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种统一的图-文本多模态大语言模型QE-Catalytic-V2，用于催化材料的性质预测和逆向设计，通过共享的表示空间实现两者的联合建模，从而形成闭环优化流程。

Comments 71 page

Planning with the Views

通过场景自我探索进行视图规划

Kangrui Wang, Linjie Li, Zhengyuan Yang, Shiqi Chen, Zihan Wang, Li Fei-Fei, Jiajun Wu, Leonidas Guibas, Lijuan Wang, Manling Li

机构 * Northwestern University（西北大学） ； University of Washington（华盛顿大学） ； Microsoft（微软） ； University of Oxford（牛津大学） ； Stanford University（斯坦福大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出ViewSuite基准测试揭示VLM在多步视图规划中的不足，并设计迭代框架通过自我探索和视图图蒸馏将Qwen2.5-VL-7B的交互式视图规划准确率从2.5%提升至47.8%。

The N-Body Problem: Parallel Execution from Single-Person Egocentric Video

N体问题：从单人物体中心视频进行并行执行

Zhifan Zhu, Yifei Huang, Yoichi Sato, Dima Damen

机构 * University of Bristol（布里斯托尔大学） ； The University of Tokyo（东京大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出N体问题，从单人物体中心视频预测N人并行执行任务，通过结构化提示策略引导视觉语言模型推理3D环境、物体使用和时间依赖，在EPIC-Kitchens和HD-EPIC数据集上显著提升动作覆盖率并降低冲突。

Comments accepted at ECCV Workshop, project webpage: https://zhifanzhu.github.io/ego-nbody

Beyond Screenshots: Evaluating VLMs' Understanding of UI Animations

超越截图：评估VLMs对UI动画的理解

Chen Liang, Xirui Jiang, Naihao Deng, Eytan Adar, Anhong Guo

机构 * University of Michigan（密歇根大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 本文提出AniMINT数据集，评估VLMs对动态UI动画的理解能力，发现其在基础运动检测上可靠，但高阶解释仍不一致，揭示了模型性能的关键瓶颈。

Comments Published in ACL 2026 Findings

EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

EchoVLA：用于VLA驱动移动操作的协同声明记忆

Min Lin, Xiwen Liang, Bingqian Lin, Jingzhi Liu, Zijian Jiao, Kehan Li, Ziang Yan, Yu Sun, Weijia Liufu, Yuhan Ma, Jiarui Hu, Yuecheng Liu, Shen Zhao, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University, Shenzhen, China（中山大学深圳校区） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Huawei Noah's Ark Lab, China（华为诺亚方舟实验室） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 EchoVLA通过协同声明记忆提升移动操作性能，结合场景与事件记忆，利用注意力融合指导基臂策略，实现高效导航与操作。

From Traditional Automation to Embodied Wireless Intelligence: Vision-Language-Action Empowered Physics-Aware Communication Networks

从传统自动化到具身无线智能：视觉-语言-动作赋能的物理感知通信网络

Genze Jiang, Kezhi Wang, Xiaomin Chen, Yizhou Huang

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出具身智能基站（eBS）范式，采用视觉-语言-动作（VLA）流水线，使基站具备环境感知、因果物理推理和物理感知动作生成能力，实现从规则自动化到具身智能的转变。

Comments submitted for possible jounal publication

EmbodiedDiffusion: End-to-End Traversability-Guided Visual Diffusion for Heterogeneous Robot Navigation

EmbodiedDiffusion：用于异构机器人导航的端到端可通行性引导视觉扩散

Iana Zhura, Sausar Karaf, Faryal Batool, Nipun Dhananjaya Weerakkodi Mudalige, Valerii Serpiva, Ali Alridha Abdulkarim, Aleksey Fedoseev, Didar Seyidov, Hajira Amjad, Dzmitry Tsetserukou

机构 * Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室，数字工程中心，斯克尔科沃科学与技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对自主导航中视觉可通行性估计问题，EmbodiedDiffusion框架利用无规划器合成监督等，同时预测可通行性地图与生成可行轨迹，经训练提炼语义到轻量级模型，能快速适应新平台，在多机器人室内环境中实现高效导航与轨迹生成。

Comments This work has been submitted for publication and is currently under review

(A)I Sees What You Don't: Exploiting New Attack Surfaces in Third-Party Mobile Agents

(AI)看见你看不见的：利用第三方移动代理中的新攻击面

Zidong Zhang, Zhentao Xie, Wenrui Diao, Jianliang Wu

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文识别了第三方移动代理在屏幕感知和通道滥用方面的两种新攻击面，并设计了七种具体攻击，证明恶意应用可在无权限下劫持代理行为。

UniLM-Nav: A Unified Framework for Zero-Shot Last-Mile Navigation

UniLM-Nav：零样本最后一英里导航的统一框架

Zhuofan Zhang, Tianxu Wang, Guoxi Zhang, Yixiong Lin, Xilin Wang, Hongming Xu, Qing Li, Song-Chun Zhu, Lifeng Fan

机构 * Tsinghua University（清华大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司人工智能研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 研究移动操作中最后一英里导航问题，提出UniLM-Nav统一框架，通过多模态大语言模型后端分解任务为视图选择、功能接地和姿态推理，在OVMM基准上优于现有方法，还验证了在实际机器人上的适用性。

Comments Project page: https://unilm-nav.github.io

CRAFT: Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

CRAFT：利用基础模型自主教练强化学习以完成多机器人协调任务

Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

机构 * Department of Mechanical Engineering, University of California Berkeley（机械工程系，加州大学伯克利分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 提出CRAFT框架，利用大语言模型分解任务、生成奖励函数，并通过视觉语言模型优化，实现多机器人协调学习，在四足导航和双臂操作任务中验证有效性。

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

SCLARO：面向场景级场景理解的数据集及用于基准测试的ScenarioCLIP

Advik Sinha, Saurabh Atreya, Aashutosh A, Sk Aziz Ali, Abhijit Das

机构 * Machine Intelligence Group, Department of CS&IS, Birla Institute of Technology and Science, Pilani – Hyderabad Campus（人工智能组，计算机科学与信息系，比拉理工学院和科学学院，比拉-海得拉巴校区） 纠错

专题命中 GUI与屏幕智能体 ：visual language model(title)；分类 cs.CV

AI总结 提出SCLARO数据集（615,805张图像，含动作、对象和关系标注）及ScenarioCLIP模型，通过解耦编码器和知识蒸馏联合编码场景上下文、对象和关系，在零样本检索等任务上优于先前方法。

SportD: How do VLMs physically strategize?

SportD：视觉语言模型能进行物理策略制定吗？

Jasin Cekinmez, Addison J. Wu, Haotian Xia, Kyumin Andrew Shim, Anay Putty, Jinglin Xiao, Zhuohan Liu, Leo Liu, Weining Shen

机构 * Princeton University（普林斯顿大学） ； Rice University（莱斯大学） ； UC Irvine（加州大学欧文分校） ； POSTECH（浦项科技大学） ； NYU Shanghai（纽约大学上海分校） ； UC Santa Barbara（加州大学圣塔芭芭拉分校） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型在足球场景中能否进行物理策略制定，引入SportD基准，通过控球价值模型评估模型决策，发现模型表现低于职业球员，有偏好低方差低回报动作等问题，为衡量模型物理策略推理提供测试平台。

FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback

FronTalk: 以多模态反馈进行对话式代码生成的前端开发基准测试

Xueqing Wu, Zihan Xue, Da Yin, Shuyan Zhou, Kai-Wei Chang, Nanyun Peng, Yeming Wen

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Duke University（杜克大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出FronTalk基准，通过多轮对话和多模态反馈（文本与视觉指令）评估前端代码生成，发现模型存在遗忘和视觉反馈理解困难，提出AceCoder方法有效减少遗忘并提升性能。

Comments CoLM 2026

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

DataClaw0: 从原始流中智能定制多模态数据

Cong Wan, Zeyu Guo, Zijian Cai, Jiangyang Li, SongLin Dong, Lin Peng, Xiangyang Luo, Zhiheng Ma, Yihong Gong

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。

Comments add base model: Qwen3.5-27B

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

不应学习的地方：基于子集归因约束的先验对齐训练以实现可靠的决策制定

Ruoyu Chen, Shangquan Sun, Xiaoqing Guo, Sanyi Zhang, Kangwei Liu, Shiming Liu, Zhangcheng Wang, Qunli Zhang, Wei Wang, Hua Zhang, Xiaochun Cao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； Communication University of China（中国传媒大学） ； Imperial College London（伦敦帝国学院） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络科学与技术学院） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出了一种基于归因的先验对齐方法，通过子集选择归因技术约束模型依赖于人类先验区域，从而提升决策的可靠性。

When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation

MAVEN：面向多元文化文本到视频生成的多智能体框架

Shuowei Li, Yuming Zhao, Parth Bhalerao, Oana Ignat

机构 * Santa Clara University（圣克拉拉大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出MAVEN多智能体提示优化框架，通过并行或串行分解提示为人物、动作、地点维度，提升单文化和跨文化文本到视频生成的文化保真度，并构建包含243个文化提示和972个视频的基准进行评估。

Comments [14] pages, [6] figures, [11] tables, appendix included. Preprint

GUIDE: Resolving Domain Bias in GUI Agents through Real-Time Web Video Retrieval and Plug-and-Play Annotation

GUIDE：通过实时网络视频检索和即插即用标注解决GUI代理的领域偏见

Rui Xie, Zhi Gao, Chenrui Shi, Zirui Shang, Lu Chen, Qing Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； State Key Laboratory for General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GUIDE通过实时网络视频检索和即插即用标注框架，解决GUI代理的领域偏见问题，通过视频语义分析和自动化标注流程提升代理对特定应用的操作流程和UI布局的理解，实验表明其在多代理系统和单模型代理中均能提升性能。

Comments Accepted to ECCV 2026. 30 pages: 15-page main paper followed by supplementary material as an appendix (Sections A-F). Project page: https://sharryXR.github.io/GUIDE/

See Less, Specify More: Visual Evidence Budgets for Generalizable VLAs

看得更少，指定更多：面向可泛化视觉-语言-动作模型的视觉证据预算

Yueh-Hua Wu, Tatsuya Matsushima, Kei Ota

机构 * Airoa 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出S2框架，通过显式视觉证据预算和细化轨迹语言，改善VLA模型在干扰、外观变化和语义相似任务下的泛化能力。

Comments Project page: https://s2.airoa.io

NormAct: Benchmarking Embodied Agents' Proactive Compliance with Unspoken Social Norms

NormAct：具身规划中隐藏社会规范遵守的基准

Shiyun Zhao, Xinwei Song, Tianyu Guo, Xiaomeng Gao, Mingyuan Liu, Xu Han, Yuanyuan Zhang, Zhenliang Zhang, Xue Feng, Bo Dai

机构 * State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI)（通用人工智能国家重点实验室，北京通用人工智能研究院） ； China Academy of Information and Communications Technology（中国信息通信研究院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 提出NormAct基准，评估多模态大语言模型在具身规划中遵守隐藏社会规范的能力，发现模型在67.3%情况下达成显式目标，但仅26.4%遵守隐藏规范；提出NormPerceptor方法将任务成功率从24.2%提升至46.7%。

Comments This version revises the paper content and adds substantial details on the benchmark design and experimental setup

Preference Redirection via Attention Concentration: An Attack on Computer Use Agents

通过注意力集中进行偏好重定向：对计算机使用代理的一种攻击

Dominik Seip, Matthias Hein

机构 * Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出PRAC攻击，通过重定向模型注意力操纵CUA选择过程，揭示了视觉模态的漏洞，威胁到基于开放权重模型的CUA安全。

Journal ref Conference on Language Modeling (COLM) 2026