AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
ASCII艺术将LLMs转化为VLA控制器
机构 * Dept. of Computer Science, Dartmouth College（达特茅斯学院计算机科学系） ； Dept. of Electrical and Computer Engineering, Clemson University（克莱姆森大学电气与计算机工程系） ； Dept. of Mechanical and Aerospace Engineering, University of Houston（休斯顿大学机械与航空航天工程系）
专题命中 GUI与屏幕智能体 ：VLM(abstract_cn)；分类 cs.CV、cs.LG
AI总结 通过ASCII表示将视觉观察渲染为文本输入，仅使用文本LLM即可实现VLA式控制，在2D操作任务中表现良好，提供轻量级可解释的模态桥接。
Video2Code: 通过动作感知重访从UI视频生成交互式网页
机构 * University of Waterloo（滑铁卢大学） ； Tsinghua University（清华大学） ； Zhipu AI（智谱AI） ； Beihang University（北京航空航天大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出Video2Code方法，通过动作感知重访UI视频中的关键区域，恢复可执行的状态转换，生成HTML/CSS/JavaScript代码，提升多步交互的代码功能正确性。
Comments 31 pages, 21 figures
SCoTT：面向数字孪生的无线感知机器人导航战略链式思维任务规划
机构 * Technical University of Munich（慕尼黑技术大学） ； Virginia Tech（弗吉尼亚理工大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出SCoTT框架，利用视觉语言模型优化路径收益与轨迹长度，通过分解搜索问题提升无线约束下的路径规划效率，实验显示其性能接近最优动态规划算法且生成更短轨迹。
Journal ref Asilomar Conference on Signals, Systems, and Computers, 2025
See-and-Reach: 视场内的精确视觉语言导航用于无人机
机构 * School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） ； School of Computer Science and Artificial Intelligence, Shandong Normal University（山东师范大学计算机科学与人工智能学院） ； Interdisciplinary Research Center of General Artificial Intelligence, Shandong Normal University（山东师范大学通用人工智能跨学科研究中心）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 针对无人机视觉语言导航中目标可见后精确到达能力评估不足的问题，提出UAV-VLN-FOV任务和3DG-VLN框架，通过动态3D方向线索增强细粒度视觉定位与空间对齐，在基准和真实实验中显著提升成功率。
Comments 12 pages, 7 figures
WebSP-Eval：在网站安全与隐私任务上评估网络代理
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出WebSP-Eval框架，通过200个任务实例和自动化评估器，测试多模态大模型在网站安全与隐私任务上的表现，发现状态UI元素（如开关）导致超过45%的任务失败。
Comments Accepted at PETS 2026. Project Page: https://wiscprivacy.com/webspeval/
MaskWAM：统一掩码提示与预测的世界-动作模型
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent Robotics X（腾讯机器人X实验室） ； Tsinghua University（清华大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 提出MaskWAM，通过统一掩码输入与预测的混合Transformer架构，解决世界-动作模型的空间瓶颈，提升策略泛化能力，在LIBERO等任务上显著优于基线。
面向计算机使用代理的历史感知视觉基础批评家
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。
Comments Code: https://github.com/G-JWLee/HiViG
PointAction: 3D点作为机器人控制的通用动作表示
机构 * University of Pennsylvania（宾夕法尼亚大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 提出PointAction框架，通过微调视频生成模型联合预测未来RGB帧和动态3D点图，将点动力学作为与具体本体无关的动作接口，再由扩散动作解码器映射为可执行动作，以减少RGB动作歧义并跨任务/本体迁移。
Comments Project page: https://oriontmt.github.io/pointaction/
从人类视频到机器人操作：基于人类中心数据的可扩展视觉-语言-动作学习综述
机构 * Tsinghua University（清华大学） ； HKUST（香港科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Microsoft Zurich Project（微软苏黎世实验室）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文综述了如何将丰富的人类视频转化为视觉-语言-动作（VLA）模型的有效知识，分类了四种方法（潜在动作表示、预测世界模型、显式2D监督、显式3D重建），并指出了结构化非结构化视频、跨具身和视角的动作映射、以及评估协议设计三大挑战。
Comments Accepted to IJCAI 2026 Survey Track. Project page: https://aaronfengzy.github.io/HumanCentricToVLA-Survey/
视觉信息在视觉-语言-动作模型驾驶行为中是否起决定性作用？
机构 * Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（科技与交通智能 thrust，香港科学与技术大学（广州））
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出结构化多级视觉扰动框架，系统分析VLA驾驶模型对视觉信息的依赖程度，揭示依赖模式随评估方式变化且在不同抽象层次上不均匀。
E3AD：面向以人为中心的端到端自动驾驶的情感感知视觉-语言-动作模型
机构 * McGill University（麦吉尔大学） ； University of Macau（澳门大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出E3AD框架，通过连续VAD情感模型和双路径空间推理模块，将情感理解融入视觉-语言-动作模型，实现开放域端到端自动驾驶中的情感感知轨迹规划，在真实数据集上达到SOTA性能。
从归因到行动：激活导向的人本应用
机构 * Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫 Heinrich-Hertz 研究所） ； Technische Universität Berlin（柏林技术大学） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出结合SAE归因与激活导向的交互式工作流，通过专家访谈验证其能促进从检查到干预的转变，并揭示组件抑制等调试策略及潜在风险。
GUI-Libra：训练原生GUI代理进行推理与行动——基于动作感知监督和部分可验证强化学习
机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出GUI-Libra训练方案，通过动作感知SFT和部分可验证RL中的KL正则化，解决GUI代理在长程导航任务中推理与定位冲突及部分可验证性问题，显著提升步骤准确率和任务完成率。
Comments 57 pages, 17 figures
VLANeXt: 构建强大VLA模型的配方
机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； SenseTime Research（商汤科技研究院） ； Sun Yat-sen University（中山大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文通过统一框架和评估设置重新审视VLA设计空间，系统分析了基础组件、感知要素和动作建模视角，总结出12项关键发现，提出了一种简单有效的VLA模型VLANeXt，并在LIBERO和LIBERO-plus基准测试中超越了现有方法，同时提供了易于使用的代码库。
Comments Accepted in ICML 2026, Project Page: https://dravenalg.github.io/VLANeXt/
基于仿真护理教育的自主学习能力评估：通过第一人称视频进行AI辅助评估
机构 * Vanderbilt University（范德比大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种基于第一人称视频的AI辅助评估框架，通过提取动作时间线、序列特征和识别指标，发现识别准确率与能力之间存在负相关关系，表明识别准确率可以作为自动化评估中的教学信息信号。
Comments Accepted at CVPR Workshop
CutVerse: 一个用于媒体后期制作编辑的组合式GUI代理基准测试
机构 * MIPG, Communication University of China（MIPG，中国传媒大学） ； National University of Singapore（新加坡国立大学） ； USEIT AI（USEIT人工智能）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本研究提出CutVerse，一个用于评估自主GUI代理在真实媒体后期制作环境中的能力的基准测试，揭示现有代理在复杂、长周期媒体后期制作工作流中的局限性。
AQuaUI: 用于GUI代理的视觉令牌减少方法基于自适应四叉树
机构 * UC Davis（加州大学戴维斯分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AQuaUI，一种无需训练的推理时GUI代理模型的视觉令牌减少方法，利用屏幕截图中的非均匀信息密度，通过自适应四叉树结构保持令牌位置以确保一致性，并通过条件四叉树算法提升多步骤GUI交互的时序一致性，实验表明其在准确性和效率之间取得了改进。
FUNCanon: 通过功能对象规范化学习姿态感知的动作原语以实现通用的机器人操作
机构 * TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg（汉堡大学信息学院TAMS（多模态系统技术）） ； Technical University of Munich（慕尼黑技术大学） ； Agile Robots SE（敏捷机器人有限公司）
专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出FUNCanon框架，通过功能对象规范化学习姿态感知的动作原语，以实现通用的机器人操作，该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段，从而提升策略的可组合性和可重用性。
Comments project website: https://sites.google.com/view/funcanon, 11 pages
LightZeroNav: 基于轻量级VLMs的连续环境中零样本视觉语言导航
机构 * Foshan Graduate School of Innovation, Northeastern University（创新研究生院，东北大学） ； Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学） ； School of Aeronautic Science and Engineering, Beihang University（航空科学与工程学院，北航） ； QingniaoAI, China（清北AI，中国）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出LightZeroNav，通过轻量级VLMs解决连续环境中零样本视觉语言导航的三大瓶颈，无需特定训练或图搜索，在RGB观测和轻量级Qwen3-VL-8B模型下实现与GPT-4o相当的性能。
什么是限制视觉-语言导航的因素？
机构 * HKUST(GZ)（香港科技大学（广州）） ； JD Explore Academy（京东探索研究院）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出StereoNav框架，通过引入目标-位置先验和立体视觉，提升真实环境导航一致性，实验显示其在RGB性能和参数效率上优于现有方法。
STAR：语义-时间自适应表示学习用于少样本动作识别
机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Engineering Research Center of Key Software Technologies for Smart City Perception and Planning, Ministry of Education（教育部智能城市感知与规划关键软件技术工程研究中心）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 STAR通过语义对齐和时间感知模块，解决少样本动作识别中的语义-时间对齐和多尺度时间动态建模问题，提升模型在有限样本下的泛化能力。
Comments Accepted for publication in IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)
GUIGuard-Bench：面向隐私保护GUI代理的通用评估
机构 * Beijing Normal University（北京师范大学） ； Zhongguancun Academy（中关村学院） ； University of Science and Technology of China（中国科学技术大学） ； A*STAR ； Zhongguancun Institution of Artificial Intelligence（中关村人工智能研究所）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 GUIGuard-Bench通过241个真实GUI代理轨迹和4080张截图，评估隐私保护GUI代理的隐私识别、规划一致性和保护策略影响，揭示隐私识别是实际应用中的关键瓶颈。
WebGym: 通过现实任务扩大视觉网络代理的训练环境
机构 * Microsoft（微软） ； UIUC（伊利诺伊大学香槟分校） ； CMU（卡内基梅隆大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 WebGym通过大规模现实任务和异步轨迹采样系统提升视觉网络代理训练效果，使基座模型在分布外测试集上的成功率显著提升。
Comments Completed acknowledgements
基于LLM引导的动作空间的强化学习用于可合成先导优化
机构 * Emory University（埃默里大学） ； University of Oxford（牛津大学） ； Independent Researcher（独立研究者）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出MolReAct框架，通过合成约束的动作空间和GRPO算法优化先导分子，提升性质同时保证合成可行性，实现高效分子生成。
VERTIGO：用于电影摄像机轨迹生成的视觉偏好优化
机构 * Shanghai University Shanghai Engineering Research Center of Motion Picture Special Effects LIX, \'Ecole Polytechnique, CNRS, IPP magenta http://vertigo.magic-lab.tech/
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VERTIGO，通过视觉偏好优化提升摄像机轨迹生成的质量，通过实时渲染和视觉语言模型优化，提高画面构图和视觉效果。
Comments 28 pages, 10 figures
VLA-Forget：面向具身基础模型的视觉-语言-动作去学习
机构 * Florida International University（佛罗里达国际大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VLA-Forget框架，通过结合感知选择性编辑与层选择性推理去学习，提升去学习效果，保留感知特性和推理能力，减少量化恢复。
Comments 18 pages, 9 figures, Accepted to ACL-2026, KnowFM
OpenMobile: 通过任务和轨迹合成构建开放移动代理
机构 * Nanjing University（南京大学） ； SenseTime（秒速） ； Nanyang Technological University（南洋理工大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Xi’an Jiaotong University（西安交通大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出OpenMobile框架，通过可扩展的任务合成管道和策略切换策略生成高质量任务指令和轨迹，实现移动代理在AndroidWorld等基准测试中取得显著成绩。
Comments Work in progress
RiskWebWorld: 电子商务风险管理中GUI代理的现实交互基准
机构 * Ant Group（蚂蚁集团）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 RiskWebWorld是一个用于评估GUI代理在电子商务风险管理中能力的现实交互基准，揭示了通用模型与专用模型在长周期专业任务中的显著能力差距。
WebChain：一个大规模的人工标注的真实世界网页交互轨迹数据集
机构 * Fudan University（复旦大学） ； IMean AI ； WebAgentLab
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出WebChain数据集，包含31,725条轨迹和318k步，通过视觉、结构和动作数据的三元对齐提供多模态监督，提出双中层训练方法，实现了WebChainBench等公开GUI基准的最先进性能。
StarVLA-$α$：降低视觉-语言-动作系统复杂度
机构 * HKUST（香港科技大学） ； XJTU（西安交通大学） ； CUHK（香港中文大学） ； THU（清华大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） ； SmartMore Ltd.（SmartMore有限公司）
专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出StarVLA-$α$，通过简化架构与流程降低实验干扰，系统分析VLA设计关键因素，在多个基准测试中表现优异，优于现有模型20%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈