AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
GAE: 利用可泛化动作专家释放VLM的物理潜力
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV
AI总结 提出通用动作专家（GAE），通过稀疏几何接口将VLM的高层意图转化为连续动作轨迹，采用动作预训练-点云微调（APPF）方案解耦动作动力学与几何基础，实现跨视觉域、视角和指令的强泛化。
GenerativeMPC：基于VLM-RAG的全身体姿MPC与虚拟阻抗的双臂移动 manipulation
机构 * Intelligent Space Robotics Laboratory（智能空间机器人实验室） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；grounding(abstract)
AI总结 本文提出GenerativeMPC框架，通过VLM-RAG将语义理解与物理控制参数结合，实现双臂移动 manipulation的高效安全控制，实验表明在近人区域速度降低60%并实现安全社交导航。
Comments 6 pages, 7 figures
从表征互补性到双系统：协同VLM和纯视觉骨干网络用于端到端驾驶
机构 * Department of Automation, University of Science and Technology of China（中国科学技术大学自动化系） ； School of Electronic Information Engineering, Beihang University（北京航空航天大学电子信息工程学院） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； National Superior College for Engineers, Beihang University（北京航空航天大学国家级工程师学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Lenovo Group Limited（联想集团有限公司） ； Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 本文通过协同VLM和纯视觉骨干网络，提出HybridDriveVLA和DualDriveVLA，提升端到端驾驶的PDMS性能。
PIGEON: 通过兴趣点选择的VLM驱动物体导航
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； Peking University（北京大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出PIGEON框架，将物体导航建模为基于原始观测的稀疏决策问题，通过兴趣点（PoI）作为视觉决策单元，结合VLM选择关键点，实现零样本SOTA性能并迁移至主动具身问答。
辅助推理如何释放VLM中的GUI定位能力
机构 * Zhejiang Lab（浙江实验室） ； Hangzhou Research and Development Center（杭州研发中心） ； China Mobile（中国移动） ； Innovation Center of Yangtze River Delta（长江三角洲创新中心） ； Zhejiang University（浙江大学）
专题命中 GUI与屏幕智能体 ：VLM(title_cn,summary_cn)；grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 针对VLM在GUI定位任务中隐式空间理解强但显式坐标输出弱的问题，提出三种零样本辅助推理方法（如标记网格），通过输入图像添加空间线索，显著提升定位性能，在多个基准上达到接近最优微调方法的效果。
Sim2Real-AD：一种模块化的仿真到现实框架，用于在现实世界自动驾驶中部署基于VLM的强化学习
机构 * Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Google（谷歌）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；分类 cs.CV、cs.AI
AI总结 本文提出Sim2Real-AD框架，实现无需真实世界强化学习数据将CARLA训练的VLM引导强化学习策略零样本迁移到全尺寸车辆。框架包含几何观察桥、物理感知动作映射、两阶段渐进训练和实时部署流水线。
Comments 33 pages, 16 figures
SlowBA：针对基于VLM的GUI代理的高效后门攻击
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；分类 cs.CV
AI总结 提出SlowBA后门攻击，通过强化学习注入触发模式，诱导VLM-based GUI代理产生冗长推理链，显著增加响应延迟，同时保持任务准确性。
Comments Accepted by ECCV 2026. Codes and supplementary materials are in https://github.com/tu-tuing/SlowBA
Goal2Pixel: 将目标锚定到像素以实现视觉语言导航
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Nanyang Technological University（南洋理工大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 提出Goal2Pixel范式，通过将连续环境中的视觉语言导航（VLN-CE）重新定义为可导航像素锚定，利用图像平面作为统一空间接口，预测可见导航像素并反投影为3D航点，结合可见性感知关键帧记忆和坐标感知辅助损失，在减少VLM调用次数的同时实现竞争性性能。
Comments 8 pages
HumanCLAW：视觉-语言模型能否通过实体身体执行动作
机构 * Meta ； Nanyang Technological University（南洋理工大学） ； University of Washington（华盛顿大学） ； Brown University（布朗大学） ； Northwestern University（西北大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV
AI总结 本研究提出HumanCLAW框架与HumanCLAW-Bench基准，测试9个先进VLM发现其均未解决具身动作任务，最优仅16.8%成功率，核心缺失具身自我意识。
Comments Project page: https://human-claw.github.io/
GUI-AIMA: 对齐内在多模态注意力与上下文锚点以实现GUI定位
机构 * University at Buffalo（布法罗大学） ； Adobe Research（Adobe研究院）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 GUI-AIMA通过多模态注意力对齐与上下文锚点，实现高效的GUI定位，无需坐标生成，提升数据效率和性能。
隐藏的幽灵之手：揭示MLLM驱动的移动GUI代理中的后门漏洞
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Huawei Inc.（华为公司）
专题命中 GUI与屏幕智能体 ：MLLM(title,title_cn)；multimodal large language model(abstract)
AI总结 本研究提出AgentGhost框架，通过组合目标和交互层触发器，利用监督对比学习和微调注入后门，在移动GUI代理中实现高成功率和隐蔽性，攻击准确率达99.7%。
Comments EMNLP-Findings 2025 (Correcting model settings)
预测熵连接校准与改写敏感性在医疗视觉-语言模型中
机构 * SAIL Lab, University of New Haven（纽黑文大学SAIL实验室）
专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.LG
AI总结 本文研究医疗视觉语言模型在部署中的校准和改写敏感性问题，通过预测熵方法发现决策边界接近性是共同原因，并展示单一熵阈值能有效识别不可靠和改写敏感的预测。
OS-Sentinel: 通过现实工作流中的混合验证实现安全增强的移动GUI代理
机构 * The University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 OS-Sentinel通过结合形式验证器和VLM上下文判断者，提升移动GUI代理的安全性，实验显示在多个指标上优于现有方法。
Comments ACL 2026 (Oral) & Best Paper at AIWILD @ ICLR 2026
Vision2Web: 一个用于视觉网站开发的分层基准，包含代理验证
机构 * Tsinghua University（清华大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；visual language model(abstract)；分类 cs.AI
AI总结 本文提出Vision2Web基准，用于评估视觉网站开发能力，包含193个任务和16类，通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型，揭示了在全栈开发中现有模型的性能差距。
训练具有密集具身思维链监督的视觉-语言-动作模型
机构 * Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 提出ZR-0模型，通过密集具身思维链监督对齐跨具身表示，采用双流架构（VLM生成结构化推理，扩散Transformer生成动作），在多个仿真和真实平台实现强性能。
QuoVLA：视觉-语言-动作模型的商空间
机构 * Department of Automation（自动化系）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 针对VLA模型预训练VLM潜在表示动作信息不足的观点，提出商空间框架QuoVLA，通过量化模块和双分支设计压缩潜在表示为动作充分表示，在多个基准上提升泛化性能。
用于零样本物体目标导航的分层快慢ReAct智能体
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)
AI总结 该研究针对零样本物体目标导航，提出分层快慢ReAct智能体，结合价值图控制器与坐标锚定记忆及VLM，在HM3D、MP3D验证集上取得零样本方法最高成功率，远前沿审议可提升性能。
Comments 11 pages, 6 figures
AgenticNav：零样本视觉与语言导航作为工具调用框架
机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Technologies Ltd（华为技术有限公司）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)
AI总结 提出AgenticNav，通过将动作、深度和记忆作为可调用工具暴露给VLM，实现零样本连续环境导航，在R2R-CE基准上达到SOTA性能。
GemNav：使用多模态大语言模型的离散令牌视觉机器人导航
机构 * CSIRO Technology（联邦科学与工业研究组织）
专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI
AI总结 研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。
VTM-Nav：用于跨情节对象目标导航的分层视觉拓扑记忆
机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究跨情节对象目标导航问题，提出无训练的VLM导航框架\method，其带有分层视觉拓扑记忆，通过粗到细匹配检索经验，在三个基准测试中性能最佳，证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。
MatterDoor: 使用生成模型采样零样本空间语义先验
机构 * School of Computing, Australian National University（澳大利亚国立大学计算机学院）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 针对机器人通过门缝观察时场景结构缺失的问题，提出MatterDoor方法，利用预训练生成模型（VLM引导外推、单目深度估计、语义分割）采样隐藏房间的语义3D点云先验，在Matterport3D基准上验证了零样本空间语义先验的有效性。
Comments Under Review
Fly0: 解耦语义定位与几何规划以实现零样本空中导航
机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室） ； National University of Defense Technology（国防科技大学） ； State Key Laboratory of Digital Intelligent Modeling and Simulation（数字智能建模与仿真国家重点实验室） ； Information Support Force Engineering University（信息支援力量工程大学）
专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI
AI总结 Fly0通过解耦语义推理与几何规划，实现零样本空中导航，提升导航成功率和减少导航误差。
DeMaVLA：面向可泛化可变形物体操作的视觉-语言-动作基础模型
机构 * Tongji University（同济大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；分类 cs.AI
AI总结 提出DeMaVLA模型，采用VLM骨干与动作专家结合流匹配生成连续动作，通过剪枝Transformer层提升效率，并利用大规模真实世界数据和人类反馈数据聚合训练，实现可变形物体折叠操作的多类别泛化。
Comments 14 pages, 2 figures
SleepWalk：一种三层压力测试基准，用于指导的视觉-语言导航
机构 * Indian AI Research Organization (IAIRO)（印度人工智能研究组织） ； ĸragya Lab, BITS Pilani Goa（BITS Pilani Goa 的 ĸragya 实验室） ； University of Dhaka（达卡大学） ； Delhi Technological University（德里技术大学） ； Apple（苹果公司） ； Meta
专题命中 GUI与屏幕智能体 ：VLM(summary_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV
AI总结 本文提出SleepWalk基准，用于评估基于指令的轨迹预测，针对局部化、交互导向的具身推理，揭示当前VLM在空间推理中的系统性失败。
GUI-Perturbed：领域随机化揭示GUI接地模型的系统性脆弱性
机构 * Fig 2 Manifold Research（图2曼尼福德研究）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG
AI总结 GUI接地模型在标准基准上准确率超过85%，但在需要空间推理而非直接元素命名时下降27-56个百分点。GUI-Perturbed框架通过独立变化视觉场景和指令来评估接地鲁棒性，发现关系指令导致所有模型准确性崩溃，70%浏览器缩放显著降级，且增强数据训练反而降低性能。
Comments 26 Pages, 17 Figures, 9 Tables
基于人类演示的计算机使用智能体基础构建
机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ServiceNow Research（ServiceNow研究） ； University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； CIFAR AI Chair（CIFAR人工智能主席）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG
AI总结 为解决桌面环境高质量基础数据稀缺问题，构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集，并基于此训练GroundNext模型，在5个基准上以少于先前十分之一的数据取得最优结果。
Comments Accepted at ICLR 2026
CatalyticMLLM: 一种用于催化材料的图-文本多模态大语言模型
机构 * AnnLab（安实验室） ； Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所） ； Zhongguancun Academy（中关村学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； State Key Laboratory of High Performance Ceramics（高性能陶瓷国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； University of ChineseAcademy of Sciences（中国科学院大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；分类 cs.AI
AI总结 本文提出了一种统一的图-文本多模态大语言模型QE-Catalytic-V2，用于催化材料的性质预测和逆向设计，通过共享的表示空间实现两者的联合建模，从而形成闭环优化流程。
Comments 71 page
通过场景自我探索进行视图规划
机构 * Northwestern University（西北大学） ； University of Washington（华盛顿大学） ； Microsoft（微软） ； University of Oxford（牛津大学） ； Stanford University（斯坦福大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出ViewSuite基准测试揭示VLM在多步视图规划中的不足，并设计迭代框架通过自我探索和视图图蒸馏将Qwen2.5-VL-7B的交互式视图规划准确率从2.5%提升至47.8%。
N体问题：从单人物体中心视频进行并行执行
机构 * University of Bristol（布里斯托尔大学） ； The University of Tokyo（东京大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出N体问题，从单人物体中心视频预测N人并行执行任务，通过结构化提示策略引导视觉语言模型推理3D环境、物体使用和时间依赖，在EPIC-Kitchens和HD-EPIC数据集上显著提升动作覆盖率并降低冲突。
Comments accepted at ECCV Workshop, project webpage: https://zhifanzhu.github.io/ego-nbody
超越截图：评估VLMs对UI动画的理解
机构 * University of Michigan（密歇根大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision language model(abstract)
AI总结 本文提出AniMINT数据集，评估VLMs对动态UI动画的理解能力，发现其在基础运动检测上可靠，但高阶解释仍不一致，揭示了模型性能的关键瓶颈。
Comments Published in ACL 2026 Findings
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈