AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
FronTalk: 以多模态反馈进行对话式代码生成的前端开发基准测试
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Duke University（杜克大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG
AI总结 提出FronTalk基准，通过多轮对话和多模态反馈（文本与视觉指令）评估前端代码生成，发现模型存在遗忘和视觉反馈理解困难，提出AceCoder方法有效减少遗忘并提升性能。
Comments CoLM 2026
DataClaw0: 从原始流中智能定制多模态数据
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI、cs.LG
AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。
Comments add base model: Qwen3.5-27B
HAS：用于多模态大语言模型视频摘要的高亮引导注意力转向
机构 * Tufts University（塔夫茨大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 针对视频摘要，提出HAS方法，通过全局找连续帧级高亮分布并作为注意力转向向量，让多模态大语言模型在推理时更关注高亮帧，避免丢失信息，在多种基准测试中性能出色。
不应学习的地方：基于子集归因约束的先验对齐训练以实现可靠的决策制定
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； Communication University of China（中国传媒大学） ； Imperial College London（伦敦帝国学院） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络科学与技术学院）
专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 本文提出了一种基于归因的先验对齐方法，通过子集选择归因技术约束模型依赖于人类先验区域，从而提升决策的可靠性。
MAVEN：面向多元文化文本到视频生成的多智能体框架
机构 * Santa Clara University（圣克拉拉大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出MAVEN多智能体提示优化框架，通过并行或串行分解提示为人物、动作、地点维度，提升单文化和跨文化文本到视频生成的文化保真度，并构建包含243个文化提示和972个视频的基准进行评估。
Comments [14] pages, [6] figures, [11] tables, appendix included. Preprint
StructAgent：利用统一因果结构驾驭长时程数字智能体
机构 * University of California, San Diego（加利福尼亚大学圣地亚哥分校） ； Aether AI Lab（以太人工智能实验室）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对长时程任务中智能体任务进展难解释、验证和恢复的问题，提出StructAgent框架，通过统一因果结构维护任务进展并规范工作流程，实验证明其能提升多种模型性能且具有通用性。
GUIDE：通过实时网络视频检索和即插即用标注解决GUI代理的领域偏见
机构 * Shanghai Jiao Tong University（上海交通大学） ； State Key Laboratory for General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院） ； Beijing Institute of Technology（北京理工大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 GUIDE通过实时网络视频检索和即插即用标注框架，解决GUI代理的领域偏见问题，通过视频语义分析和自动化标注流程提升代理对特定应用的操作流程和UI布局的理解，实验表明其在多代理系统和单模型代理中均能提升性能。
Comments Accepted to ECCV 2026. 30 pages: 15-page main paper followed by supplementary material as an appendix (Sections A-F). Project page: https://sharryXR.github.io/GUIDE/
暂停与思考：面向视频基础辅助动作建议的数据集与基准
机构 * Advanced Micro Devices, Inc.（先进微器件公司）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出 pause-and-think-T 数据集和 pause-and-think-B 基准，通过推理监督训练紧凑模型，在视频场景理解与目标规划任务中达到与大型模型相当的性能。
Comments Accepted in IROS 2026 (IEEE/RSJ International Conference on Intelligent Robots and Systems)
ROSE：多模态模型中感知到行动差距的基准测试
机构 * Sun Yat-sen University（中山大学） ； Shaanxi Normal University（陕西师范大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出ROSE基准，通过固定视觉场景并变化区域约束与符号输出，测试多模态大模型在不同上下文中将相同视觉证据转化为所需行动的能力，发现模型性能下降高达44.5个百分点，揭示感知到行动的瓶颈。
Comments 29 pages, 11 figures
MagicSim: 可执行具身交互的统一基础设施
机构 * Northwestern University（西北大学） ； Peking University（北京大学） ； University of California, Berkeley（加州大学伯克利分校） ； ShanghaiTech University（上海科技大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出MagicSim，一个基于确定性批处理运行时和共享MDP的具身交互基础设施，通过YAML规范解耦内容、放置、行为和智能体暴露，统一世界构建、执行、评估和自动生成轨迹。
ProCUA-SFT 技术报告
机构 * NVIDIA（英伟达） ； University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 提出 ProCUA-SFT 数据集，通过自动化管道从 2484 个应用组合的合成轨迹中蒸馏出 310 万步级 SFT 样本，微调 UI-TARS 7B 在 OSWorld 上达到 45.0% 的成功率，比基线提升 18.7 个百分点。
Comments 15 pages, 5 figures
VisualLeakBench: 视觉语言智能体中可复现的动作边界传播失败
机构 * Nanyang Technological University（南洋理工大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出VisualLeakBench基准，评估视觉语言智能体在截图、文档等场景下将敏感文本从图像复制到工具参数中的动作边界传播失败，发现PII传播率达78.8%，不安全文本传播率达85.5%。
看得更少，指定更多：面向可泛化视觉-语言-动作模型的视觉证据预算
机构 * Airoa
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 提出S2框架，通过显式视觉证据预算和细化轨迹语言，改善VLA模型在干扰、外观变化和语义相似任务下的泛化能力。
Comments Project page: https://s2.airoa.io
PHASER: 面向视觉-语言-动作模型的相位感知与语义经验回放
机构 * Thrust of AI, HKUST(Guangzhou)（人工智能 thrust，香港科技大学（广州）） ； AI 2 Robotics, Shenzhen, China（人工智能与机器人，深圳，中国）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出PHASER框架，通过相位感知容量分配和多模态干扰路由策略，结合自动相位提取管线Auto-PC，解决VLA模型在持续学习中的灾难性遗忘问题，在LIBERO基准上平均成功率提升高达31%。
Comments 20 pages, 8 figures, 12 tables
Do-Undo基准：图像生成中动作理解的可逆性
机构 * York University（约克大学） ； Vector Institute for AI（人工智能向量研究所） ； Qualcomm AI Research（高通人工智能研究）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出Do-Undo任务和基准，解决视觉-语言模型在理解并生成由现实动作驱动的场景变换中的关键缺口。通过要求模型模拟现实动作的后果并逆转至原始状态，测试真正的因果理解。实验表明当前模型在动作可逆性上存在困难，凸显评估动作理解的必要性。
Comments Project page: https://s-mahajan.github.io/Do-Undo-Bench/
SOLAR-RL：半在线长 horizon 分配强化学习
机构 * vivo AI Lab（vivo人工智能实验室） ； Zhejiang Lab（浙江实验室） ； CUHK MMLab（香港大学多模态实验室） ； Hubei University（湖北省大学） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG
AI总结 SOLAR-RL通过整合全局轨迹信息到离线学习中，提升GUI任务的长horizon完成率和鲁棒性，提供高效样本利用的自主导航方案。
Comments 14 pages, 11 figures. Accepted to Findings of the Association for Computational Linguistics: ACL 2026
AugVLA-3D：基于深度的特征增强用于视觉-语言-动作模型
机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院） ； School of Information Technology, Carleton University（卡尔顿大学信息技术学院）
专题命中 GUI与屏幕智能体 ：VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AugVLA-3D框架，通过整合深度估计提升视觉-语言-动作模型的3D特征表示，增强模型在复杂3D环境中的感知与动作预测能力。
Journal ref ICRA2026
OSCBench：文本到视频生成中对象状态变化的基准测试
机构 * National University of Singapore（新加坡国立大学） ； Singapore Management University（新加坡管理大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Fudan University（复旦大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出OSCBench基准，用于评估文本到视频模型在对象状态变化上的性能，揭示当前模型在处理新场景时的不足。
Comments ACL 2026 Main Conference, Project page: https://hanxjing.github.io/OSCBench
CORA: 为保障移动GUI自动化设计的符合性风险控制代理
机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Tokyo（东京大学）
专题命中 GUI与屏幕智能体 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG
AI总结 CORA通过统计保障减少有害操作，利用Guardian模型评估行动风险并校准执行/中止边界，结合Goal-Lock机制和Phone-Harm基准验证其在自主GUI执行中的安全性与实用性。
WorldMAP: 通过生成世界模型提升视觉-语言导航轨迹预测
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shandong University（山东大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Zhongguancun Academy（中关村学院）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI
AI总结 WorldMAP通过生成世界模型与教师-学生框架，将生成的未来场景转化为语义空间结构和规划监督，提升导航轨迹预测的稳定性与准确性，取得最佳性能。
GameWorld: 向标准化和可验证的多模态游戏代理评估迈进
机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 GameWorld提出一个标准化且可验证的多模态游戏代理评估基准，包含34种游戏和170个任务，通过可验证的指标评估代理能力，揭示了当前代理在视频游戏中与人类能力的差距。
Comments 23 pages, 8 figures
StarVLA：一种积木式代码库，用于视觉-语言-动作模型开发
机构 * Von Neumann Institute, HKUST（香港科技大学冯·诺依曼研究所）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI
AI总结 StarVLA通过模块化架构、可重用训练策略和统一评估接口，解决VLA方法碎片化问题，提升可复现性和跨架构兼容性。
Comments Open-source VLA infra, Technical Report
AffordTissue: 密集的工具-动作特定组织交互 affordance 预测
机构 * Johns Hopkins University（约翰霍普金斯大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AffordTissue框架，通过多模态方法预测手术中工具-动作特定的组织affordance区域，改进了视觉语言模型在密集手术affordance预测中的表现，为安全手术自动化提供空间推理。
可泛化的密集奖励用于长周期机器人任务
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon Robotics（亚马逊机器人） ； UT Austin（德克萨斯大学奥斯汀分校）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出VLLR框架，结合外部奖励和内部奖励提升长周期机器人任务性能，通过任务分解和自信心引导实现无需人工奖励工程的高效训练。
Comments Project page: https://silongyong.github.io/vllr_project_page/
SpatialAnt：通过主动场景重建与视觉预判实现自主零样本机器人导航
机构 * Fudan University（复旦大学） ； University of Southern California（南加州大学） ； Adelaide University（阿德莱德大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 SpatialAnt通过主动场景重建和视觉预判机制，解决零样本机器人导航中自建场景的不完整和噪声问题，提升导航性能。
Comments 10 pages, 4 figures, 5 tables. Homepage: https://imnearth.github.io/Spatial-X/
探索视觉语言模型在帮助视障和低视力人士导航中的应用
机构 * Columbia University（哥伦比亚大学） ； New York University（纽约大学） ； Politecnico di Milano（米兰理工大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI
AI总结 本文评估了多种VLMs在基础视觉技能和导航任务中的表现，发现GPT-4o在空间推理和场景理解上表现最佳，而开源模型在复杂环境中存在不足，需进一步改进以提升实用性。
GST-VLA: 结构化高斯空间标记用于3D深度感知视觉-语言-动作模型
机构 * Yeungnam University（延世大学） ； Korea Advanced Institute of Science and Technology, KAIST（韩国科学技术院）
专题命中 GUI与屏幕智能体 ：VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 GST-VLA通过结构化高斯空间标记和深度感知链式思维提升3D视觉-语言-动作模型的精度和性能。
Comments The results presented in this paper are preliminary. Please note that the experiments are currently ongoing, and the final data is subject to change upon the completion of the study. All ideas, results, methods, and any content herein are the sole property of the authors
CGL: 通过强化微调推进连续GUI学习
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； University College Dublin（都柏林大学） ； Peking University（北京大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG
AI总结 CGL通过强化微调与监督微调的协同优化，解决GUI连续学习中遗忘旧任务的问题，提出AndroidControl-CL基准验证方法有效性。
生成实体交互的细节
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出了一种基于多模态大语言模型的方法，通过分解和细化过程提升图像中实体交互细节的生成质量。
Comments EMNLP 2025. Project Page: https://detailscribe.github.io/
ActionEngine: 通过状态机内存实现从响应式到程序化GUI代理的转变
机构 * Microsoft Research（微软研究院）
专题命中 GUI与屏幕智能体 ：vision language model(abstract)；grounding(abstract)；分类 cs.AI、cs.LG
AI总结 ActionEngine通过状态机内存实现从响应式到程序化GUI代理的转变，提升效率和准确性，减少成本和延迟。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈