AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
OmniGameArena: 一个统一的UE5基准测试，用于具有改进动态的VLM游戏智能体
机构 * The University of Hong Kong（香港大学） ； LIGHTSPEED ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出OmniGameArena，一个包含12个UE5游戏的统一基准，以及改进动态曲线（IDC），通过反思机制评估VLM智能体的冷启动分数、改进动态和泛化能力。
ReCoVLA: VLM引导的奖励编译用于视觉-语言-动作策略的故障恢复
机构 * University of Southern California（南加州大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室） ； Harvard University（哈佛大学）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出ReCoVLA框架，通过冻结预训练VLA策略，利用外部VLM推断故障模式并编译结构化奖励，训练残差恢复策略，实现零样本仿真到真实部署，在多种操作任务中提升成功率。
Comments 19 pages, 7 figures
QuoVLA：视觉-语言-动作模型的商空间
机构 * Department of Automation（自动化系）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 针对VLA模型预训练VLM潜在表示动作信息不足的观点，提出商空间框架QuoVLA，通过量化模块和双分支设计压缩潜在表示为动作充分表示，在多个基准上提升泛化性能。
SleepWalk：一种三层压力测试基准，用于指导的视觉-语言导航
机构 * Indian AI Research Organization (IAIRO)（印度人工智能研究组织） ； ĸragya Lab, BITS Pilani Goa（BITS Pilani Goa 的 ĸragya 实验室） ； University of Dhaka（达卡大学） ； Delhi Technological University（德里技术大学） ； Apple（苹果公司） ； Meta
专题命中 GUI与屏幕智能体 ：VLM(summary_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV
AI总结 本文提出SleepWalk基准，用于评估基于指令的轨迹预测，针对局部化、交互导向的具身推理，揭示当前VLM在空间推理中的系统性失败。
你的模型已经知道：面向视觉-语言-动作模型的注意力引导安全过滤器
机构 * University of California Los Angeles（加州大学洛杉矶分校）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG
AI总结 本文发现VLA模型中的少数注意力头能可靠定位目标物体，利用这一特性提出无需训练的安全框架，结合控制障碍函数和实时目标跟踪器，实现动态障碍物下的碰撞避免，在动态场景中性能提升43%。
Comments Under review
VisualLeakBench: 视觉语言智能体中可复现的动作边界传播失败
机构 * Nanyang Technological University（南洋理工大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出VisualLeakBench基准，评估视觉语言智能体在截图、文档等场景下将敏感文本从图像复制到工具参数中的动作边界传播失败，发现PII传播率达78.8%，不安全文本传播率达85.5%。
看得更少，指定更多：面向可泛化视觉-语言-动作模型的视觉证据预算
机构 * Airoa
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 提出S2框架，通过显式视觉证据预算和细化轨迹语言，改善VLA模型在干扰、外观变化和语义相似任务下的泛化能力。
Comments Project page: https://s2.airoa.io
MemoryVLA++：通过记忆与想象在视觉-语言-动作模型中进行时间建模
机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； Dexmal ； StepFun
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出MemoryVLA++框架，通过工作记忆、感知-认知记忆库和想象未来状态的世界模型，实现完整时间建模，在模拟和真实机器人任务上显著提升长时域和依赖记忆与想象的任务性能。
Comments The project is available at https://shihao1895.github.io/MemoryVLA-PP-Web
UAOR: 面向视觉-语言-动作模型的不确定性感知观测重注入
机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别新技术实验室） ； Shanghai Jiao Tong University（上海交通大学） ； FiveAges（五代）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出UAOR模块，通过动作熵检测不确定性，在语言模型高不确定层重注入观测信息，无需额外训练或数据，提升VLA模型在仿真和真实任务中的性能。
IntentNav: 从人类演示中学习空间-视觉物体导航
机构 * Nanyang Technological University（南洋理工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The Chinese University of Hong Kong（香港中文大学） ； A*STAR Institute for Infocomm Research (I2R)（新加坡科技研究局资讯通信研究院）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)
AI总结 提出IntentNav框架，通过人类演示学习类人物体导航策略，利用前沿标注和意图对齐目标实现最优性能，并零样本迁移到多种机器人平台。
Comments 26 pages, 9 figures
CodeGraphVLP：代码规划器与语义图状态的结合用于非马尔可夫视觉-语言-动作模型
机构 * University of Arkansas（亚拉巴马大学） ； Max Planck Research School for Intelligent Systems and the University of Stuttgart（马克斯·普朗克智能系统研究学校和斯图加特大学） ； Center of AI Research, VinUniversity（Vin大学人工智能研究中心） ； TU Wien（维也纳技术大学） ； University of Liverpool（利物浦大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract)；grounding(abstract)
AI总结 CodeGraphVLP结合语义图状态与可执行代码规划器，提升非马尔可夫长周期任务的视觉语言动作执行效率，降低规划延迟并提高任务完成率。
通过发起野生的代码理解之旅来投射SWE代理新兴思维模式
机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 本文通过有限工具接口让SWE代理在真实代码库中探索，提出Ada框架，利用观察透镜分析代理的导航、证据选择、综合、基础化和停止行为，将轨迹数据转化为可比较的行为画像。
工业场景中的零样本学习：新的大规模基准、挑战与基线
机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； Huawei Technologies（华为技术有限公司） ； Tsinghua University（清华大学） ； Microsoft Research（微软研究院）
专题命中 GUI与屏幕智能体 ：visual language model(abstract)；分类 cs.AI
AI总结 针对工业场景中视觉语言模型应用难、数据稀缺的问题，提出大规模多模态工业开放数据集MMIO和精炼文本-视觉提示RTVP，实现零样本工业缺陷检测，在MMIO上达到SOTA。
桥接传统可解释性方法与多模态多语言模型：基于XAI的分析
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 提出多模态Shapley值框架，结合频谱图引导的音素对齐（SGPA）预处理方法，实现文本与音频特征的可解释性归因，并开源计算包与可视化工具。
Comments Bachelor's thesis
MIRAGE: 具有隐式推理和生成世界模型的移动智能体
机构 * Beihang University（北京航空航天大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 提出MIRAGE框架，通过从显式推理轨迹学习连续潜在表示，使移动智能体能够内部推理并预测未来屏幕状态，在减少生成token的同时提升执行效率。
QuickLAP: 为半自主代理快速语言-动作偏好学习
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 本研究提出QuickLAP，一种融合物理和语言反馈的贝叶斯框架，用于实时推断奖励函数，通过大规模语言模型提取奖励特征注意力掩码和偏好偏移，从而在半自主驾驶模拟器中将奖励学习误差降低70%，并通过用户研究验证其可理解性和协作性。
弥合智能体-世界鸿沟：面向基于LLM的智能体的文本世界模型
机构 * Southern University of Science and Technology（南方科技大学） ； University of Edinburgh（爱丁堡大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 本文系统综述了面向基于LLM的智能体的文本世界模型，围绕形式化框架和智能体生命周期，涵盖基础定义、构建范式、应用（训练时经验合成与推理时规划、验证、适应）及评估，旨在整合该领域并明确设计空间与开放挑战。
Comments Code: https://github.com/sustech-nlp/awesome-text-world-models
ImagineUAV：通过世界-动作建模和动力学规划实现空中视觉语言导航
机构 * Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Cyber Engineering（计算机科学与网络工程学院） ； Guangzhou University（广州大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 针对无人机视觉语言导航中几何不一致和动力学失配问题，提出基于潜视频扩散模型的世界-动作建模框架，通过生成未来观测推断6自由度运动并规划无碰撞轨迹，以1.3B参数在基准和实际飞行中超越先前方法。
Comments Video demo: https://www.youtube.com/watch?v=Ng1alP0yhc0
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈