视觉大模型 / VLM

AllDayNav: Lifelong Navigation via Real-World Reinforcement Learning

AllDayNav: 通过真实世界强化学习实现终身导航

Hang Yin, Yinan Liang, Jiazhao Zhang, Jiahang Liu, Minghan Li, Zhizheng Zhang, He Wang

机构 * Tsinghua University（清华大学） ； Galbot Robotics ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)

AI总结 提出AllDayNav框架，利用自进化多模态记忆和强化学习隐式编码场景动态，在跨房间、跨回合和跨任务场景中实现接近100%的成功率，超越基于地图、VLM和RL的基线方法。

Comments Project Page: https://bagh2178.github.io/AllDayNav/

CatalyticMLLM: A Graph-Text Multimodal Large Language Model for Catalytic Materials

CatalyticMLLM: 一种用于催化材料的图-文本多模态大语言模型

Yanjie Li, Jian Xu, Xu-Yao Zhang, Shiming Xiang, Nian Ran, Weijun Li, Cheng-Lin Liu

机构 * AnnLab（安实验室） ； Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所） ； Zhongguancun Academy（中关村学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； State Key Laboratory of High Performance Ceramics（高性能陶瓷国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； University of ChineseAcademy of Sciences（中国科学院大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种统一的图-文本多模态大语言模型QE-Catalytic-V2，用于催化材料的性质预测和逆向设计，通过共享的表示空间实现两者的联合建模，从而形成闭环优化流程。

Comments 71 page

Task Robustness via Re-Labelling Vision-Action Robot Data

通过重新标注视觉-动作机器人数据的任务鲁棒性

Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

机构 * Mila — Quebec AI Institute（Mila — 魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 提出TREAD框架，利用大型视觉语言模型对机器人数据集进行语义子任务分解和多样化指令生成，无需额外数据收集，提升策略在未见任务上的泛化能力。

Comments Project website: https://akuramshin.github.io/tread

JOIN: Anchor-Grasp-Conditioned Joining via Opposition, Inference, and Navigation for Bimanual Assistive Manipulation

JOIN：通过对抗、推理和导航实现基于锚点抓取条件的双臂辅助操作连接

Drake Moore, Matt Cheng, Xiang Zhi Tan, Taşkın Padır

机构 * Northeastern University（东北大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出一种异构按需双臂系统JOIN，通过锚点臂与移动补臂的条件性连接，结合视觉语言模型和几何工具，解决代表性双臂日常生活任务，在实验中成功率更高且需更少人工修正。

Comments Xiang Zhi Tan and Taşkın Padır share equal advising

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

CAST: 反事实标签提升视觉-语言-动作模型中的指令跟随能力

Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

机构 * University of California Berkeley（加州大学伯克利分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)

AI总结 针对VLA模型难以遵循细粒度指令的问题，提出利用视觉语言模型生成反事实标签增强数据集，提升语言基础多样性，实验表明该方法在导航和操作任务中显著提升指令跟随成功率。

A History-Aware Visually Grounded Critic for Computer Use Agents

面向计算机使用代理的历史感知视觉基础批评家

Jaewoo Lee, Zaid Khan, Archiki Prasad, Justin Chih-Yao Chen, Supriyo Chakraborty, Kartik Balasubramaniam, Sambit Sahu, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。

Comments Code: https://github.com/G-JWLee/HiViG

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables