多模态大模型

MementoGUI: Learning Agentic Multimodal Memory Control for Long-Horizon GUI Agents

MementoGUI: 学习代理多模态记忆控制以实现长周期GUI代理

Ziyun Zeng, Hang Hua, Bocheng Zou, Mu Cai, Rogerio Feris, Jiebo Luo

机构 * University of Rochester（罗切斯特大学） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态Agent ：multimodal(title)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MementoGUI，一种学习代理多模态记忆控制框架，用于提升长周期GUI代理的任务状态维持能力，通过模块化记忆控制和可扩展的数据管道提高记忆检索和决策效率。

Comments Preprint, 15 pages, 4 figures, 5 tables

Tactile-based Multimodal Fusion in Embodied Intelligence: A Survey of Vision, Language, and Contact-Driven Paradigms

基于触觉的多模态融合在具身智能中的应用：视觉、语言和接触驱动范式的综述

Zhixiang Cao, Di Tian, Runwei Guan, Yanzhou Mu, Xiaolou Sun, Shaofeng Liang, Daizong Liu, Tao Huang, Yutao Yue, Henghui Ding, Bin Fang, Alex Zhou, Qing-Long Han, Hui Xiong

机构 * School of Electronic Science and Engineering, Xi’an Jiaotong University, China（西安交通大学电子科学与技术学院） ； Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou), China（香港科技大学（广州）人工智能研究所） ； State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； Purple Mountain Laboratory, China（紫金山实验室） ； Institute for Math & AI, Wuhan University, China（武汉大学数学与人工智能学院） ； Centre for AI and Data Science Innovation and the School of Science and Engineering, James Cook University, Australia（詹姆斯库克大学人工智能与数据科学创新中心及科学与工程学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications, China（北京邮电大学人工智能学院） ； Institute of Big Data, Fudan University, China（复旦大学大数据研究院） ； Linkerbot (Beijing) Technology Co., Ltd, China（北京链动科技有限公司） ； School of Engineering, Swinburne University of Technology, Melbourne（斯威本技术大学工程学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文综述了多模态触觉融合在具身智能中的研究，探讨了如何通过整合视觉、语言和触觉信息来提升物理交互与语义推理的结合，提出了一种分层的分类体系，并总结了当前的研究挑战和未来方向。

Comments 20 pages, 8 figures

Learning to Learn from Multimodal Experience

从多模态经验中学习学习

Xingyu Sui, Weixiang Zhao, Yongxin Tang, Yanyan Zhao, Yang Wu, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种新的学习范式，即从多模态经验中学习，通过动态构建和利用记忆来提升智能体的性能和泛化能力，解决了传统固定记忆设计在多模态环境中的不足。

WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform

WorldArena 2.0: 扩展模态、功能和平台的具身世界模型基准测试

Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah, Zhaoxiang Zhang, Zhibo Chen, Jun Zhu, Yonghong Tian, Tat-Seng Chua, Wenwu Zhu, Chen Gao, Yong Li

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Stanford University（斯坦福大学） ； The University of Hong Kong（香港大学） ； Princeton University（普林斯顿大学） ； Chinese Academy of Sciences（中国科学院） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出WorldArena 2.0，扩展了具身世界模型的评估，涵盖模态、功能和平台三个维度，提供全面的测试平台以评估具身世界模型的进展。

Code as Agent Harness

代码作为代理工具

Xuying Ning, Katherine Tieu, Dongqi Fu, Tianxin Wei, Zihao Li, Yuanchen Bei, Jiaru Zou, Mengting Ai, Zhining Liu, Ting-Wei Li, Lingjie Chen, Yanjun Zhao, Ke Yang, Bingxuan Li, Cheng Qian, Gaotang Li, Xiao Lin, Zhichen Zeng, Ruizhong Qiu, Sirui Chen, Yifan Sun, Xiyuan Yang, Ruida Wang, Rui Pan, Chenyuan Yang, Dylan Zhang, Liri Fang, Zikun Cui, Yang Cao, Pan Chen, Dorothy Sun, Ren Chen, Mahesh Srinivasan, Nipun Mathur, Yinglong Xia, Hong Li, Hong Yan, Pan Lu, Lingming Zhang, Tong Zhang, Hanghang Tong, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta ； Stanford University（斯坦福大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了代码在代理系统中的作用，提出了一种统一的视角，将代码视为代理基础设施的基础，并讨论了代理工具接口、机制以及扩展到多代理系统的挑战。

Comments GitHub: https://github.com/YennNing/Awesome-Code-as-Agent-Harness-Papers

Robo-Cortex: A Self-Evolving Embodied Agent via Dual-Grain Cognitive Memory and Autonomous Knowledge Induction

Robo-Cortex: 通过双粒认知记忆和自主知识诱导实现自我进化具身智能体

Nga Teng Chan, Yi Zhang, Yechi Liu, Renwen Cui, Fanhu Zeng, Zeyuan Ding, Xiancong Ren, Zhang Zhang, Qifeng Chen, Jian Liu, Yong Dai, Xiaozhu Ju

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； X-Humanoid ； Institute of Automation, CAS（中国科学院自动化研究所） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Robo-Cortex框架，通过双粒认知记忆和自主知识诱导机制，使机器人能够自主诱导导航启发式方法并优化认知策略，从而在复杂环境中实现自主导航和探索。

Qumus: Realization of An Embodied AI Quantum Material Experimentalist

Qumus: 一种具身人工智能量子材料实验家的实现

Lihan Shi, Zhaoyi Joy Zheng, Xinzhe Juan, Yimin Wang, Ming Yin, Mayank Sengupta, Kristina Wolinski, Yanyu Jia, Jingzhi Shi, Derek Saucedo, Neill Saggi, Haosen Guan, Kenji Watanabe, Takashi Taniguchi, Ali Yazdani, Mengdi Wang, Sanfeng Wu

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出Qumus，首个能够进行真实世界科学发现的具身人工智能量子材料实验家，通过机器人微型实验室实现了原子薄二维材料和范德瓦耳斯结构的制备与纳米加工，首次实现了AI生成石墨烯和原子薄场效应晶体管的AI制造。

Comments 29 Pages in total. Supplementary Demo Videos are available at https://qumus.ai

MemOCR: Layout-Aware Visual Memory for Efficient Long-Horizon Reasoning

MemOCR: 一种面向布局的视觉记忆用于高效的长周期推理

Yaorui Shi, Shugui Liu, Yu Yang, Wenyu Mao, Yuxin Chen, Qi GU, Hui Su, Xunliang Cai, Xiang Wang, An Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； School of Computing（计算学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 MemOCR通过利用视觉布局进行自适应信息密度分配，提高了在有限上下文预算下的长周期推理效率，其核心方法是维护结构化的丰富文本记忆并将其渲染为图像，以实现对关键证据的视觉优先级分配和辅助细节的压缩，从而在各种基准测试中优于基于文本的基线方法。

When Robots Do the Chores: A Benchmark and Agent for Long-Horizon Household Task Execution

当机器人做家务：一个基准和代理用于长期家庭任务执行

Zilin Zhu, Longteng Guo, Yanghong Mei, Bowen Pang, Zongxun Zhang, Xingjian He, Ruyi Ji, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出LongAct基准和HoloMind代理，用于评估长期家庭任务执行中的高层自主能力，实验显示HoloMind在减少模型规模依赖的同时提升了长期性能，但目标完成率仍较低，凸显了长期规划的挑战。

DynoSLAM: Dynamic SLAM with Generative Graph Neural Networks for Real-World Social Navigation

DynoSLAM：基于生成图神经网络的动态SLAM用于现实世界的社交导航

Danil Tokhchukov, Veronika Morozova, Gonzalo Ferrer

机构 * Applied AI Institute（应用人工智能研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出DynoSLAM，通过整合社交感知图神经网络，解决动态环境中SLAM的不确定性问题，提升机器人在拥挤环境中的导航能力。

Comments Code & Project page at https://github.com/makriot/dynoslam

DeepArrhythmia: Segment-Contextualized ECG Arrhythmia Classification via Selective Evidence Acquisition

DeepArrhythmia: 基于选择性证据获取的段落上下文化ECG心律失常分类

Jiahui Li, Ruili Fang, Zishuai Liu, WenZhan Song, Jin Lu, Fei Dou

机构 * University of Georgia（佐治亚大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 DeepArrhythmia通过选择性证据获取实现段落上下文化ECG心律失常分类，结合原始ECG信号和渲染波形图像，利用专门工具分离生理测量与证据整合，提升多beat节奏上下文下的心律失常检测精度。

WinDeskGround: A Benchmark for Robust GUI Grounding in Complex Multi-Window Desktop Environments

WinDeskGround：复杂多窗口桌面环境中的鲁棒GUI定位基准

Haoren Zhao, Tianyi Chen, Zhen Wang

机构 * School of Cyberspace, Hangzhou Dianzi University, Hangzhou, China（杭州电子科技大学信息学院） ； Microsoft（微软公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出WinDeskGround基准，通过参数生成复杂桌面场景，评估GUI定位鲁棒性。实验显示顶级模型在简单环境表现佳，但部分遮挡下准确率下降。