arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 2773 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态Agent 2773 篇

2406.07089 2026-07-08 cs.CV 版本更新 57%

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

RS-Agent:通过智能代理实现遥感任务自动化

Wenjia Xu, Zijian Yu, Boyang Mu, Jiuniu Wang, Zhiwei Wei, Mugen Peng

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China(网络与交换技术国家重点实验室,北京邮电大学,中国) City University of HongKong, Hong Kong 999077, China(香港城市大学,中国) School of Geographic Sciences, Hunan Normal University, Changsha 410081, China(地理科学学院,湖南师范大学,中国)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 针对多模态大语言模型在遥感任务中的局限,提出RS-Agent智能代理,通过结构化任务规划等连接用户意图与遥感流程,含四个组件及两种方法,实验显示其在多任务中显著优于现有模型,证明结合两者用于智能地理空间分析的价值。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03449 2026-07-07 cs.RO cs.AI 新提交 57%

HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control

HiMe:用于长距离视觉-语言-动作控制的分层具身记忆

Li Ji, Siyin Wang, Pengfang Qian, Xiaopeng Yu, Yihai Tian, Zhaoye Fei, Jingjing Gong, Xipeng Qiu

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) East China Normal University(华东师范大学)

专题命中 多模态Agent :cross-modal(abstract);分类 cs.AI

AI总结 针对视觉-语言-动作模型处理非马尔可夫任务的不足,提出HiMe分层具身记忆框架,解耦智能为高频执行器等,引入动态知识系统,平衡实时执行与思考规划冲突,提升长距离任务成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03283 2026-07-07 cs.AI 新提交 57%

Embodied Operators and Benchmarking: Toward Reusable and Deployable Embodied Intelligence Systems

具身算子与基准测试:迈向可复用和可部署的具身智能系统

Junwu Xiong, Jiaxuan Gao, Wei Chai, Renxing Chen, Yuzhen Li, Yu Guo, Yucheng Guo, Mingxi Luo, Wenyang Ma, Yiyun Mou, Yifei Zhang, Chen Zhou, Yongjian Guo

机构 * JDT Tsinghua University(清华大学) Tianjin University(天津大学) Beihang University(北京航空航天大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 研究具身智能系统中可复用功能模块即具身算子,明确其定义边界、构建分类法,提出多维度基准框架,探讨加速及挑战,为具身智能系统提供基础。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02841 2026-07-07 cs.RO cs.CV 新提交 57%

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR:用于端到端自动驾驶的大规模闭环强化学习

Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

机构 * Qualcomm AI Research(高通人工智能研究中心)

专题命中 多模态Agent :multi-modal(abstract);分类 cs.CV

AI总结 研究端到端自动驾驶,针对现有基于视觉语言动作模型的策略多采用模仿学习致闭环规划性能欠佳的问题,提出CLEAR系统,用强化学习进行闭环训练,设计异构管道增加并行模拟环境数量,性能优于先前方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02479 2026-07-03 cs.CV 新提交 57%

EAGLE-360: Embodied Active Global-to-Local Exploration in 360$^\circ$

EAGLE-360: 360°环境中的具身主动全局到局部探索

Jingtao Xu, Zizhuo Lin, Jianwen Sun, Yi Yang, Yawei Luo

机构 * Zhejiang University(浙江大学) Central China Normal University(华中师范大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 针对多模态大模型在360°全景主动视觉搜索中因极地畸变和连续拓扑建模不足导致的效率低下问题,提出EAGLE-360框架,通过全局先验引导局部探索,结合RoPE Rolling位置编码和GRPO训练,实现近8倍精度提升。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02426 2026-07-03 cs.LG cs.AI 新提交 57%

QFedAgent: Quantum-Enhanced Personalized Federated Learning for Multi-Agent Activity Recognition

QFedAgent: 量子增强的个性化联邦学习用于多智能体活动识别

Quoc Bao Phan, Tuy Tan Nguyen

机构 * Department of Electrical and Computer Engineering(电气与计算机工程系) FAMU-FSU College of Engineering, Florida State University(佛罗里达州立大学工程学院)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出QFedAgent混合量子-经典个性化联邦学习框架,通过变分量子电路融合模块减少参数开销,在非独立同分布多模态数据上实现97.7%准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00007 2026-07-03 cs.IR cs.AI 新提交 57%

BaRA: Budget-constrained and Reliable Web Data Collection Agent

BaRA: 基于BFS与反思的网络数据收集代理

Soojeong Lee, Joseph Lee, Yongseong Cho, Sunjae Kim, Youngwoo Moon, Kyungwoo Song

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出BaRA框架,结合有界广度优先搜索和历史自反思,在固定交互预算下高效收集网站级数据,在链接发现和可下载多模态提取上优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00881 2026-07-02 cs.CV 新提交 57%

OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping

OmniView-Space: 通过多视角空间映射增强空间推理

Xudong Li, Mengdan Zhang, Peixian Chen, Jiaxi Tan, Zihao Huang, Jingyuan Zheng, Yan Zhang, Xiawu Zheng, Xing Sun, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(厦门大学多媒体可信感知与高效计算教育部重点实验室) Tencent Youtu Lab(腾讯优图实验室) Beijing Institute of Technology(北京理工大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 提出OmniView-Space框架,通过多视角空间映射、工具引导的自我中心推理和认知图蒸馏,解决多模态大模型在多步空间推理中的参考框架动态重锚问题,在单/多图像基准上达到最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31410 2026-07-02 cs.AI 新提交 57%

Xiaomi-GUI-0 Technical Report

Xiaomi-GUI-0 技术报告

Wanxia Cao, Chengzhen Duan, Pei Fu, Pengzhi Gao, Niu Lian, Fazhan Liu, Hui Liu, Heng Qu, Qinzhuo Wu, Zhehao Yu, Tongbo Chen, Shiqi Cui, Anan Du, Shukai Jia, Yuanfa Li, Wei Liu, Yike Liu, Wenchao Lu, Zhenbo Luo, Haoyuan Sun, Jiatong Sun, Cheng Tan, Yajie Wang, Changqiao Wu, Tao Xiong, Jiahui Yang, Yuxuan Yuan, Ruoceng Zhang, Shaojie Zhang, Jian Zhu, Jian Luan, Cong Zou

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出Xiaomi-GUI-0,一种在真实移动设备上训练和评估的原生多模态GUI智能体,通过真实设备主导的混合基础设施、多源训练数据和渐进式三阶段训练,在真实任务中实现72.0%成功率,显著提升执行稳定性和异常状态识别。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31392 2026-07-01 cs.AI 新提交 57%

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

ReGRPO: 用于工具使用智能体的反思增强策略优化

Binjie Zhang, Mike Zheng Shou

机构 * Show Lab, National University of Singapore(新加坡国立大学Show Lab)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出ReGRPO框架,通过反思数据引擎和联合优化反射令牌与纠正动作,提升工具使用智能体在故障后的恢复能力,在GTA和GAIA上取得最佳效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31157 2026-07-01 cs.CV 新提交 57%

Rethinking Foundation Model Collaboration: Enhancing Specialized Models through Proxy Task Reasoning

重新思考基础模型协作:通过代理任务推理增强专用模型

Hongyi Lin, Yang Liu, Jinhua Zhao, Xiaobo Qu

机构 * School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院) Department of Urban Studies and Planning, Massachusetts Institute of Technology(麻省理工学院城市研究与规划系)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 提出FAT框架,将基础模型与专用模型协作视为任务分解而非替代,通过代理任务(如选择或验证)提升结构化预测性能,在多个任务上优于直接使用基础模型回归。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30662 2026-07-01 cs.CY cs.AI 新提交 57%

ELEVATE: Designing Human-Centered GenAI Virtual Tutors for Scalable and Inclusive Education

ELEVATE:面向可扩展与包容性教育的人本生成式AI虚拟导师设计

Lorenzo Stacchio, Michele Giordano, Daniele Berardini, Primo Zingaretti, Emanuele Frontoni

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出ELEVATE框架,通过本地执行、多模态3D虚拟形象与教师治理层,实现隐私保护、低成本的生成式AI虚拟导师,解决云端文本聊天机器人存在的隐私、成本和数字鸿沟问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30658 2026-07-01 cs.CY cs.AI 新提交 57%

Agentic AI Enhances Physician Trust in Clinical Decision Making

智能体AI增强医生在临床决策中的信任

Zhiling Yan, Zhe Fang, David J King, Ann Pongsakul, Eashan Adhikarla, Hui Ren, Sunyang Fu, Quanzheng Li, Lifang He, Xiang Li, Hongfang Liu, Yonghui Wu, Lichao Sun

机构 * Department of Computer Science and Engineering, Lehigh University(里海大学计算机科学与工程系) Department of Epidemiology, Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院流行病学系) Department of Medicine, Division of Cardiology, University of Florida(佛罗里达大学医学院心脏病学系) McGovern Medical School, University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心麦戈文医学院) Department of Radiology, Massachusetts General Hospital and Harvard Medical School(麻省总医院和哈佛医学院放射学系) McWilliams School of Biomedical Informatics, University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心麦克威廉姆斯生物医学信息学院) Department of Health Outcomes & Biomedical Informatics, College of Medicine, University of Florida(佛罗里达大学医学院健康结果与生物医学信息学系)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 研究通过医生评估多模态临床病例,发现智能体AI相比非智能体基线显著提升医生的认知和行为信任,尤其在治疗规划任务中,但存在对错误输出的过度依赖。

Comments Accepted by AMIA 2026 Annual Symposium

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.04996 2026-06-29 cs.CY cs.CE cs.CL cs.HC cs.RO 57%

Agentic Vehicles for Human-Centered Mobility: Definition, Prospects, and Synergistic Co-Development with Vehicle Autonomy

面向人类中心的移动性:定义、前景以及与车辆自主性的协同发展

Jiangbo Yu, Raphael Frank, Luis Miranda-Moreno, Sasan Jafarnejad, Jonatas Augusto Manzolli, Fuqiang Liu, Jiyao Wang, Pavel Chernakov, Ali Eslami

机构 * Interdisciplinary Centre for Security, Reliability and Trust(跨学科安全、可靠与信任中心) University of Luxembourg(卢森堡大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CL

AI总结 本文探讨了面向人类中心的移动性,提出了代理车辆的概念,指出自主性和代理性是相互关联但概念上不同的维度,并强调了协同发展的必要性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.03704 2026-06-29 cs.CV 版本更新 57%

QuantV2X: A Fully Quantized Multi-Agent System for Cooperative Perception

QuantV2X:一种用于协同感知的全量化多智能体系统

Seth Z. Zhao, Huizhi Zhang, Zhaowei Li, Juntong Peng, Anthony Chui, Zewei Zhou, Zonglin Meng, Hao Xiang, Zhiyu Huang, Fujia Wang, Ran Tian, Chenfeng Xu, Bolei Zhou, Jiaqi Ma

机构 * UCLA(加州大学洛杉矶分校) UW-Madison(威斯康星大学麦迪逊分校) NCSU(北卡罗来纳州立大学) Purdue University(普渡大学) UC Berkeley(加州大学伯克利分校) UT Austin(德克萨斯大学奥斯汀分校)

专题命中 多模态Agent :multi-modal(abstract);分类 cs.CV

AI总结 提出首个全量化多智能体系统QuantV2X,通过端到端量化策略同时降低计算负载和传输带宽,在低比特约束下达到与全精度相当的精度,并显著降低延迟、提升mAP30。

Comments ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27251 2026-06-26 cs.RO cs.AI 新提交 57%

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

推进全模态具身智能体:从孤立技能到日常物理自主

Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出OmniAct框架,通过分层异步架构统一规划、记忆和验证,实现机器人在非结构化环境中的持久自主,在40项真实任务中提升成功率并降低token消耗。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26722 2026-06-26 cs.AI physics.optics 新提交 57%

Socratic agents for autonomous scientific discovery in high-dimensional physical systems

用于高维物理系统中自主科学发现的苏格拉底式智能体

Xianrui Zeng, Pengfei Liu, Yirui Zang, Yang Shen, Fei Yu, Chunlei Yu, Minghao Liu, Yang Du

机构 * Hangzhou Institute for Advanced Study(杭州高等研究 institute) University of Chinese Academy of Sciences(中国科学院大学) Shanghai Institute of Optics and Fine Mechanics(上海光学精密机械研究所) Department of Thoracic Surgery(胸外科部门) Shanghai Pulmonary Hospital(上海 pulmonary 医院) School of Medicine(医学院) Tongji University(同济大学)

专题命中 多模态Agent :multi-modal(abstract);分类 cs.AI

AI总结 提出多智能体AI科学家AHOIS,通过苏格拉底式诘问实现闭环实验中的自主科学发现,在高维多模光纤平台上自主验证随机干涉编码假设、发现自适应稀疏测量策略并诊断故障模式。

Comments 27 pages,5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24649 2026-06-26 cs.CV 新提交 57%

Agentic Collaborative Cognition for Zero-Shot 3D Understanding

零样本3D理解的智能体协作认知

Wenxin Wang, Bo Zhang, Feng Chen, Zixuan Wang, Wen Li, Changsheng Li, Yinjie Lei

机构 * Sichuan University(四川大学) Adelaide University(阿德莱德大学) University of Electronic Science and Technology of China(电子科技大学) Beijing Institute of Technology(北京理工大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 提出协作多智能体框架,通过规划智能体补充视角和感知智能体构建结构化认知地图,实现零样本3D理解,在6个基准上达到最优性能。

Comments Accepted by ECCV 2026. Project page: https://zhangbo135.github.io/agentic-collaborative-cognition/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24767 2026-06-24 cs.CV cs.RO 新提交 57%

Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization

具有开放词汇理解的紧凑对象级表示用于室内视觉重定位

Zhaopeng Cui, Jiarui Hu, Jingbo Liu, Boming Zhao, Xiyue Guo, Boyin Feng, Haocheng Peng, Yujun Shen, Hujun Bao, Guofeng Zhang

机构 * State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室) Ant Group(蚂蚁集团)

专题命中 多模态Agent :multi-modal(abstract);分类 cs.CV

AI总结 提出OpenReLoc系统,利用基础模型实现多模态开放词汇语义匹配、基于DIOU的参考帧选择和双路径2D ICP损失,仅用对象单元实现室内视觉重定位,提升可解释性和准确性。

Comments Accepted by RA-L 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24450 2026-06-24 cs.RO cs.AI 新提交 57%

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

NoContactNoWorries: 通过视觉和本体感觉估计手内灵巧操作的接触

Soham Patil, Avirup Das, Sourabh Bhosale, Spandan Roy

机构 * Robotics Research Center (RRC), International Institute of Information Technology (IIIT), Hyderabad, India(印度海得拉巴国际信息技术研究所机器人研究中心) Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出一种基于Transformer的多模态框架,融合RGB-D视觉和机器人本体感觉推断二值接触状态,作为手物交互的伪触觉信号,支持下游强化学习实现手内物体重定向并泛化至新物体。

Comments Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24101 2026-06-24 cs.RO cs.CV 新提交 57%

NavWM: A Unified Navigation World Model for Foresight-Driven Planning

NavWM:一种用于前瞻性规划的统一导航世界模型

Yanghong Mei, Longteng Guo, Ming-Ming Yu, Guiyu Zhao, Xingjian He, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) Beihang University(北京航空航天大学) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 提出NavWM统一导航世界模型,通过潜在世界令牌提取几何与语义先验,结合锚点多模态轨迹预测框架生成多样化动作空间,利用视觉前瞻评估最优路径,在多种机器人数据集上显著提升未来状态生成与零样本导航成功率。

Comments 13 pages, 5 figures, accepted to ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23557 2026-06-23 cs.CV 新提交 57%

Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

基于全局地图与局部视图的多视角3D推理的密集奖励

Jiho Choi, Seonho Lee, Seojeong Park, Hyunjung Shim

机构 * Graduate School of Artificial Intelligence, KAIST, Republic of Korea(韩国科学技术院人工智能研究生院) KRAFTON, Republic of Korea(韩国KRAFTON公司)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 提出DR-MV3D框架,通过全局一致性奖励和局部轨迹奖励对多视角3D VQA的中间推理过程进行密集监督,提升跨视图推理一致性。

Comments ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22319 2026-06-23 cs.RO cs.CV 新提交 57%

EmbodiedUS-FS: Fast Slow Intelligence for Ultrasound Robotics

EmbodiedUS-FS:用于超声机器人的快速慢速智能

Fangzhuo Zhang, Xinyu Wang, Xiao Yang, Jinchang Zhang

机构 * independent researcher(独立研究员) Shanghai World Foreign Language Academy(上海世界外国语中学) University of Wyoming(怀俄明大学) SUNY Binghamton(纽约州立大学宾汉姆顿分校)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 提出一种分层快慢思考的具身超声系统,通过慢脑进行意图解析和任务规划,快脑融合多模态反馈优化局部动作,并集成安全防护机制,在动态临床环境中提高任务成功率并减少安全违规。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21470 2026-06-23 cs.RO cs.CV cs.LG 新提交 57%

ASCII Art Turns LLMs into VLA Controllers

ASCII艺术将LLMs转化为VLA控制器

Yitao Jiang, Roy Xing, Luyang Zhao, Brian Plancher, Muhao Chen, Devin Balkcom

机构 * Dept. of Computer Science, Dartmouth College(达特茅斯学院计算机科学系) Dept. of Electrical and Computer Engineering, Clemson University(克莱姆森大学电气与计算机工程系) Dept. of Mechanical and Aerospace Engineering, University of Houston(休斯顿大学机械与航空航天工程系)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 通过ASCII表示将视觉观察渲染为文本输入,仅使用文本LLM即可实现VLA式控制,在2D操作任务中表现良好,提供轻量级可解释的模态桥接。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21401 2026-06-23 cs.DC cs.AI 新提交 57%

SwarmX: Agentic Scheduling for Low-Latency Agentic Systems

SwarmX: 面向低延迟智能体系统的智能调度

Yeqi Huang, Yanwei Ye, Guomin Chen, Wenhao Su, Bin Gong, Jialian Li, Zhan Lu, Yangshen Deng, Xuan Sun, Le Xu, Luo Mai

机构 * University of Edinburgh(爱丁堡大学) Tencent(腾讯)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出SwarmX系统,通过调度专用神经预测器捕获提示、设备、运行时和目标模型特征,结合路由器与缩放器实现尾延迟感知决策,在近千GPU和百万CPU核的生产部署中,相比现有调度器将尾延迟降低61.5%,吞吐量提升2倍。

Comments 14 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20905 2026-06-23 cs.RO cs.AI 新提交 57%

Vesta: A Generalist Embodied Reasoning Model

Vesta: 一种通用具身推理模型

Johan Bjorck, Zhiqi Li, Yunze Man, Jing Wang, An-Chieh Cheng, Sifei Liu, Shihao Wang, Zhiding Yu, Abhishek Badki, Stan Birchfield, Valts Blukis, Yevgen Chebotar, Siyi Chen, Sicong Leng, Yu-Cheng Chou, Tianli Ding, Boyi Li, Zhengyi Luo, Hang Su, Jonathan Tremblay, Tingwu Wang, Bowen Wen, Jimmy Wu, Xianghui Xie, Hanrong Ye, Hongxu Yin, K. R. Zentner, Liangyan Gui, Yu-Xiong Wang, Yuke Zhu, Linxi "Jim" Fan, Jan Kautz

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) University of California, San Diego(加州大学圣地亚哥分校) The Hong Kong Polytechnic University(香港理工大学) University of Michigan(密歇根大学) Nanyang Technological University(南洋理工大学) Johns Hopkins University(约翰霍普金斯大学) University of Tübingen(图宾根大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出统一的基础模型Vesta,整合定位、空间推理、导航和长时规划能力,通过大规模空间感知语料库和简单多模态记忆机制,在多个基准上平均优于专用模型20%以上,在真实机器人任务中成功率提升35%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20627 2026-06-23 cs.AI cs.LG 新提交 57%

Latent Goal Prediction from Language for Model-Based Planning

基于语言隐式目标预测的模型规划

Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

机构 * École de Technologie Supérieure, Montréal(蒙特利尔高等技术学院) International Laboratory on Learning Systems (ILLS)(国际学习系统实验室) Polytechnique Montréal(蒙特利尔综合理工学院) MILA Institut Universitaire de France (IUF)(法国大学研究院) Université Sorbonne, CNRS, ISIR(索邦大学,法国国家科学研究中心,智能系统与机器人研究所)

专题命中 多模态Agent :cross-modal(abstract);分类 cs.AI

AI总结 提出LAGO框架,通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹,结合软最小轨迹代价规划,实现长程鲁棒规划。

Comments 9 pages. Preprint under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03070 2026-06-23 cs.CR cs.AI 版本更新 57%

How Your Credentials Are Leaked by LLM Agent Skills: An Empirical Study

你的凭证如何被LLM智能体技能泄露:一项实证研究

Zhihao Chen, Ying Zhang, Yi Liu, Gelei Deng, Yuekang Li, Yanjun Zhang, Jianting Ning, Leo Yu Zhang, Lei Ma, Zhiqiang Li

机构 * Griffith University(格里菲斯大学) Wake Forest University(威克森林大学) Nanyang Technological University(南洋理工大学) University of New South Wales(新南威尔士大学) Zhejiang Sci-Tech University(浙江科技学院) The University of Tokyo(东京大学) University of Alberta(阿尔伯塔大学) Independent Researcher(独立研究者)

专题命中 多模态Agent :cross-modal(abstract);分类 cs.AI

AI总结 首次大规模实证研究LLM智能体技能中的凭证泄露问题,通过分析170,226个技能样本,识别出520个受影响技能和10种泄露模式,发现76.3%的案例需跨模态分析,调试日志占73.5%的漏洞,89.6%的泄露凭证可立即利用。

Comments Accepted to ASE 2026 (The 41st IEEE/ACM International Conference on Automated Software Engineering)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11537 2026-06-19 cs.AI cs.CE 新提交 57%

MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning

MoCA-Agent: 一种用于金融和数值推理的声明市场代码智能体

Abdelrahman Abdallah, AbdelRahim A. Elmadany, Sameh Al Natour, Hasan Cavusoglu, Adam Jatowt, Muhammad Abdul-Mageed

机构 * University of Innsbruck(因斯布鲁克大学) University of British Columbia(不列颠哥伦比亚大学) Toronto Metropolitan University(多伦多都会大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出MoCA-Agent,通过声明级验证和代码生成解决金融表格问答中的数值推理错误,在十个基准上取得强性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.17015 2026-06-19 cs.AI cs.MA cs.RO 版本更新 57%

UniMM: A Unified Mixture Model Framework for Multi-Agent Simulation

UniMM:一种用于多智能体仿真的统一混合模型框架

Longzhong Lin, Xuewu Lin, Kechun Xu, Haojian Lu, Lichao Huang, Rong Xiong, Yue Wang

机构 * Zhejiang University(浙江大学) Horizon Robotics

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出UniMM框架统一回归混合模型与离散NTP模型,通过闭环样本生成缓解分布偏移,并在WOSAC基准上取得最优性能。

Comments Accepted author manuscript. The version of record has been published in IEEE Transactions on Pattern Analysis and Machine Intelligence

Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence, Early Access, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏