arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 259 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态Agent 259 篇

2607.13067 2026-07-16 cs.RO 新提交 50%

A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

一种由 3DGS 驱动的用于水下遥操作的动态视点和振动触觉框架,并通过功能近红外光谱法进行验证

Fang Xu, Tianyu Zhou, Ruitong Tian, Md Jahidul Islam, Jing Du

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究针对水下遥操作受限于二维视图和通信延迟的问题,提出基于 ROS - Unity 框架的多模态架构,用 3DGS 驱动的 DAVS 及振动触觉套装辅助,经实验验证该方式能提升操作员性能与认知耐力。

Comments 9 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12732 2026-07-15 cs.RO 新提交 50%

Globalized Constrained Stein Variational Inference for Diverse Feasible Robot Motion Planning

用于多样化可行机器人运动规划的全局约束斯坦变分推理

Jiayun Li, Georgia Chalvatzaki

机构 * PEARL Lab, Dept. of Computer Science, TU Darmstadt(珍珠实验室,达姆施塔特工业大学计算机科学系) Robotics Institute Germany (RIG)(德国机器人研究所)

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究机器人运动规划多模态问题,提出SteinSQP方法,通过约束斯坦变分推理演化粒子集合,用无矩阵原始对偶算法解决子问题,引入优点函数全局化方法,在多任务中表现良好,收敛快且可行性高。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11739 2026-07-14 cs.RO 新提交 50%

AutoPath: Learning Transferable Goal-Conditioned Stochastic Path Prior for Safe Navigation Without Human Demonstrations

AutoPath:学习可转移的目标条件随机路径先验以实现无人类示范的安全导航

Ziyang Zhang, Boyang Zhou, Zesong Yang, Haocheng Peng, Zeming Gai, Xiao Liang, Yujun Shen, Danping Zou, Ruizhen Hu, Hujun Bao, Zhaopeng Cui

机构 * Zhejiang University(浙江大学) Harbin Institute of Technology(哈尔滨工业大学) Ant Group(蚂蚁集团) Shanghai Jiao Tong University(上海交通大学) Shenzhen University(深圳大学)

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究在复杂环境下的安全导航问题,提出学习可转移目标条件随机路径先验的方法,引入规范状态表示和结构化先验学习框架,实验证明该方法成功率高、效率有竞争力且可跨平台转移。

Comments Accepted by IEEE Robotics and Automation Letters (RA-L). 8 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09756 2026-07-14 cs.RO 新提交 50%

LLM-Centric Agentic AI for UAV Swarms: Architecture, Enabling Technologies, and Open Problems

用于无人机群的以大语言模型为中心的智能体人工智能:架构、使能技术及开放问题

Yousef Emami, Rahim Taheri, Mohammadhossein Homaei, Muhammad Atif Ur Rehman, Mohammad Shojafar

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究针对无人机群实际部署受限问题,提出以大语言模型为中心的智能体人工智能LAUS,回顾相关使能技术,分析威胁,确定包括抗幻觉推理等在内的开放研究挑战。

Comments 8 pages, 4 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06957 2026-07-09 cs.RO cs.LG 新提交 50%

Flow-ERD: Agent-type Aware Flow Matching with Entropy-Regularized Distillation for Diverse Traffic Simulation

Flow-ERD:用于多样化交通模拟的基于熵正则化蒸馏的智能体类型感知流匹配

Seulbin Hwang, Kiyoung Om, Daejung Kim, Jinhan Lee

机构 * NAVER LABS Corp.(NAVER实验室公司)

专题命中 多模态Agent :multi-modal(abstract)

AI总结 为解决交通模拟中多样性未被充分探索的问题,提出Flow-ERD模拟器,其核心方法是智能体类型感知流匹配与熵正则化蒸馏,能联合追求现实性和多样性,在测试基准中排名第一,主导帕累托前沿。

Comments 8 pages, 5 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06700 2026-07-09 cs.RO 新提交 50%

CILC: Cryptographically-secure Inter-agent Loop Closure Candidate Detection for Multi-Agent Collaborative SLAM

CILC:用于多智能体协作SLAM的加密安全的智能体间闭环候选检测

Andrew Fishberg, Yixuan Jia, Jonathan P. How

机构 * Massachusetts Institute of Technology(麻省理工学院)

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究多智能体协作SLAM中智能体间闭环候选检测问题,提出CILC系统,利用安全多方计算仅对隐私敏感且计算量轻的GD相似性比较步骤进行加密处理,在模拟和硬件实验中验证其能保持实时性、通信可行并减轻信息泄露。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00342 2026-07-02 eess.SP 新提交 50%

Semantic-based Internet of Embodied Intelligence: Visions and Frontiers

基于语义的具身智能物联网:愿景与前沿

Yaheng Wang, Rui Meng, Xiaodong Xu, Yiming Liu, Feiliang Song, Linyuan Hu, Huishi Song, Lexi Xu, Tony Q. S. Quek, Ping Zhang

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出基于语义的具身智能物联网(SIoEI),通过语义信息统一度量解决多智能体网络中的多模态数据传输开销和逻辑推理与物理约束解耦问题,并验证其在信道鲁棒性和端到端延迟方面的优势。

Comments 7 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00031 2026-07-02 cs.RO 新提交 50%

Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

通过效应预测联合发现物体与动作符号以进行机器人操作规划

Burcu Kilic, Berke Kartal, Fatih Dogangun, Erhan Oztop, Emre Ugur

机构 * Bogazici University(博阿齐奇大学) Ozyegin University(厄兹耶金大学) Osaka University(大阪大学)

专题命中 多模态Agent :multi-modal(abstract)

AI总结 提出一种通过二元瓶颈层联合发现操作原语和物体类别的方法,利用预测多模态交互效应进行离散规划,在桌面重定位和堆叠任务中优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31142 2026-07-01 math.OC 新提交 50%

Augmenting airline networks using airside-to-airside buses to strengthen system resilience under disruptions

利用空侧对空侧巴士增强航空网络以加强系统在中断下的韧性

Micah M. Borrero, Max Z. Li

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出通过空侧对空侧巴士替代短途区域航班,重构航空网络拓扑以主动提升韧性,模拟显示在1000万美元预算下转换10条航线可减少8%中断日和6%正常日的旅客延误。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23997 2026-06-24 cs.IR 新提交 50%

ChartWalker: Benchmarking the Cross-Chart RAG Task with Hierarchical Knowledge Graphs

ChartWalker: 跨图表RAG任务的基准测试

Ning Tang, Chenghan Xie, Hanyang Yuan, Yi Li, Renhong Huang, Qian Kou, Xiaofeng Shi, Hua Zhou, Jiarong Xu

专题命中 多模态Agent :multi-modal(abstract)

AI总结 提出ChartWalker框架,通过层次化知识图谱和结构感知采样生成跨图表RAG基准,揭示现有方法性能差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21897 2026-06-23 cs.CE 新提交 50%

Simulating Public Transit Fare Policies in NYC: An Efficient, Socioeconomic-Aware Framework

模拟纽约市公共交通票价政策:一个高效、社会经济感知的框架

Parker Wischhover, Hossein Amiri, Kiara Ha, Jooyoung Yoo, Lina Li, Andreas Züfle, Joon-Seok Kim

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出一个可扩展的数据驱动仿真框架,集成合成人口、智能体仿真、多模式出行时间估计和票价敏感模式选择模型,评估纽约市多种票价政策对客流量、收入与公平性的影响。

Comments 10 pages, 10 figures, submitted to SIGSPATIAL'26

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20755 2026-06-23 cs.RO 新提交 50%

UNSEEN: Uncertainty-aware Navigation via Sparse Estimation in Unknown Environments

UNSEEN: 未知环境中基于稀疏估计的不确定性感知导航

Tommaso Faraci, Marco Camurri, Daniele Fontanelli, Luigi Palopoli

机构 * University of Trento(特伦托大学)

专题命中 多模态Agent :multi-modal(abstract)

AI总结 提出UNSEEN框架,仅用前视相机通过稀疏地图与位姿不确定性估计,联合优化任务进度与估计精度,在未知环境中实现鲁棒导航,相比现有方法定位误差降低9.8%,估计精度提升45%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20592 2026-06-23 cs.NI cs.LG 新提交 50%

Empowering Embodied AI in 6G Networks: Architecture, Enablers, and Open Challenges

赋能6G网络中的具身人工智能:架构、使能技术与开放挑战

Junaid Sajid, Sheikh Salman Hassan, Wenshuai Liu, Yan Kyaw Tun, Yaru Fu, Nguyen H. Tran, Zhu Han, Cedomir Stefanovic, Tharmalingam Ratnarajah, Muhammad Mahtab Alam

机构 * Thomas Johann Seebeck Department of Electronics(托马斯·约翰·塞贝克电子系) Tallinn University of Technology(塔林理工大学) Institute for Imaging, Data and Communication (IDCoM)(成像、数据与通信研究所) The University of Edinburgh(爱丁堡大学) School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院) Jiangnan University(江南大学) School of Science and Technology(科学与技术学院) Hong Kong Metropolitan University(香港 metropolitan 大学) Department of Electronic Systems(电子系统系) Aalborg University(奥胡斯大学) School of Computer Science(计算机科学学院) University of Sydney(悉尼大学) Department of Electrical and Computer Engineering(电气与计算机工程系) University of Houston(休斯顿大学) San Diego State University(圣地亚哥州立大学)

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出面向6G的具身AI原生架构,通过感知-通信-动作闭环统一设计通信、感知、计算与控制,实现任务驱动的物理智能。

Comments This work has been submitted to the IEEE Communication Magazine for possible publication

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19897 2026-06-19 cs.RO 新提交 50%

One-to-Two Acting: A Novel Framework for Single-arm Agent Action Expansion to Dual Arms

一对二执行:一种面向单臂智能体动作扩展至双臂的新框架

Youbin Yao, Nieqin Cao, Mingyan Li, Yan Ding, Fuqiang Gu, Chao Chen

机构 * Chongqing University(重庆大学) Xi’an Jiaotong-Liverpool University(西交利物浦大学) Lumos Robotics

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出ExS2D层次化动作扩展框架,利用单臂监督实现双臂操作,通过时间优先关系提取、子任务引导动作映射和碰撞避免协调规划,在仿真中减少54.4%执行步骤并保持成功率。

Comments 6 pages, 5 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19267 2026-06-18 cs.RO cs.SY eess.SY 新提交 50%

A Mixed-Reality Testbed for Autonomous Vehicles

自动驾驶汽车的混合现实测试平台

H. M. Sabbir Ahmad, Ehsan Sabouni, Emrullah Celik, Zean Wan, Damola Ajeyemi, Christos G. Cassandras, Wenchao Li

机构 * Division of Systems Engineering(系统工程系) Boston University(波士顿大学) Department of Electrical and Computer Engineering(电气与计算机工程系)

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出一种混合现实硬件在环测试平台,集成物理移动机器人与高保真仿真环境,用于验证感知、规划和控制算法,并支持多智能体系统研究。

Comments 9 pages, 7 figures, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17937 2026-06-17 cs.RO 新提交 50%

ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation

ThinkingVLA:用于机器人操作的交叉视觉与语言推理

Tianyi Lu, Hui Zhang, Zijie Diao, Junke Wang, Shengqi Xu, Xingyao Lin, Guojin Zhong, Ziyi Ye, Peng Wang, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University(复旦大学)

专题命中 多模态Agent :cross-modal(abstract)

AI总结 提出ThinkingVLA,通过统一的多Transformer架构实现前向与逆向推理交织,显著提升长时域操作任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15898 2026-06-16 cs.RO 新提交 50%

VL2Spike: Spike-driven Distillation from VLMs for Low-Power Visual Perception in Embodied AI

VL2Spike:面向具身AI低功耗视觉感知的VLM脉冲驱动蒸馏

Zinan Liu, Eric Zheng, Soumyaratna Debnath, Hao Shi, Ling Xiao, Lin Wang

机构 * School of EEE, Nanyang Technological University (NTU)(南洋理工大学电气与电子工程学院) Department of Computer Science, University of Toronto(多伦多大学计算机科学系) Advanced Micro Devices, Inc.(超威半导体公司) State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University(浙江大学极端光子学与仪器国家重点实验室) Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)

专题命中 多模态Agent :multi-modal(abstract)

AI总结 提出VL2Spike框架,通过时空视觉脉冲蒸馏和脉冲原型引导语言蒸馏,将VLM多模态知识迁移至Spikformer,在静态数据集上提升6.81%性能且能耗仅15.7%,并显著增强机器人视觉地点识别能力。

Comments 9 pages, 4 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11618 2026-06-11 cs.IT math.IT 新提交 50%

Vision-Language-Action Models Meet World Models: Embodied Agentic AI for Low-Altitude Wireless Networks

视觉-语言-动作模型遇见世界模型:面向低空无线网络的具身智能体AI

Feibo Jiang, Li Dong, Lei Mao, Kezhi Wang, Cunhua Pan, Dong In Kim, Naofal Al-Dhahir

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出具身智能体无人机框架,以VLA模型为核心实现端到端决策,引入世界模型建模环境动态,通过记忆与反射机制形成闭环优化,实现低空无线网络的鲁棒自主控制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08470 2026-06-09 cs.RO 新提交 50%

LUNA-AD: Lightweight Uncertainty-Aware Language Model with Lifelong Learning for Autonomous Driving

LUNA-AD: 面向自动驾驶的轻量级不确定性感知语言模型与终身学习

Ruoyu Yao, Pei Liu, Ruiguo Zhong, Mingxing Peng, Rui Yang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

专题命中 多模态Agent :multimodal(abstract)

AI总结 提出LUNA-AD,一种结合三系统架构、多智能体分析、双头轻量模型和反思驱动终身学习的轻量级不确定性感知语言模型,在nuPlan上实现高成功率与低推理延迟。

Comments 16 pages,9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏