arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-07-14 至 2026-07-14 共收录 12 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态Agent 12 篇

2607.11433 2026-07-14 cs.AI 新提交 85%

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

全决策:一种用于全模态问答的渐进式证据状态智能体系统

Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

机构 * Institute of Neuroscience, Chinese Academy of Sciences(中国科学院神经科学研究所) University of Chinese Academy of Sciences(中国科学院大学) Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室) Tsinghua University(清华大学) Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)

专题命中 多模态Agent :omni-modal(title,abstract);multimodal(abstract);cross-modal(abstract);分类 cs.AI

AI总结 研究全模态问答中证据分散问题,提出全决策系统,将问答转化为证据闭合过程,维护结构化证据状态,通过确定性状态更新处理异构观察,提升了准确率,验证了证据状态控制在多步证据寻求中的作用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10557 2026-07-14 cs.CL 新提交 79%

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

UNIBROWSE:用于多模态浏览比较的数据到智能体框架

Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

机构 * Key Laboratory of Computational Linguistics, MOE, Peking University(教育部计算语言学重点实验室,北京大学) School of Software and Microelectronics, Peking University(北京大学软件与微电子学院) School of Computer Science, Peking University(北京大学计算机科学学院)

专题命中 多模态Agent :multimodal(title,abstract);分类 cs.CL

AI总结 研究多模态浏览比较任务,提出UNIBROWSE统一数据管道,同时生成三种模式训练数据,增强知识图谱,引入探索度度量。经此训练的35B规模智能体在多模态浏览比较基准测试中性能领先,超多个闭源智能体工作流程。

Comments 17 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06205 2026-07-14 cs.CL cs.AI 版本更新 76%

Tool-MCoT: Tool Augmented Multimodal Chain-of-Thought for Content Safety Moderation

Tool-MCoT:用于内容安全审核的工具增强多模态链式思维

Shutong Zhang, Dylan Zhou, Yinxiao Liu, Yang Yang, Huiwen Luo, Wenfei Zou

机构 * Stanford University(斯坦福大学) Google(谷歌) Google DeepMind(谷歌DeepMind)

专题命中 多模态Agent :multimodal(title);分类 cs.CL、cs.AI

AI总结 本文提出Tool-MCoT,一种基于工具增强的多模态链式思维模型,用于提升内容安全审核的效率与准确性,通过训练小语言模型以有效利用外部工具进行推理和决策。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10878 2026-07-14 cs.AI cs.CL 新提交 62%

LOGOS: A Living Logic for AI Agent Teams That Evolve With Humans

LOGOS:一种与人类共同进化的人工智能代理团队的动态逻辑

Yuma Ichikawa, Yamato Arai, Kosaku Kimura, Akira Sakai, Hiromichi Kobashi

机构 * Fujitsu Limited(富士通有限公司) RIKEN Center for AIP(理化学研究所人工智能中心) The University of(某大学(原文未完整给出大学名称))

专题命中 多模态Agent :multimodal(abstract);分类 cs.CL、cs.AI

AI总结 研究人工智能代理团队与人类共同进化的问题,提出LOGOS这一可插拔层,通过编译多模态输入、转换代理活动并应用验证,实现可验证的人机循环工程,为可问责自动化提供动态逻辑。

Comments 58 pages, 14 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11689 2026-07-14 cs.RO cs.AI 新提交 57%

From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence

从世界行动模型到具身大脑:开放世界物理智能路线图

Yuanzhi Liang, Xufeng Zhan, Haibin Huang, Chi Zhang, Xuelong Li

机构 * IEEE

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 研究针对通用人工智能中物理世界推理行动的进展零散问题,提出以具身大脑为中心的物理智能协同进化路线图,利用世界行动模型等,通过物理框架、共享契约和闭环训练等构建模块化智能栈,推动物理智能发展。

Comments Ongoing work

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11084 2026-07-14 cs.AI 新提交 57%

NVAITC AI Scientist: A Governed End-to-End Research System -- A Hypertension GWAS Case Study

NVAITC人工智能科学家:一个受治理的端到端研究系统——以高血压全基因组关联研究为例

Eddie Huang, Ken Liao, Iven Fu, Yang-Hsien Lin, Chao-Shun Zhan, Andy Liao, Virginia Chen, Johnson Sun, Pika Wang, Richard Huang, Jiun-Cheng Jiang, Ting-Yuan Liu, Hsing-Fang Lu, Ray Y. Lee, Chi-Chou Liao, Simon See, Fuu-Jen Tsai

机构 * Department of Medical Research, China Medical University Hospital(中国医药大学附设医院医学研究部) Master Program for Digital Health Innovation, China Medical University(中国医药大学数字健康创新硕士项目) Laboratory for Statistical and Translational Genetics, RIKEN Center for Integrative Medical Sciences(理化学研究所综合医学科学中心统计与转化遗传学实验室) AI-Driven Genomic Medicine and Drug Discovery Lab, China Medical University Hospital(中国医药大学附设医院人工智能驱动的基因组医学与药物发现实验室)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 研究以高血压GWAS为例,介绍受治理的端到端智能研究系统NAIS,其集成多种功能。通过真实数据验证,NAIS能支持生物医学发现,规划队列提取等,重现高血压基因座,在药物性肝损伤预测中也有成果,可产生与专家主导流程相当的输出。

Comments 22 pages, 6 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11004 2026-07-14 cs.RO cs.AI 新提交 57%

Affordance-Based Manipulation Planning with Text Goals and Sim-to-Real Generalisation via Real-to-Sim Image Conversion

基于文本目标和通过实到模拟图像转换实现从模拟到现实泛化的基于可供性的操纵规划

Solvi Arnold, Rin Karashima, Tadashi Adachi, Takafumi Mochizuki, Kimitoshi Yamazaki

专题命中 多模态Agent :multi-modal(abstract);分类 cs.AI

AI总结 该研究提出基于可供性识别与动作效果预测的操纵规划系统,通过多模态目标匹配模块评估候选计划,能跟踪遮挡物体位置。还用图像转换模块辅助,分别评估模块性能并展示集成系统在模拟与硬件上的规划能力。

Comments 14 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.01063 2026-07-14 cs.AI 版本更新 57%

MindClaw: Closed-Loop Embodied Mental-State Reasoning for Precision Intervention

MindClaw: 用于精确干预的闭环具身心理状态推理

Ruoxuan Zhang, Qiaoqiao Wan, Zhengguang Wang, Chenghao Yu, Hongxia Xie, Jianlong Fu, Wen-Huang Cheng

机构 * Jilin University(吉林大学) Microsoft Asia(微软亚洲) National Taiwan University(国立台湾大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出MindClaw框架,通过闭环具身心理状态推理实现精确干预,结合多源输入、信念记忆、认知触发技能和动作生成,在动态环境中优化干预时机。

Comments Extended version of the CVPR 2026 paper *MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents*. This work is in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.17665 2026-07-14 cs.CV 版本更新 57%

OpenEarthAgent: A Unified Framework for Tool-Augmented Geospatial Agents

OpenEarthAgent:一个用于工具增强地理空间代理的统一框架

Akashah Shabbir, Muhammad Umer Sheikh, Muhammad Akhtar Munir, Hiyam Debary, Mustansar Fiaz, Muhammad Zaigham Zaheer, Paolo Fraccaro, Fahad Shahbaz Khan, Muhammad Haris Khan, Xiao Xiang Zhu, Salman Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学) IBM Research(IBM研究院) Linköping University(林霍姆斯大学) Technical University Munich(慕尼黑技术大学) Australian National University(澳大利亚国立大学)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV

AI总结 本文提出OpenEarthAgent框架,通过整合卫星影像、自然语言查询和结构化推理轨迹,实现多模态地理空间推理,提升遥感任务的执行能力与空间逻辑一致性。

Comments Accepted at the European Conference on Computer Vision (ECCV 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11739 2026-07-14 cs.RO 新提交 50%

AutoPath: Learning Transferable Goal-Conditioned Stochastic Path Prior for Safe Navigation Without Human Demonstrations

AutoPath:学习可转移的目标条件随机路径先验以实现无人类示范的安全导航

Ziyang Zhang, Boyang Zhou, Zesong Yang, Haocheng Peng, Zeming Gai, Xiao Liang, Yujun Shen, Danping Zou, Ruizhen Hu, Hujun Bao, Zhaopeng Cui

机构 * Zhejiang University(浙江大学) Harbin Institute of Technology(哈尔滨工业大学) Ant Group(蚂蚁集团) Shanghai Jiao Tong University(上海交通大学) Shenzhen University(深圳大学)

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究在复杂环境下的安全导航问题,提出学习可转移目标条件随机路径先验的方法,引入规范状态表示和结构化先验学习框架,实验证明该方法成功率高、效率有竞争力且可跨平台转移。

Comments Accepted by IEEE Robotics and Automation Letters (RA-L). 8 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09756 2026-07-14 cs.RO 新提交 50%

LLM-Centric Agentic AI for UAV Swarms: Architecture, Enabling Technologies, and Open Problems

用于无人机群的以大语言模型为中心的智能体人工智能:架构、使能技术及开放问题

Yousef Emami, Rahim Taheri, Mohammadhossein Homaei, Muhammad Atif Ur Rehman, Mohammad Shojafar

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究针对无人机群实际部署受限问题,提出以大语言模型为中心的智能体人工智能LAUS,回顾相关使能技术,分析威胁,确定包括抗幻觉推理等在内的开放研究挑战。

Comments 8 pages, 4 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.10407 2026-07-14 cs.RO 版本更新 50%

Rethinking Gaussian Trajectory Predictors: Calibrated Uncertainty for Safe Planning

重新思考高斯轨迹预测器:为安全规划校准不确定性

Fatemeh Cheraghi Pouria, Mahsa Golchoubian, Katherine Driggs-Campbell

机构 * Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系) Department of Mathematical and Computational Sciences, University of Toronto(多伦多大学数学与计算科学系)

专题命中 多模态Agent :multi-modal(abstract)

AI总结 本文提出了一种新的损失函数,通过核密度估计校准高斯轨迹预测器的不确定性,以提高安全规划性能。

详情

展开后加载摘要…

URL PDF HTML 收藏