arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-06-04 至 2026-06-04 共收录 10 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态Agent 10 篇

2605.29456 2026-06-04 cs.SE cs.HC 85%

Usability Analysis of Configurator User Interfaces with Multimodal Large Language Models

配置器用户界面的可用性分析:基于多模态大语言模型

Sebastian Lubos, Alexander Felfernig, Damian Garber, Adnan Kraljić, Tarik Kraljić, Viet-Man Le, Thi Ngoc Trang Tran, Gerhard Leitner, Julian Schwazer, Doris Suppan, Reinhard Willfort, Ivan Dukic, Jeremias Fuchs, Manuel Henrich

专题命中 多模态Agent :multimodal(title,abstract);MLLM(abstract,abstract_cn)

AI总结 本文通过合成18个配置器特定可用性标准,利用多模态大语言模型对16个实际配置器进行半自动化可用性分析,验证了MLLMs能可靠识别问题并提供领域感知改进建议。

Comments Accepted for publication at the International Conference on Software and Systems Reuse, Product Lines, and Configuration (VARIABILITY 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04911 2026-06-04 cs.CV cs.CL 84%

BreastGPT: A Multimodal Large Language Model for the Full Spectrum of Breast Cancer Clinical Routine

BreastGPT: 面向乳腺癌临床全流程的多模态大语言模型

Yang Liu, Jiajin Zhang, Danyang Tu, Yaojun Hu, Jiao Qu, Jiuyu Zhang, Yu Shi, Wei Fang, Shi Gu, Ling Zhang, Yingda Xia

机构 * DAMO Academy, Alibaba Group(阿里巴巴集团 DAMO 院) Zhejiang University(浙江大学) Hupan Lab(华潘实验室) West China Hospital(西京医院) China Medical University(中国医科大学)

专题命中 多模态Agent :multimodal(title,abstract);MLLM(abstract);分类 cs.CV、cs.CL

AI总结 提出BreastGPT多模态大语言模型,通过构建工作流对齐的指令语料库BreastStage和双分支视觉编码器,实现乳腺癌筛查、诊断和治疗规划全流程的多模态推理,在BreastStage-Bench上取得75.66%封闭式准确率和89.92%开放式得分。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29861 2026-06-04 cs.CL cs.AI 84%

Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation

迈向可验证的多模态深度研究:用于交错报告生成的多智能体框架

Chenghao Zhang, Guanting Dong, Yufan Liu, Tong Zhao, Xiaoxi Li, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)

专题命中 多模态Agent :multimodal(title,abstract);cross-modal(abstract);分类 cs.CL、cs.AI

AI总结 提出多智能体框架Ptah,通过规划、研究和写作阶段生成交错文本与视觉证据的多模态报告,并引入验证器确保事实准确性和跨模态一致性。

Comments In progress

详情

展开后加载摘要…

URL PDF HTML 收藏
1709.08830 2026-06-04 eess.SY cs.CR cs.LG cs.SY 78%

Catching Anomalous Distributed Photovoltaics: An Edge-based Multi-modal Anomaly Detection

捕捉异常分布式光伏:基于边缘的多模态异常检测

Devu Manikantan Shilay, Kin Gwn Lorey, Tianshu Weiz, Teems Lovetty, Yu Cheng

机构 * University of California, Riverside, California, 92507(加州大学河滨分校) Illinois Institute of Technology, Chicago, Illinois 60616(伊利诺伊理工学院)

专题命中 多模态Agent :multi-modal(title,abstract)

AI总结 本文提出基于边缘的多模态异常检测方法,用于识别分布式光伏等设备的异常行为,通过融合多源时间序列数据,提升对电网安全的检测能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2304.10891 2026-06-04 cs.LG cs.AI cs.CV cs.RO cs.SY eess.SY 62%

Transformer-Based Autonomous Driving Models and Deployment-Oriented Compression: A Survey

基于Transformer的自动驾驶模型与面向部署的压缩:综述

Juan Zhong, Yuhang Shi, Zukang Xu, Xi Chen

机构 * Renmin University of China(中国人民大学) Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化院) Shanghai Academy of AI for Science(上海人工智能科学研究院) Department of houmo.ai(houmo.ai部门)

专题命中 多模态Agent :multimodal(abstract);分类 cs.CV、cs.AI

AI总结 本文综述了基于Transformer的自动驾驶模型,并从部署角度分析了压缩与加速策略(如量化、剪枝、知识蒸馏等)如何影响模型设计、部署性、鲁棒性和安全性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.01961 2026-06-04 cs.AI 57%

AutoMedBench: Towards Medical AutoResearch with Agentic AI Models

AutoMedBench: 迈向基于智能体AI模型的医学自动研究

Junqi Liu, Selena Song, Yuhan Wang, Jiawei Mao, Hardy Chen, Xiaoke Huang, Tianhao Qi, Pengfei Guo, Yucheng Tang, Yufan He, Can Zhao, Andriy Myronenko, Dong Yang, Daguang Xu, Yuyin Zhou

机构 * University of California, Santa Cruz(加州大学圣克鲁兹分校) NVIDIA

专题命中 多模态Agent :multimodal(abstract);分类 cs.AI

AI总结 提出AutoMedBench,一个工作流感知的基准,通过五阶段工作流(计划、设置、验证、推理、提交)评估自主智能体在医学AI研究中的行为,发现验证阶段最弱而设置阶段最强,验证和提交失败占主导。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04799 2026-06-04 cs.SE 50%

UModel: An Agent-Ready Observability Data Modeling Method at Scale

UModel: 一种面向智能体的可观测性数据规模化建模方法

Changhua Pei, Zheyuan Li, Zexin Wang, Hang Cui, Xiaohui Nie, Qi Zhou, Fang Situ, Cheng Zhang, Xin Zhang, Xidao Wen, Gaogang Xie, Jingjing Li, Dan Pei

专题命中 多模态Agent :multimodal(abstract)

AI总结 针对现有可观测性框架数据孤岛、模式不兼容及语义元数据不足导致根因分析困难的问题,提出UModel统一本体框架,通过对象中心化建模和语义图连接异构数据,并引入U-SPL管道查询接口,使智能体自主探索系统拓扑并关联多模态数据,在AIOps 2025挑战赛数据集上根因定位精度提升8%,已在阿里云部署超一年,服务数万用户,支撑每秒数百万操作和亚秒级查询延迟。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.12215 2026-06-04 cs.RO 50%

LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion

LDA-1B:通过通用具身数据摄取扩展潜动力学动作模型

Jiangran Lyu, Kai Liu, Xuheng Zhang, Haoran Liao, Yusen Feng, Wenxuan Zhu, Tingrui Shen, Jiayi Chen, Jiazhao Zhang, Yifei Dong, Wenbo Cui, Senmao Qi, Shuo Wang, Yixin Zheng, Mi Yan, Xuesong Shi, Haoran Li, Dongbin Zhao, Ming-Yu Liu, Zhizheng Zhang, Li Yi, Yizhou Wang, He Wang

机构 * Peking University(北京大学) Galbot CASIA(中国科学院自动化研究所) BAAI(北京人工智能研究院) Tsinghua University(清华大学) Sun Yat-sen University(中山大学) NVIDIA

专题命中 多模态Agent :multi-modal(abstract)

AI总结 提出LDA-1B机器人基础模型,通过统一格式的具身交互数据集EI-30k和结构化DINO潜空间中的动力学学习,联合建模动力学、策略和视觉预测,在接触丰富、灵巧和长时任务上分别提升高达21%、48%和23%。

Comments Accepted at RSS 2026, Project Page:https://pku-epic.github.io/LDA

详情

展开后加载摘要…

URL PDF HTML 收藏
1606.03641 2026-06-04 math.OC cs.SY eess.SY 50%

Role of Iso-connectivity Topologies in Multi-agent Interactions

等连通拓扑在多智能体交互中的作用

Rajdeep Dutta, Daniel Pack

专题命中 多模态Agent :multimodal(abstract)

AI总结 本文探讨了等连通拓扑在多智能体系统动态中的作用,通过分析不同拓扑结构对信息共享能力的影响,提出了解决多智能体图结构确定问题的方法。

Comments 12 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
1511.04634 2026-06-04 cs.RO cs.SY eess.SY 50%

Motion Planning for Global Localization in Non-Gaussian Belief Spaces

非高斯信念空间中的全局定位运动规划

Saurav Agarwal, Amirhossein Tamjidi, Suman Chakravorty

专题命中 多模态Agent :multimodal(abstract)

AI总结 本文提出了一种在不确定环境下进行运动规划的方法,用于处理模糊数据关联导致的多模态假设。通过递推方法逐步消除多模态信念,实现有限时间内精确定位。

Comments extends previous submission with updated figures, analysis and justifications. arXiv admin note: text overlap with arXiv:1506.01780

详情

展开后加载摘要…

URL PDF HTML 收藏