arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-04-27 至 2026-04-27 共收录 6 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态Agent 6 篇

2604.22428 2026-04-27 cs.AI 79%

CognitiveTwin: Robust Multi-Modal Digital Twins for Predicting Cognitive Decline in Alzheimer's Disease

CognitiveTwin: 用于预测阿尔茨海默病认知衰退的稳健多模态数字孪生

Bulent Soykan, Gulsah Hancerliogullari Koksalmis, Hsin-Hsiung Huang, Laura J. Brattain

机构 * Department of Mechanical, Industrial & Manufacturing Eng.(机械、工业与制造工程系) The University of Toledo(托莱多大学) Department of Industrial Eng. and Mngt. Systems(工业工程与管理系统系) University of Central Florida(中央佛罗里达大学) Department of Statistics and Data Science(统计与数据科学系) Department of Internal Medicine(内科医学系)

专题命中 多模态Agent :multi-modal(title,abstract);分类 cs.AI

AI总结 CognitiveTwin通过融合多模态纵向数据预测个体认知轨迹,展现高准确性和公平性,对缺失数据具有鲁棒性,适用于临床试验和个性化医疗。

Comments 18 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22558 2026-04-27 cs.LG cs.AI 70%

SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning

SOLAR-RL:半在线长 horizon 分配强化学习

Jichao Wang, Liuyang Bian, Yufeng Zhou, Han Xiao, Yue Pan, Guozhi Wang, Hao Wang, Zhaoxiong Wang, Yafei Wen, Xiaoxin Chen, Shuai Ren, Lingfang Zeng

机构 * vivo AI Lab(vivo人工智能实验室) Zhejiang Lab(浙江实验室) CUHK MMLab(香港大学多模态实验室) Hubei University(湖北省大学) Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)

专题命中 多模态Agent :multimodal(abstract);MLLM(abstract);分类 cs.AI

AI总结 SOLAR-RL通过整合全局轨迹信息到离线学习中,提升GUI任务的长horizon完成率和鲁棒性,提供高效样本利用的自主导航方案。

Comments 14 pages, 11 figures. Accepted to Findings of the Association for Computational Linguistics: ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19500 2026-04-27 cs.AI cs.CV cs.GR cs.LG 62%

Teaching an Agent to Sketch One Part at a Time

教代理分步绘制一部分

Xiaodan Du, Ruize Xu, David Yunis, Yael Vinker, Greg Shakhnarovich

机构 * TTI-Chicago(芝加哥大学技术研究所) University of Chicago(芝加哥大学) MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)

专题命中 多模态Agent :multi-modal(abstract);分类 cs.CV、cs.AI

AI总结 本文提出一种分步生成矢量草图的方法,通过多轮过程-奖励强化学习训练多模态语言模型代理,利用新数据集ControlSketch-Part实现可解释、可控且局部可编辑的文本到矢量草图生成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22685 2026-04-27 astro-ph.IM astro-ph.EP cs.NI cs.PF 50%

CosmicDancePro -- Measuring LEO satellite's orbital decay and network connectivity implications during solar storms

CosmicDancePro -- 评估太阳风暴期间低地球轨道卫星轨道衰减和网络连接影响

Suvam Basak, Amitangshu Pal, Debopam Bhattacherjee

专题命中 多模态Agent :multimodal(abstract)

AI总结 研究利用CosmicDancePro工具分析太阳风暴对低地球轨道卫星网络的影响,揭示轨道衰减机制和网络连接降级现象。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20834 2026-04-27 cs.RO 50%

PokeVLA: Empowering Pocket-Sized Vision-Language-Action Model with Comprehensive World Knowledge Guidance

PokeVLA:通过全面的世界知识指导赋能便携式视觉-语言-动作模型

Yupeng Zheng, Xiang Li, Songen Gu, Yuhang Zheng, Shuai Tian, Weize Li, Linbo Wang, Senyu Fei, Pengfei Li, Yinfeng Gao, Zebin Xing, Yilun Chen, Qichao Zhang, Haoran Li, Wenchao Ding

机构 * CASIA(中国科学院自动化研究所) TARS Robotics(TARS机器人实验室) Tsinghua University(清华大学) Fudan University(复旦大学) National University of Singapore(新加坡国立大学) Tongji University(同济大学)

专题命中 多模态Agent :multimodal(abstract)

AI总结 本文提出PokeVLA,一种轻量但强大的具身体验模型,通过预训练视觉语言模型和多视角目标感知学习提升机器人操作效率与空间认知能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17706 2026-04-27 cs.RO 50%

OmniVLA-RL: A Vision-Language-Action Model with Spatial Understanding and Online RL

OmniVLA-RL:具备空间理解与在线强化学习的视觉-语言-动作模型

Haoxiang Jie, Yaoyuan Yan, Xiangyu Wei, Kailin Wang, Hongjie Yan, Zhiyou Heng, Daocheng Chen

机构 * AI Lab, Country Garden Services(国家花园服务人工智能实验室) Omni AI(奥米尼人工智能) VBot East China Normal University(东华大学)

专题命中 多模态Agent :multimodal(abstract)

AI总结 本文提出OmniVLA-RL模型,通过混合Transformer架构整合推理、空间和动作专家,结合Flow-GSPO提升动作精度与训练稳定性,在LIBERO和LIBERO-Plus基准上表现优异,克服了现有VLA模型的局限。

详情

展开后加载摘要…

URL PDF HTML 收藏