arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-04-29 至 2026-04-29 共收录 67 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 6 篇

2411.08533 2026-04-29 cs.RO cs.AI 74%

ACROSS: A Deformation-Based Cross-Modal Representation for Robotic Tactile Perception

ACROSS: 一种基于变形的跨模态表示用于机器人触觉感知

Wadhah Zai El Amri, Malte Kuhlmann, Nicolás Navarro-Guerrero

机构 * L3S Research Center(L3S研究所以)

专题命中 多模态训练与对齐 :cross-modal(title);分类 cs.AI

AI总结 本文提出ACROSS框架,通过利用传感器变形信息实现触觉数据跨传感器转换,将BioTac信号转换为DIGIT传感器数据,解决现有数据集在新设备上的应用问题。

Comments Accepted to 2025 IEEE Conference on Robotics and Automation (ICRA 2025). arXiv admin note: text overlap with arXiv:2410.14310

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.12834 2026-04-29 cs.SD cs.AI eess.AS 62%

Gelina: Unified Speech and Gesture Synthesis via Interleaved Token Prediction

Gelina:通过交错标记预测实现统一的语音和手势合成

Téo Guichoux, Théodor Lemerle, Shivam Mehta, Jonas Beskow, Gustav Eje Henter, Laure Soulier, Catherine Pelachaud, Nicolas Obin

机构 * 1 ISIR, Sorbonne Universit\'e, Paris, France 2 STMS Lab -- IRCAM, Sorbonne Universit\'e, Paris, France 3 CNRS, France 4 Department of Speech, Music Hearing, KTH Royal Institute of Technology, Stockholm, Sweden

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI、eess.AS

AI总结 Gelina通过交错标记序列实现语音与手势的统一合成,支持多说话人和多风格克隆,提升语音与手势的同步性与语调对齐。

Comments Paper accepted at ICASSP 2026, 5 pages

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 16122-16126

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01070 2026-04-29 cs.CL 57%

How RL Unlocks the Aha Moment in Geometric Interleaved Reasoning

如何通过强化学习解锁几何交错推理中的顿悟时刻

Xiangxiang Zhang, Caijun Jia, Siyuan Li, Dingyu He, Xiya Xiong, Zheng Sun, Honghao He, Yuchen Wu, Bihui Yu, Linzhuang Sun, Cheng Tan, Jingxuan Wei

机构 * ByteDance(字节跳动) Shenyang Institute of Computing Technology, Chinese Academy of Sciences(沈阳计算技术研究所,中国科学院) Westlake University(西交大学) University of Chinese Academy of Science(中国科学院大学) Key Laboratory of Computing Power Network and Information Security, Ministry of Education(教育部计算能力网络与信息安全重点实验室) Shandong Computer Science Center (National Supercomputer Center in Jinan)(山东省计算机科学中心(济南国家超算中心)) Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院))

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CL

AI总结 本文探讨了在几何交错推理中,通过强化学习框架Faire克服传统监督微调的局限性,实现更深层次的因果对齐,从而提升推理性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2203.11544 2026-04-29 cs.RO cs.AI 57%

Visuo-Haptic Object Perception for Robots: An Overview

机器人视觉-触觉物体感知综述

Nicolás Navarro-Guerrero, Sibel Toprak, Josip Josifovski, Lorenzo Jamone

机构 * Advanced Robotics at Queen Mary (ARQ), School of Engineering and Materials Science, Queen Mary University of London(伦敦女王大学工程与材料科学学院先进机器人研究中心)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI

AI总结 本文综述了机器人视觉-触觉物体感知的现状,探讨了生物基础、传感技术、计算方法及未来研究方向,强调多模态学习的挑战与应用进展。

Comments published in Autonomous Robots

Journal ref Autonomous Robots, 27 (2023) https://link.springer.com/article/10.1007/s10514-023-10091-y

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 其他多模态 3 篇

2604.24987 2026-04-29 cs.AI 79%

Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

评估Y轴影响:多模态语言模型在图表到表格翻译中的偏差

Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

机构 * Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学)

专题命中 其他多模态 :multimodal(title,abstract);分类 cs.AI

AI总结 研究探讨了多模态语言模型在图表到表格翻译中因Y轴信息不平衡导致的偏差问题,提出FairChart2Table框架,发现数字长度、刻度数量、值范围及刻度格式等影响模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.10708 2026-04-29 hep-ph astro-ph.CO hep-th 78%

Multimodal axion emissions from Abelian-Higgs cosmic strings

从阿贝尔-希格斯宇宙弦中产生多模轴子

Naoya Kitajima, Michiru Uwabo-Niibo

专题命中 其他多模态 :multimodal(title,abstract)

AI总结 研究通过宇宙弦碰撞产生轴子,发现低能和高能区域均有轴子发射,其中低能轴子可解释冷暗物质,高能轴子可作为暗辐射,GeV级轴子可解释暗物质丰度并预测可观测暗辐射。

Comments v2: 8 pages, 8 figures; updated to match the version accepted for publication in PRD

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24802 2026-04-29 cond-mat.stat-mech 50%

Thermoinformational State Construction: Generative Energies, Entropies, and H-Theorem Consistency

热信息态构建:生成能量、熵与H定理一致性

George-Rafael Domenikos, Lock Yue Chew, Victoria Leong

专题命中 其他多模态 :multimodal(abstract)

AI总结 本文提出从测量微态数据构建热力学结构的框架,通过拟合玻尔兹曼型模型生成能量函数,并推导出与数据一致的熵函数,从而获得热力学一致的宏观描述。

Comments 13 page MAIN, 59 page Supplementary Material

详情

展开后加载摘要…

URL PDF HTML 收藏