arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-05-29 至 2026-05-29 共收录 9 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 9 篇

2605.28822 2026-05-29 cs.CL 85%

Lightweight Multimodal LLM-Enabled Cost-Effective Defect Grading of Power Transmission Equipment

轻量级多模态大语言模型驱动的输电设备经济高效缺陷分级

Tao Wang, Lipeng Zhu, Jiayong Li, Feng Gao, Siwen Liang

专题命中 多模态训练与对齐 :multimodal(title,abstract);MLLM(abstract,abstract_cn);分类 cs.CL

AI总结 提出基于多模态大语言模型的缺陷分级框架,通过上下文学习最大化商业模型潜力,并利用链式思考问答对微调轻量级模型,实现低成本高精度分级。

Comments 9pages, 6figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30328 2026-05-29 cs.CV 57%

Supercharging Thermal Gaussian Splatting with Depth Estimation

利用深度估计增强热高斯泼溅

Manoj Biswanath, Chenxin Cai, Hannah Schieber, Daniel Roth, Benjamin Busam

机构 * Technical University of Munich(技术大学慕尼黑) Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心) Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与人工智能研究所) Human-Centered Computing and Extended Reality Lab(以人为本计算与扩展现实实验室) TUM University Hospital(技术大学慕尼黑医院)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.CV

AI总结 提出一种仅使用热红外图像和深度估计的单模态方法TDg,通过热到深度高斯泼溅推导辐射场,在渲染质量和训练时间上优于多模态基线。

Comments 8 pages, 4 figures. Accepted and will be published in ISPRS proceedings (ISPRS Congress 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30002 2026-05-29 cs.AI 57%

KairosAgent: Agentic Time Series Forecasting with Fused Semantic Reasoning

KairosAgent:融合语义推理的智能体时间序列预测

Kun Feng, Ziwei Shan, Yuchen Fang, Yiyang Tan, Sihan Lu, Shuqi Gu, Lintao Ma, Xingyu Lu, Kan Ren

机构 * School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学) Ant Group(蚂蚁集团)

专题命中 多模态训练与对齐 :multimodal(abstract);分类 cs.AI

AI总结 提出KairosAgent框架,通过结合基于LLM的推理器和基于TSFM的预测器,并引入强化学习范式,实现跨模态时间序列的零样本预测。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12588 2026-05-29 cs.CV 57%

SDF-Net: Structure-Aware Disentangled Feature Learning for Opticall-SAR Ship Re-identification

SDF-Net:面向光学-SAR船舶重识别的结构感知解耦特征学习

Furui Chen, Han Wang, Yuhan Sun, Jianing You, Yixuan Lv, Zhuang Zhou, Hong Tan, Shengyang Li

机构 * Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences(中国科学院空间利用技术与工程中心) Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间利用重点实验室) University of Chinese Academy of Sciences(中国科学院大学) School of Software, Beihang University(北航软件学院)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 针对光学与SAR图像间辐射差异导致的船舶重识别挑战,提出SDF-Net,通过结构一致性约束和解耦特征学习,实现模态不变的身份特征提取,在HOSS-ReID数据集上达到最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.09266 2026-05-29 cs.CV 57%

SAGE: Segment-Aware Gloss-Free Encoding for Token-Efficient Sign Language Translation

SAGE: 面向令牌高效手语翻译的分段感知无词汇编码

JianHe Low, Ozge Mercanoglu Sincan, Richard Bowden

机构 * CVSSP, University of Surrey, United Kingdom(CVSSP,萨里大学,英国)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 提出分段感知视觉标记化框架,通过手语分段将连续视频转换为离散视觉令牌,结合令牌级对比对齐和双层监督,在减少序列长度50%的同时,在PHOENIX14T基准上超越现有方法。

Comments Accepted in International Conference on Computer Vision (ICCV) Workshops. Code released at https://github.com/JianHe0628/SAGE

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28870 2026-05-29 cs.LG cs.AI 57%

Representation Alignment Rests on Linear Structure

表示对齐依赖于线性结构

Kiril Bangachev, Guy Bresler, Yury Polyanskiy

机构 * Massachusetts Institute of Technology(麻省理工学院)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.AI

AI总结 本文通过信号、偏差和噪声的三部分统计框架研究柏拉图表示假说,提出对齐源于对象与属性的线性关系,并通过稀疏自编码器提取线性特征、中心化和归一化减少偏差、以及数据稀缺导致噪声等证据支持该框架。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17286 2026-05-29 cs.CV 57%

HyperVision: A Channel-Adaptive Ground-Based Hyperspectral Vision Pre-trained Backbone

HyperVision: 一种通道自适应的地基高光谱视觉预训练骨干网络

Guanyiman Fu, Jingtao Li, Zihang Cheng, Zhuanfeng Li, Diqi Chen, Yan Xu, Xiangyu Liu, Fengchao Xiong, Jianfeng Lu, Chengrong Chen, Jun Zhou

机构 * Griffith University, Australia(格里菲斯大学,澳大利亚) Wuhan University, China(武汉大学,中国) Nanjing University of Science and Technology, China(南京理工大学,中国) Huaiyin Normal University, China(淮阴师范学院,中国) Massey University, New Zealand(马斯sey大学,新西兰)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 针对地基高光谱传感器配置差异、标签稀缺与不一致、数据集规模有限等问题,提出首个地基高光谱预训练骨干HyperVision,采用通道自适应动态嵌入、多源伪标签和跨模态知识蒸馏,在三个下游任务上取得最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30350 2026-05-29 cs.RO cs.LG 50%

DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation

DynaFLIP: 通过三模态动力学引导表示重新思考机器人感知

Jusuk Lee, Seungjae Lee, Jonghun Shin, Hoseong Jung, Sungha Kim, Daesol Cho, H. Jin Kim, Jia-Bin Huang, Furong Huang

机构 * Seoul National University(首尔国立大学) University of Maryland, College Park(马里兰大学学院公园分校) Georgia Institute of Technology(佐治亚理工学院)

专题命中 多模态训练与对齐 :multimodal(abstract)

AI总结 提出DynaFLIP,一种动力学感知的多模态预训练框架,通过图像-语言-3D流三元组训练图像编码器,利用单纯形体积最小化与余弦正则化和对比目标对齐三模态,提升机器人操作中的运动理解与泛化能力。

Comments Project website: https://dynaflip-robotics.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29021 2026-05-29 cs.LG 50%

Designing Active Tether-Net Systems for Space Debris Capture with Graph-Learning-Aided Mixed-Combinatorial Optimization

基于图学习辅助混合组合优化的空间碎片捕获主动绳网系统设计

Feng Liu, Achira Boonrath, Gishnu Madhu, Eleonora M. Botta, Souma Chowdhury

机构 * University at Buffalo(布法罗大学)

专题命中 多模态训练与对齐 :multimodal(abstract)

AI总结 针对主动绳网系统设计中涉及连续、整数和分类变量的混合组合非线性规划问题,提出图神经网络辅助优化方法,将MCNLP简化为NLP,实现网形态、MU质量和推进器选择及瞄准点的联合设计,相比直接求解MCNLP显著加快收敛速度。

Comments Accepted for presentation at 2026 AIAA Aviation Forum

详情

展开后加载摘要…

URL PDF HTML 收藏