arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-03-31 至 2026-03-31 共收录 7 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 7 篇

2509.19315 2026-03-31 eess.SP cs.AI cs.LG 83%

Advancing Few-Shot Pediatric Arrhythmia Classification with a Novel Contrastive Loss and Multimodal Learning

通过新颖的对比损失和多模态学习推进少样本儿童心律失常分类

Yiqiao Chen, Zijian Huang, Zhenghui Feng

机构 * Faculty of Frontier Sciences, Harbin Institute of Technology(哈尔滨工业大学(深圳)前沿科学学院)

专题命中 跨模态检索 :multimodal(title,abstract);cross-modal(abstract);分类 cs.AI

AI总结 本文提出多模态端到端框架,结合体表ECG和心内电图信号,引入自适应全局类感知对比损失,提升少样本下儿童心律失常分类性能。

Comments 12pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.07738 2026-03-31 cs.LG cs.CV 83%

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

从探索到利用:一种两阶段熵RLVR方法用于噪声容忍的多模态大语言模型训练

Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

机构 * Independent Researcher(独立研究者) The Chinese University of Hong Kong(香港中文大学) City University of Hong Kong(香港城市大学) Hong Kong University of Science and Technology(香港科技大学) University of Hong Kong(香港大学)

专题命中 跨模态检索 :MLLM(title,abstract);multimodal(abstract);分类 cs.CV

AI总结 本文提出一种两阶段熵优化方法,通过探索阶段提升输出多样性,利用阶段提高预测准确性,增强噪声容忍能力,实验证明在不同模型和任务中均优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26683 2026-03-31 cs.IR cs.AI cs.CL cs.CV 82%

LITTA: Late-Interaction and Test-Time Alignment for Visually-Grounded Multimodal Retrieval

LITTA:晚期交互与测试时对齐用于视觉接地多模态检索

Seonok Kim

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.CV、cs.CL、cs.AI

AI总结 LITTA通过查询扩展提升多模态文档检索,利用晚期交互评分和反向排名融合提高检索鲁棒性,适用于计算机科学、制药和工业手册等多领域。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26695 2026-03-31 eess.SP cs.AI cs.LG eess.IV quant-ph 79%

Complementarity-Preserving Generative Theory for Multimodal ECG Synthesis: A Quantum-Inspired Approach

保持互补性的多模态ECG生成理论:一种受量子启发的方法

Timothy Oladunni, Farouk Ganiyu-Adewumi, Clyde Baidoo, Kyndal Maclin

机构 * Morgan State University(摩根州立大学)

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.AI

AI总结 本文提出保持互补性的生成理论,通过量子启发框架Q-CFD-GAN生成多模态ECG数据,减少潜在嵌入方差并恢复三领域互补性,提升临床应用的生理意义。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26669 2026-03-31 cs.IR cs.AI cs.LG 79%

ReCQR: Incorporating conversational query rewriting to improve Multimodal Image Retrieval

ReCQR:将对话查询重写纳入多模态图像检索以提高性能

Yuan Hu, ZhiYu Cao, PeiFeng Li, QiaoMing Zhu

机构 * School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.AI

AI总结 本文提出ReCQR任务,通过构建多轮对话查询重写数据集,提升多模态图像检索的准确性和用户查询建模能力。

Comments 4 pages,3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.28575 2026-03-31 cs.LG cs.AI 57%

ChemCLIP: Bridging Organic and Inorganic Anticancer Compounds Through Contrastive Learning

ChemCLIP:通过对比学习弥合有机和无机抗癌化合物的鸿沟

Mohamad Koohi-Moghadam, Hongzhe Sun, Hongyan Li, Kyongtae Tyler Bae

机构 * Li Ka Shing Faculty of Medicine, The University of Hong Kong(香港大学李嘉诚医学院) Department of Diagnostic Radiology, Li Ka Shing Faculty of Medicine, The University of Hong Kong(香港大学李嘉诚医学院诊断放射学系) Department of Chemistry, The University of Hong Kong(香港大学化学系)

专题命中 跨模态检索 :multi-modal(abstract);分类 cs.AI

AI总结 本文提出ChemCLIP框架,通过对比学习统一有机和无机抗癌化合物的表示,利用共享抗癌活性而非结构相似性,提升跨领域化学知识迁移能力。

Comments 15 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.15681 2026-03-31 cs.LO cs.AI 57%

ProofBridge: Auto-Formalization of Natural Language Proofs in Lean via Joint Embeddings

ProofBridge: 通过联合嵌入实现自然语言证明的自动形式化(Lean)

Prithwish Jana, Kaan Kale, Ahmet Ege Tanriverdi, Cruise Song, Sriram Vishwanath, Vijay Ganesh

机构 * Georgia Institute of Technology(佐治亚理工学院) Bogazici University(博阿齐奇大学)

专题命中 跨模态检索 :cross-modal(abstract);分类 cs.AI

AI总结 ProofBridge通过联合嵌入模型实现自然语言定理和证明到Lean 4的自动形式化,结合检索增强微调和迭代证明修复,提升语义和类型正确性。

Comments Published as a conference paper at the 14th International Conference on Learning Representations (ICLR 2026), Rio de Janeiro, Brazil, April 23-27, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏