arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-03-25 至 2026-03-25 共收录 5 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 5 篇

2603.22821 2026-03-25 cs.CV 79%

Cross-Slice Knowledge Transfer via Masked Multi-Modal Heterogeneous Graph Contrastive Learning for Spatial Gene Expression Inference

跨切片知识迁移 via 遮蔽多模态异质图对比学习用于空间基因表达推断

Zhiceng Shi, Changmiao Wang, Jun Wan, Wenwen Min

机构 * Yunnan University(云南大学) Shenzhen Research Institute of Big Data(深圳大数据研究院) Zhongnan University of Economics and Law(中南财经政法大学)

专题命中 跨模态检索 :multi-modal(title,abstract);分类 cs.CV

AI总结 本文提出SpaHGC模型,通过多模态异质图对比学习,结合局部空间上下文和跨切片相似性,提升空间基因表达预测精度,优于现有九种方法。

Comments Accepted by CVPR-2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.02098 2026-03-25 cs.IR cs.CL cs.CV 79%

Efficient and High-Fidelity Omni Modality Retrieval

高效且高保真的多模态检索

Chuong Huynh, Manh Luong, Abhinav Shrivastava

机构 * University of Maryland, College Park, USA(美国马里兰大学 College Park 分校) Monash University(墨尔本大学)

专题命中 跨模态检索 :multimodal(abstract);audio-visual(abstract);omni-modal(abstract);分类 cs.CV、cs.CL

AI总结 本文提出OmniRet模型,解决多模态检索中的计算效率与表示保真度问题,通过注意力机制和改进的池化方法提升三模态(文本、视觉、音频)检索性能,并引入新的音频中心多模态基准测试。

Comments CVPR 2026. Project page: https://hmchuong.github.io/omniret

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.22854 2026-03-25 cs.CL cs.AI 62%

Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer

通过预训练传播树Transformer避免社交媒体谣言检测中的过平滑问题

Chaoqun Cui, Caiyan Jia

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通大数据挖掘与具身智能重点实验室)

专题命中 跨模态检索 :multi-modal(abstract);分类 cs.CL、cs.AI

AI总结 本文提出基于Transformer的P2T3方法,通过提取传播树中的对话链并引入诱导偏置,解决谣言传播结构中的过平滑问题,实验表明其在多个基准数据集上优于现有方法。

Comments 14 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.19703 2026-03-25 eess.AS cs.IR cs.LG cs.MM cs.SD 62%

ASK: Adaptive Self-improving Knowledge Framework for Audio Text Retrieval

ASK:适应性自改进知识框架用于音频文本检索

Siyuan Fu, Xuchen Guo, Mingjun Liu, Hongxiang Li, Boyin Tan, Gongxi Zhu, Xianwei Zhuang, Jinghan Ru, Yuxin Xie, Yuguo Yin

机构 * University of Electronic Science and Technology of China(电子科技大学) Hong Kong University of Science and Technology(香港科技大学) Mohamed Bin Zayed University of Artificial Intelligence(莫扎德人工智能大学) Peking University(北京大学) Tsinghua University(清华大学)

专题命中 跨模态检索 :cross-modal(abstract);分类 cs.MM、eess.AS

AI总结 ASK框架通过多粒度知识注入和动态精修策略解决音频文本检索中的梯度局部瓶颈和表示漂移不匹配问题,提升稀有长尾概念学习能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23029 2026-03-25 cs.CV 57%

WISER: Wider Search, Deeper Thinking, and Adaptive Fusion for Training-Free Zero-Shot Composed Image Retrieval

WISER:更广的搜索、更深入的思考和自适应融合用于无训练零样本复合图像检索

Tianyue Wang, Leigang Qu, Tianyu Yang, Xiangzhao Hao, Yifan Xu, Haiyun Guo, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心) School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) National University of Singapore(新加坡国立大学) Wuhan AI Research(武汉人工智能研究院) Minzu University of China(民族大学)

专题命中 跨模态检索 :multimodal(abstract);分类 cs.CV

AI总结 WISER通过'检索-验证-细化'流程统一文本到图像和图像到图像检索,显式建模意图和不确定性意识,实现更广泛的搜索和更深入的思考,提升零样本复合图像检索性能。

Comments Accept to CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏