arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-07-28 至 2026-07-28 共收录 5 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 5 篇

2607.22586 2026-07-28 cs.AI cs.CL 新提交 81%

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

MM-ShiftKV:用于多模态大语言模型的解码感知预填充阶段键值选择

Jinsong Shu, Chenyang Wu, Zhongle Xie, Baokun Wang, Lidan Shou

机构 * Zhejiang University(浙江大学) Ant Group(蚂蚁集团) The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室) Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术产业开发区(滨江)区块链与数据安全研究院)

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型中KV缓存问题,提出MM-ShiftKV方法,通过构建方差扩展查询代理近似解码时查询行为,基于聚合注意力质量估计KV重要性,在严格缓存预算下性能优于现有方法。

Comments 19 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23944 2026-07-28 cs.AI 新提交 79%

DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models

DICA:多模态大语言模型中的双指标引导对比对齐

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.AI

AI总结 研究针对多模态大语言模型的问题,提出双指标引导对比对齐方法(DICA),通过跟踪视觉注意力熵和输出图像相关性两个指标,根据异常情况触发对比对齐,实验证明该方法能提升模型可靠性,优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23581 2026-07-28 cs.AI 新提交 79%

Verification-Notebook Learning for Source-Aware Multimodal Misinformation Detection

用于源感知多模态错误信息检测的验证笔记本学习

Junyuan Tan

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.AI

AI总结 针对多模态错误信息检测,提出验证笔记本学习框架VNL,通过构建包含决策原则等的笔记本,在推理时指导验证新示例,实验显示其性能优于基线,能提高源归因且紧凑可解释,无需模型训练积累知识。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22919 2026-07-28 cs.CV cs.AI 新提交 73%

Controlling Embedding Spaces with Text-Conditioned Transformations

通过文本条件变换控制嵌入空间

Joseph Fioresi, Fabian Caba Heilbron, Pankaj Nathani, Mubarak Shah, Kushal Kafle

机构 * Institute of Artificial Intelligence, University of Central Florida(中佛罗里达大学人工智能研究所) Adobe Research(Adobe研究院)

专题命中 跨模态检索 :multimodal(abstract);cross-modal(abstract);分类 cs.CV、cs.AI

AI总结 研究提出文本条件变换视觉嵌入,通过自然语言描述属性类别,网络生成仿射变换强调指定属性,能同时学习多属性,可在推理时访问,为控制嵌入空间提供统一高效框架,在多任务中展现近零推理成本的最优性能。

Comments Accepted at ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23038 2026-07-28 cs.IR 新提交 50%

EGR: Embedding-Native Generative Retrieval with a Shared LLM

EGR:使用共享语言模型的嵌入原生生成式检索

Xiaodong Liu, Congfei Zhang, Hsiang-wei Chao, Siman Wang, Tong Zhao, Xiao Bai, Vincent Zhang, Jingxiao Ma, Zhe Liu, Wenfeng Zhuo, Zichu Li, Jitin Krishnan, Yunzhi Zhou, Yajun Wang, Jinchao Li, Yu Zhang

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究针对生成式检索在推荐和广告系统中的问题,提出EGR框架,利用共享语言模型在同一嵌入空间学习项目与用户表示,经联合对比训练,在多场景评估中表现出色,提升了转化率,简化了系统设计。

Comments Accepted to RecSys 2026

详情

展开后加载摘要…

URL PDF HTML 收藏