arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-07-22 至 2026-07-22 共收录 7 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 7 篇

2602.06409 2026-07-22 cs.CR 版本更新 88%

VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems

VENOMREC: 多模态交互性污染用于多模态大语言模型推荐系统中的定向推广

Guowei Guan, Yurong Hao, Jiaming Zhang, Tiantong Wu, Fuyao Zhang, Tianxiang Chen, Longtao Huang, Cyril Leung, Wei Yang Bryan Lim

专题命中 多模态训练与对齐 :multimodal(title,abstract);cross-modal(title,abstract)

AI总结 VENOMREC通过跨模态交互性污染技术,在多模态大语言模型推荐系统中实现定向推广,有效提升推荐性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19086 2026-07-22 cs.CV 新提交 83%

Advancing Multimodal Fusion on Heterogeneous Medical Data with Hybrid Geometry Attention

利用混合几何注意力推进异构医学数据上的多模态融合

Joy Dhar, Manish Kumar Pandey, Nayyar Zaidi, Chen Chen, Maryam Haghighat, Ferdous Sohel, Puneet Goyal

机构 * Indian Institute of Technology Ropar(印度理工学院罗帕尔分校) RoentGen Health(伦琴健康公司) Deakin University(迪肯大学) University of Central Florida(中佛罗里达大学) Queensland University of Technology(昆士兰科技大学) Murdoch University(莫道克大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);cross-modal(abstract);分类 cs.CV

AI总结 针对异构医学数据多模态融合难题,提出CURE框架,通过HyFuse层及相关模块逐步整合模态,有效捕捉跨模态交互,降低计算成本,在多数据集上评估显示其性能显著提升,优于领先方法。

Comments ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18336 2026-07-22 cs.MM cs.CL cs.LG 新提交 81%

EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

EmoEUS:对话中多模态情感识别的不确定性监督

Zilong Huang, Kong Aik Lee, Junjie Li, Zhe Li, Man-Wai Mak

机构 * Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系) Speech, Language, and Cognition Laboratory, The University of Hong Kong(香港大学语音、语言与认知实验室)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CL、cs.MM

AI总结 研究对话中多模态情感识别,提出EmoEUS框架,通过动态加权模态执行不确定性感知多模态融合,并引入显式监督损失,实验证明该框架优于现有方法。

Comments Accept by Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04733 2026-07-22 cs.CL cs.LG 版本更新 79%

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

LP-SFT:通过多模态熵结构进行局部保持监督微调

Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

机构 * School of Mathematical Sciences, Peking University(北京大学数学科学学院) Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CL

AI总结 研究监督微调中存在的问题,利用香农和雷尼熵分析揭示预训练模型的多模态熵结构,提出LP-SFT目标,在多领域实验中提升性能,平衡准确率和k准确率。

Comments 20 pages, 3 figures. Code is available at https://github.com/Wakaka161/LP-SFT

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18897 2026-07-22 eess.IV 新提交 78%

Thinking Fast, Thinking Slow: Adaptive Multimodal Transformer-based Sensor Fusion for Depth Estimation on Ultra-low-power MCUs

快速思考,慢速思考:基于自适应多模态Transformer的超低功耗MCU深度估计传感器融合

Luca Crupi, Lorenzo Lamberti, Giovanni Badaracco, Daniele Allegri, Alessandro Giusti, Daniele Palossi

专题命中 多模态训练与对齐 :multimodal(title,abstract)

AI总结 研究针对超低功耗MCU深度估计问题,提出结合多模态传感器融合与轻量级基于循环Transformer架构的自适应方法,通过令牌传播和增量传感器利用机制平衡能耗与精度,实验证明该方法节能且精度提升显著。

Comments 16 pages, 9 figures, 6 tables. This paper has been accepted for publication in the IEEE Sensors Journal Copyright 2026 IEEE

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.19863 2026-07-22 cs.CV 版本更新 57%

Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation

酿造更强的特征:多光谱地球观测的双教师蒸馏

Filip Wolf, Blaž Rolih, Luka Čehovin Zajc

机构 * University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅纳大学计算机与信息科学学院)

专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV

AI总结 本文提出双教师对比蒸馏框架,用于多光谱地球观测,通过结合多光谱和光学教师,实现跨模态表示学习,提升多光谱和光学数据的性能。

Comments Accepted to CVPR 2026 as Highlight

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19006 2026-07-22 cs.LG q-bio.QM 新提交 50%

Subject-Conditioned Glucose Forecasting in Type-1 Diabetes

1型糖尿病中基于个体条件的血糖预测

Giorgia Rigamonti, Mirko Paolo Barbato, Davide Marelli, Paolo Napoletano

专题命中 多模态训练与对齐 :multimodal(abstract)

AI总结 研究针对1型糖尿病血糖预测问题,提出多模态深度学习架构SCGP,基于观测数据和个体表征预测血糖,通过分离特征与建模避免早期融合,实验证明其能提高预测性能,利于个性化糖尿病管理。

Comments Accepted at the IEEE EMBC 2026 Conference

详情

展开后加载摘要…

URL PDF HTML 收藏