多模态大模型

Prototype-based Self-Supervised Multimodal Learning for PPG and Accelerometry Signals

基于原型的PPG与加速度计信号自监督多模态学习

Wanting Mao, Maxwell A Xu, Harish Haresamudram, Mithun Saha, Santosh Kumar, James Matthew Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Memphis（密苏里大学孟菲斯分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 针对PPG与加速度计等生物信号的多模态学习局限，提出基于原型的SSL框架ProtoMM，开发Pulse-Motion基础模型，性能优于现有对比式及多模态SSL方法。

Reducing Technician Search Burden: A Multimodal RAG for Cessna 172 Maintenance Manual

减轻技术人员的检索负担：面向赛斯纳172维护手册的多模态检索增强生成

Seongjun Ha, Md Rashedul Islam, Gaurav Nanda, Damon Lercel

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 本研究针对赛斯纳172维护手册，开发多模态检索增强生成流程，其多模态手册检索器召回率达93.37%，生成响应与基准答案语义相似度87.20%，可减轻技术人员检索负担。

Multimedia Asset Personalization via Multimodal Embeddings at Netflix

Netflix 中通过多模态嵌入实现多媒体资产个性化

Emma Yanyang Kong, Aditya Deshpande, Bowei Yan, Asad Abbasi, Santiago Castro, Avneesh Saluja, David Fagnan, Ashish Rastogi

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 Netflix 采用多模态嵌入技术，通过双塔模型结合 CLIP 嵌入、三模态基础模型 MediaFM 及离线代理任务，优化了美术图像和视频预览的个性化推荐，提升了冷启动性能与效果。

From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model

从推理到适应：视觉语言模型的统一最优传输视角

Qi Yu, Zhichen Zeng, Katherine Tieu, Xiyuan Yang, Ruizhong Qiu, Yuchen Yan, Lihui Liu, Yanjun Zhao, Lingjie Chen, Jingrui He, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊公司） ； Wayne State University（韦恩州立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究提出名为algname的VLM测试时适应方法，通过Wasserstein最优传输统一VLM的推理与适应目标，实验显示其性能较最优方法提升7%且效率先进。

Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

回答前看清楚：通过显著性驱动的感知重新对齐减轻LVLMs中的幻觉

Pengxu Chen, Yao Zhu, Guangming Zhu, Jun Sheng, Jincai Huang, Xiangyang Ji, Liang Zhang

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Shanghai Road Transport Development Center（上海市道路运输发展中心） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对LVLMs易产生幻觉问题，提出无需训练的SDPR框架，通过显著性驱动注意力重新分配、缓存对齐及先验约束对比解码，整体对齐视觉意识，在多基准测试中优于现有方法，无需额外训练且开销小。

Comments Accepted by ACM Multimedia 2026

When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models

当安全覆盖视觉时：探索视觉语言模型中视觉影响与安全对齐之间的动态关系

Mehak Gupta, Tanmoy Chakraborty

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态，发现安全对齐未抑制感知接地，抑制拒绝相关表征可恢复接地回答，揭示了其一种新的失败模式。

Backdoor Learning in Language Models and Vision-Language Models

语言模型与视觉-语言模型中的后门学习

Weimin Lyu

机构 * Stony Brook University（石溪大学） ； The Graduate School（研究生院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本论文针对NLP与VLMs面临的后门攻击安全威胁，研究了后门攻击的分析、检测与设计，并开发了适用于临床医学影像的多模态表示方法，助力可信AI与高效多模态学习。

Comments Ph.D. dissertation

On the Robustness of Vision-Language Models in Zero-shot Privacy Classification

零样本隐私分类中视觉语言模型的鲁棒性研究

Alina Elena Baia, Alessio Xompero, Andrea Cavallaro

机构 * Idiap Research Institute（Idiap研究机构） ； Queen Mary University of London（伦敦女王学院） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本研究分析零样本设置下视觉语言模型（VLMs）用于图像隐私分类的可靠性，对比三类开源VLMs与专用模型的性能，发现VLMs鲁棒但精度低、速度慢，凸显专用隐私分类模型的优势。

Comments 15 pages, 6 figures, 3 tables. Paper accepted at the TrustDOC Workshop at ICPR 2026