多模态大模型

Reducing Technician Search Burden: A Multimodal RAG for Cessna 172 Maintenance Manual

减轻技术人员的检索负担：面向赛斯纳172维护手册的多模态检索增强生成

Seongjun Ha, Md Rashedul Islam, Gaurav Nanda, Damon Lercel

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 本研究针对赛斯纳172维护手册，开发多模态检索增强生成流程，其多模态手册检索器召回率达93.37%，生成响应与基准答案语义相似度87.20%，可减轻技术人员检索负担。

Multimedia Asset Personalization via Multimodal Embeddings at Netflix

Netflix 中通过多模态嵌入实现多媒体资产个性化

Emma Yanyang Kong, Aditya Deshpande, Bowei Yan, Asad Abbasi, Santiago Castro, Avneesh Saluja, David Fagnan, Ashish Rastogi

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 Netflix 采用多模态嵌入技术，通过双塔模型结合 CLIP 嵌入、三模态基础模型 MediaFM 及离线代理任务，优化了美术图像和视频预览的个性化推荐，提升了冷启动性能与效果。

From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model

从推理到适应：视觉语言模型的统一最优传输视角

Qi Yu, Zhichen Zeng, Katherine Tieu, Xiyuan Yang, Ruizhong Qiu, Yuchen Yan, Lihui Liu, Yanjun Zhao, Lingjie Chen, Jingrui He, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊公司） ； Wayne State University（韦恩州立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究提出名为algname的VLM测试时适应方法，通过Wasserstein最优传输统一VLM的推理与适应目标，实验显示其性能较最优方法提升7%且效率先进。

When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models

当安全覆盖视觉时：探索视觉语言模型中视觉影响与安全对齐之间的动态关系

Mehak Gupta, Tanmoy Chakraborty

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态，发现安全对齐未抑制感知接地，抑制拒绝相关表征可恢复接地回答，揭示了其一种新的失败模式。

Backdoor Learning in Language Models and Vision-Language Models

语言模型与视觉-语言模型中的后门学习

Weimin Lyu

机构 * Stony Brook University（石溪大学） ； The Graduate School（研究生院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本论文针对NLP与VLMs面临的后门攻击安全威胁，研究了后门攻击的分析、检测与设计，并开发了适用于临床医学影像的多模态表示方法，助力可信AI与高效多模态学习。

Comments Ph.D. dissertation

Multimodal Rapport Estimation in Real-World HRI

现实世界人机交互（HRI）中的多模态融洽度估计

Akihiro Sakuramoto, Takato Hayashi, Ryo Miyoshi, Yuki Okafuji, Shogo Okada

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究针对现实世界人机交互的融洽度估计问题，采用日本药店的62个多模态会话，对比零样本LLMs等模型，发现Gemini融合模型表现最优，且性能随互动时长、群体规模变化。

Comments 9 pages, 4 figures, 3 tables. Accepted at the 28th ACM International Conference on Multimodal Interaction (ICMI 2026)

Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges

心理健康领域的大语言模型：应用、创新与伦理挑战的系统综述

Yisong Chen, Yifan Gao, Sijing Yu, Chuqing Zhao, Yang Lu

专题命中 音频语音多模态 ：multimodal(abstract,comments)；分类 cs.AI

AI总结 该系统综述梳理了大语言模型在心理健康领域的多类应用、技术创新，同时探讨了其面临的伦理与监管挑战，并倡导建立保障其安全公平部署的框架。

Comments Systematic review. Published in Journal of Industrial Integration and Management (2025). Applications of large language models in mental health, including social media analysis, clinical conversational agents, therapy support tools, multimodal learning, and ethical considerations

FM Synthesizer Audio-Parameter Shared Embeddings

FM合成器音频参数共享嵌入

David Braun, Adam Finkelstein

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 针对合成器预设检索问题，本文设计模仿FM信号处理的图神经网络学习含信号路由的参数表征，结合SLAP多模态目标学习音频与FM合成器参数的联合嵌入，在Yamaha DX7数据集上验证了方法的有效性与泛化性。

Comments Accepted to DAFx 2026

Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI

用于第一人称视角视频的视觉-语言模型：从手-物交互到具身智能

Mohammad Zamani, Fatemeh Ziaeetabar

机构 * University of Tehran（德黑兰大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本综述梳理了用于第一人称视角视频理解的视觉-语言模型的发展，分析其挑战、研究方向与局限，明确了可部署具身智能的关键优先方向。

TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs

TTSD-FAR：用于大视频语言模型中缺失模态情感识别的带Fisher锚定恢复的测试时自蒸馏

Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对大视频语言模型测试时的模态缺失问题，提出带Fisher锚定恢复的测试时自蒸馏框架，在多数据集模态缺失场景下性能优于基线方法且保持稳定。

UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval

UMER：通过感知对的判别推理统一嵌入与排序以实现通用多模态检索

Libiao Chen, Xiyang Liu, Yanheng Wei, Tao Wang, Zhenyu Tang

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对通用多模态检索的需求，提出UMER框架，通过感知对的判别推理联合学习对比式嵌入与判别式排序，在MMEB-V2基准上实现最优性能且支持可调整预算的推理。

MediaGraph: A Content-Aware Data Model and Query Framework for Multimodal Knowledge Graphs

MediaGraph：面向多模态知识图谱的内容感知数据模型与查询框架

Florian Ruosch, Luca Rossetto

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.MM

AI总结 该研究提出MediaGraph数据模型及开源原型MeGraS，将多媒体内容作为图谱节点，扩展SPARQL实现多模态数据的存储、查询，推动内容感知多模态知识图谱发展。

Which Negatives Matter? Ask Your Text Encoder: Adaptive Similarity Margins for Dense-Caption Retrieval

哪些负样本重要？询问你的文本编码器：用于密集字幕检索的自适应相似度间隔

Haoyue Liu, Ye Chen, Zhichao Wang, Xiaoying Tang

机构 * Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来智能网络研究院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 该研究针对密集字幕检索中InfoNCE目标函数过早饱和的问题，提出HN-CLIP方法，通过文本编码器的文本-文本几何构建自适应相似度间隔，在四个基准上提升R@1，且训练速度更快，仅用20%数据即可达最强基线。

MedUAG: Unified Understanding and Generation for Medical Multimodal Models

MedUAG：面向医学多模态模型的统一理解与生成框架

Zijie Meng, Yuncheng Zhang, Hualiang Wang, Yitian Tang, Xiaotang Gai, Chen Shen, Songtao Jiang, Shaosheng Cao, Jian Wu, Xian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Tencent Jarvis Lab（腾讯Jarvis实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对医学多模态领域缺乏统一理解生成框架的问题，本文构建了MedUAGCorpus数据集与MedUAGBench基准，开发了MedUAG模型，其在医学理解与生成任务中表现出色，为下一代医学多模态系统奠定基础。

JANUS: A Multi-modal Foundation Neural Sampler for Disordered Materials

JANUS：面向无序材料的多模态基础神经采样器

Denis Blessing, Mouyang Cheng, Maximilian Schebek, Jutta Rogal, Mingda Li, Carles Domingo-Enrich, Yuanqi Du

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)

AI总结 研究人员开发JANUS多模态神经采样器，用于无序材料的热力学采样，其以远少于传统方法的能量评估次数重现平衡性质，可用于合金逆设计及半导体缺陷探索，为相关研究提供了基础。

A Comprehensive Review of Large Language Models for Nanophotonics: From Surrogate Modeling to Autonomous Design

面向纳米光子学的大语言模型综合综述：从代理建模到自主设计

Huanshu Zhang, Kegeng Tang, Lei Kang, Sawyer D. Campbell, Zihao Wang, Douglas H. Werner

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 该综述探讨大语言模型（LLMs）如何通过语义接口、代码生成及工具编排改进纳米光子学工作流，梳理相关方法的两类模式及跨学科应用，展望具备物理感知的多模态基础模型，推动AI从被动工具向主动科研合作者转变。

Comments Accepted for publication in Advanced Photonics

Harness Continual Learning: Continual Adaptation Beyond Model Parameters

利用工具链持续学习：超越模型参数的持续适应

Borui Kang, Jinrui Gu, Junhan Lv, Wenbin Li, Lei Wang, Yang Gao

机构 * University of Wollongong（卧龙岗大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出工具链持续学习（HCL）范式，围绕冻结基础模型演化工具链，通过受保护演化机制缓解工具链级遗忘，在多任务实验中相对基准增益超10%，可调整稳定性-可塑性权衡。

Diffusion Models for High-Dimensional Clustered Data: Intrinsic-Dimension Adaptivity via Bayesian Classification

用于高维聚类数据的扩散模型：通过贝叶斯分类实现本征维度适应性

Yuga Iguchi, Paul Fearnhead

专题命中 多模态生成 ：multimodal(abstract)

AI总结 该研究将扩散模型理论与多模态高维聚类数据几何结合，通过K混合高斯框架证明其去噪可作为动态贝叶斯分类器，KL误差界线性依赖聚类最大本征维度，实现了本征维度适应性。

Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference

轻量级多模态模型能否评估LLM的推理性能？一项面向计算最优文档推理的研究

Zishan Ahmad, Vishal Vaddina

机构 * Phi Labs（菲实验室） ； Quantiphi（宽梯斐科技） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出轻量级多模态模型DRB，基于新基准BudgetDoc实现文档任务中LLM推理预算的动态分配，在降低成本的同时多数情况下达到或优于固定最大预算的性能，具备跨模型泛化潜力。

OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios

OmniHandwritingOCR：用于评估多模态大语言模型在手写OCR场景中表现的诊断基准

Zinuo Guo, Min Zhang, Bo Jiang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究推出OmniHandwritingOCR手写OCR诊断基准，评估13个多模态模型，发现其在复杂公式上表现差且存在幻觉，为诊断模型失效模式提供测试平台。

Comments CIKM 2026

Reproducible Multimodal Affordance Prediction

可复现的多模态可供性预测

Tommaso Apicella, Alessio Xompero, Andrea Cavallaro

机构 * Istituto Italiano di Tecnologia（意大利技术研究院） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对可供性预测方法评估难的问题，本文提出Affordance Sheet以规范任务表述等信息，实现可供性模型的可复现基准测试与现实场景可靠评估。

Comments Paper accepted to Workshop on Human-Centered Multimodal Intelligence in the Wild (HCMIW) in European Conference on Computer Vision (ECCV) 2026; 18 pages, 3 figures, 7 tables. Project webpage at this https URL (https://apicis.github.io/aff-sheet)

MAVEN: A Macro-Societal Value Evaluation Framework of Multimodal Content with Compact Aligned Evaluators

MAVEN：基于紧凑对齐评估器的多模态内容宏观社会价值评估框架

Zijuan Zhao, Zheren Fu, Hou Xia, Licheng Zhang, Yi Liu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对多模态内容宏观社会价值评估难题，提出MAVEN分层框架，构建相关基准与指标，优化评估器，实验表明其2B评估器表现接近前沿闭源VLMs，提供了可扩展评估路径。

Comments 18 pages, 6 figures

JW-FD: A Long Horizon Multimodal Solar Flare Forecasting Dataset

JW-FD：一个长时程多模态太阳耀斑预报数据集

Shao Mingfu, Lin Jiaben, Wang Hui, Tong Liyue, Yang Chen, Zhang Yin, Li Yuyang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对太阳耀斑预报的长时程数据需求，构建含3064个活动区的15年多模态数据集JW-FD，采用活动区分层划分避免时间泄漏，经Transformer实验确定Bth=1000 G为≥C1.0级耀斑预报的初步默认磁饱和阈值。

Comments 10 pages,3 figures

JW-SSD: A Multimodal Benchmark Dataset for Fine-Grained Sunspot Classification

JW-SSD：用于细粒度太阳黑子分类的多模态基准数据集

Hui Wang, Mingfu Shao, Luyang Li, Jiaben Lin, Liyue Tong, Chen Yang, Zhanji Wei

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究提出用于太阳黑子细粒度磁型分类的多模态基准数据集JW-SSD，经质量控制后含36553对图像，可用于训练多种模型，包括取得高准确率的JW-SunSpot。

Comments 15 pages, 3 figures

FedCoRe: Target-Adaptive Completion for Missing Modalities in Healthcare Federated Learning

FedCoRe：医疗联邦学习中针对缺失模态的目标自适应补全方法

Holger R. Roth, Ziyue Xu, Peter Cnudde

机构 * NVIDIA（英伟达） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对医疗联邦学习中客户端存在缺失模态的问题，提出FedCoRe框架，通过学习表示或对数空间修正，在呼吸恶化任务中恢复了ECG和CXR缺失导致的部分性能损失。

Comments Accepted to the 7th Workshop on Distributed, Collaborative & Federated Learning, DeCaF 2026, MICCAI, Strasbourg, France

MR-IQA-2: Faithful Image Quality Reflection via Fine-Grained Credit Assignment

MR-IQA-2：通过细粒度信用分配实现真实的图像质量反映

Yuan li, Youyuan Lin, Chenhui Chu, Shin'ya Nishida

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对现有盲图像质量评估（IQA）中推理真实性不足的问题，提出MR-IQA-2框架，通过解耦推理与评分的细粒度信用分配，在IQA基准上实现了与人类评分的竞争性对齐，还能提供更丰富的视觉理解。

Pedagogical AI in Mental Health: A Tri-Stream Fine-Tuned LLM Framework for Automated Clinical Supervision and Risk Triage

心理健康领域的教学式AI：用于自动化临床监督与风险分诊的三通路微调大语言模型框架

Shreeya Sharma, Ravish Gupta, Saket Kumar, Abhishek Aggarwal

机构 * Microsoft（微软） ； BigCommerce ； University at Buffalo, The State University of New York（纽约州立大学布法罗分校） ； Amazon（亚马逊） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对精神医疗的监督缺口，提出三通路微调Mistral-7B-instruct框架，实现自动化临床监督与风险分诊，提升效率并解决冷启动问题。

Comments 14 pages, 1 figure, 2 tables. Accepted for publication in AICTC 2026, Lecture Notes in Networks and Systems, vol. 2165, Springer

PCQA-R1: Advancing Generalized 3D Point Cloud Quality Assessment with Reinforcement Learning

PCQA-R1：基于强化学习的通用三维点云质量评估方法

Kangning Ye, Yunhao Li, Sijing Wu, Yucheng Zhu, Guangtao Zhai

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出首个用于三维点云质量评估的强化学习LMM PCQA-R1，基于GRPO策略构建PCQA-CoT数据集并引入高斯 proximity 奖励，在跨数据集泛化和域内准确率上表现优异。

A systematic review of machine learning techniques to address diagnosis and treatment of autism: challenges and opportunities

解决自闭症诊断与治疗的机器学习技术系统综述：挑战与机遇

Rafael Muñoz-Terol, Jesús Peral, Sandra Amador, David Gil

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本系统综述分析2017-2023年55项研究，探究ML在ASD诊断治疗的应用，指出监督学习为主、深度学习作用扩大，需整合多模态数据并加强跨学科合作。

Comments 17 pages, 8 figures

SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

SoftVTBench：面向可变形物体操作的形变感知视觉-触觉数据集与基准

Bowen Jing, Mingxin Wang, Ruiyang Hao, Chenchen Ge, Hanwen Shen, Junjie He, Yang Cui, Yiming Hou, Weitao Zhou, Jiawei Wang, Minglei Li, Dandan Zhang, Ding Zhao, Houde Liu, Xiaofan Li, Si Liu, Ping Luo, Haibao Yu

机构 * Tuojing Intelligence（拓境智能） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； Stevens Institute of Technology（斯蒂文斯理工学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Manchester（曼彻斯特大学） ； Simple AI ； Imperial College London（帝国理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本研究推出SoftVTBench视觉-触觉数据集与基准，定义形变感知成功率（DSR），发现触觉信息本身未必提升多模态融合，为可变形物体操作的物理交互研究提供资源。