多模态大模型

CrediBench: Building Web-Scale Network Datasets for Information Integrity

CrediBench: 构建用于信息完整性的网络规模数据集

Emma Kondrup, Sebastian Sabry, Hussein Abdallah, Zachary Yang, Jiaqi Xiong, Kellin Pelrine, James Zhou, Zhijin Guo, Michael M. Bronstein, Jean-François Godbout, Reihaneh Rabbany, Shenyang Huang

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Oxford（牛津大学） ； University of California, Berkeley（加州大学伯克利分校） ； AITHYRA Research Institute（AITHYRA研究院） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 针对现有数据集忽略网络拓扑、时序和文本内容等关键模态的问题，提出包含八个月网络图数据的CrediBench数据集，支持回归和分类任务，多模态模型显著提升性能。

Comments 16 pages,4 figures

Journal ref KDD 2026

Simulating Infant First-Person Sensorimotor Experience via Motion Retargeting from Babies to Humanoids

通过从婴儿到类人机器人的运动重定向模拟婴儿第一人称感觉运动经验

Francisco M. López, Hoshinori Kanazawa, Ondrej Fiala, Yakov Balashov, Valentin Marcel, Lukas Rustler, Miles Lenz, Dongmin Kim, Yasuo Kuniyoshi, Jochen Triesch, Matej Hoffmann

机构 * German Research Foundation（德国研究基金会） ； Johanna Quandt foundation（约翰娜·克文特基金会） ； Czech Science Foundation（捷克科学基金） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出一种从单视频重建婴儿3D姿态并映射到物理/虚拟类人平台的方法，实现亚厘米级精度的多感觉流模拟，为发育研究和神经发育障碍早期检测提供新工具。

Comments Accepted at IEEE ICDL 2026. 8 pages, 6 figures. Cite as: F. M. López, H. Kanazawa, O. Fiala, Y. Balashov, V. Marcel, L. Rustler, M. Lenz, D. Kim, Y. Kuniyoshi, J. Triesch, and M. Hoffmann, "Simulating infant first-person sensorimotor experience via motion retargeting from babies to humanoids'', in 2026 IEEE International Conference on Development and Learning (ICDL). IEEE, 2026, pp. 1-8

SERNF: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows

SERNF: 通过动作块评论家和归一化流实现样本高效的真实世界灵巧策略微调

Chenyu Yang, Denis Tarasov, Davide Liconti, Romain Guntz, Hehui Zheng, Robert K. Katzschmann

机构 * Soft Robotics Lab, D-MAVT（软机器人实验室，D-MAVT） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出SERNF框架，结合归一化流策略和动作块评论家，实现真实世界灵巧操作策略的样本高效微调，解决多模态动作分布和信用分配问题。

Comments https://srl-ethz.github.io/SERNF/

ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM

ASCD：用于减少多模态大语言模型（MLLM）幻觉的注意力可导向对比解码

Yujun Wang, Aniri, Jinhe Bi, Soeren Pirk, Yunpu Ma

专题命中 跨模态检索 ：MLLM(title,title_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究针对MLLM的幻觉问题，提出ASCD方法，通过正负引导调整解码时的注意力分数，在多基准上显著减少幻觉并提升VQA准确率，且无需额外训练。

Comments Accepted at AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(12): 10306-10314, 2026

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.MM

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

AeroRAG: Structured Multimodal Retrieval-Augmented LLM for Fine-Grained Aerial Visual Reasoning

AeroRAG：结构化多模态检索增强型LLM用于细粒度航空视觉推理

Junxiao Xue, Quan Deng, Tingqi Hu, Meicong Si, Xinyi Yin, Yunyun Shi, Xuecheng Wu

机构 * Research Center for Space Computing System, Zhejiang Lab, Hangzhou（杭州浙大实验室空间计算系统研究中心） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou（中国科学院大学杭州高等研究院） ； School of Cyber Science and Engineering, Zhengzhou University（郑州大学计算机科学与工程学院） ； School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出AeroRAG，通过结构化场景图引导的多模态检索增强生成框架，解决航空场景中视觉问答的挑战，提升对小物体、数量、位置及物体关系的推理能力。

Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs

Magic-MM-Embedding: 面向视觉令牌高效的多模态大语言模型通用嵌入

Qi Li, Yanzhe Zhao, Yongxin Zhou, Yameng Wang, Yandong Yang, Yuanjia Zhou, Jinxiang Liu

机构 * Honor Device Co., Ltd., China（荣耀终端有限公司，中国） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Magic-MM-Embedding，通过视觉令牌压缩架构和多阶段渐进训练策略，在通用多模态嵌入中实现高效率和最先进性能。

Comments Accepted by ECCV 2026

Histopathology Multi-modal Embedding for Pathology Composed Retrieval

病理学组合检索的组织病理学多模态嵌入

Qifeng Zhou, Wenliang Zhong, Thao M. Dang, Hehuan Ma, Saiyang Na, Yuzhi Guo, Junzhou Huang

机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 跨模态检索 ：multi-modal(title)；MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出HOMIE框架，将生成式多模态大语言模型适配为病理检索专家，解决组合查询中的架构、任务和领域不匹配问题，在病理组合检索基准上显著优于现有方法。

Comments Accepted by ECCV 2026

Conan-embedding-v3: Fusing Modality-Specific Models for Omni-Modal Embedding

Conan-embedding-v3: 融合模态特定模型实现全模态嵌入

Shiyu Li, Zhiyuan Hu, Yifan Wang, Peiming Li, Zheng Wei, Yang Tang

机构 * Tencent（腾讯） 纠错

专题命中 跨模态检索 ：omni-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI、cs.MM

AI总结 提出解耦-融合-恢复框架，通过独立训练模态专家并融合任务向量，再使用投影器恢复和平衡多模态重演解决投影器漂移问题，实现单一骨干网络支持文本、图像、视频、文档和音频检索。

AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition

AffectAgent：协同多智能体推理用于检索增强的多模态情感识别

Zeheng Wang, Zitong Yu, Yijie Zhu, Bo Zhao, Haochen Liang, Taorui Wang, Wei Xia, Jiayu Zhang, Zhishu Liu, Hui Ma, Fei Ma, Qi Tian

机构 * Great Bay University（大湾大学） ； Guangming Laboratory（光明实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出AffectAgent，通过协同多智能体推理框架，解决多模态情感识别中的模态模糊和复杂情感依赖问题，引入MB-MoE和RAAF提升表现。

Comments Accepted by ACM MM 2026

Local Multimodal Music Alignment from Global Supervision

基于全局监督的局部多模态音乐对齐

Irmak Bukey, Zachary Novack, Jongmin Jung, Dasaem Jeong, Chris Donahue

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 研究如何利用全局监督实现局部多模态音乐对齐，提出FuSiLi方法，通过基于Sinkhorn的软对齐操作局部特征，结合传统全局相似性微调预训练编码器，在跨模态检索和帧级对齐任务中表现出色，优于多种基线。

Comments ISMIR 2026

RADD: Retrieval-Augmented Discrete Diffusion for Multi-Modal Knowledge Graph Completion

RADD：基于检索的离散扩散用于多模态知识图谱补全

Guanglin Niu, Bo Li

机构 * School of Artificial Intelligence, Beihang University（北航人工智能学院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出RADD框架，通过分离检索与重排序过程，提升多模态知识图谱补全的性能，实验表明其在多个基准上表现最佳。

Comments 13 pages, 3 figures, 8 tables

SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval

SOLAR：用于对称多模态检索的自监督联合学习

Wenjie Yang, Hang Yu, Yuyu Guo, Peng Di

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出SOLAR框架，通过自监督学习解决对称多模态检索问题，利用未标记数据提升模型性能，实验显示其在基准测试中优于现有方法。

Comments Accepted by ICML 2026. Code, model and benchmark are available at https://github.com/codefuse-ai/SOLAR

MG$^2$-RAG: Multi-Granularity Graph for Multimodal Retrieval-Augmented Generation

MG$^2$-RAG：多粒度图用于多模态检索增强生成

Sijun Dai, Qiang Huang, Xiaoxing You, Jun Yu

机构 * School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MG$^2$-RAG通过构建层次化多模态知识图谱，融合文本与视觉信息，提升多模态检索与生成性能，实验显示其在四个任务中均取得最佳效果，同时显著提升效率。

FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning

FDRMFL：基于信息最大化和对比学习的多模态联邦特征提取模型

Haozhe Wu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对非IID数据分布下联邦回归的多模态特征提取难题，提出FDRMFL框架，通过统一的四项局部目标应对挑战，实验表明该框架能有效降低平均MSE，在六种联邦算法中表现最佳。

Comments Accepted author manuscript; published version DOI: 10.1016/j.asoc.2026.115874

Journal ref Applied Soft Computing 202 (2026) 115874

ChartFI: Benchmarking Faithfulness and Insightfulness of Chart Descriptions from Multimodal Large Language Models

ChartFI: 多模态大语言模型图表描述的忠实性与洞察力基准测试

Fen Wang, Zekai Shao, Qiman Kang, Chunran Hu, Zhixuan Zhang, Lexu Xie, Chao Liu, Siming Chen

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Zhengzhou Zhongke Institute of Integrated Circuit and System Application（郑州中凯集成电路与系统应用研究院） ； School of Computer Science, Fudan University（复旦大学计算机科学学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 提出ChartFI-Bench基准，包含896个复杂图表-描述对，并设计四个评估指标（忠实性、覆盖率、信息量、敏锐度），系统评估多模态大语言模型生成图表描述的质量。

Beyond Noisy Signals: Dual-Level Denoising for Multi-modal Sequential Recommendation

超越噪声信号：用于多模态序列推荐的双层去噪

Jie Luo, Qi Jin, Xinming Zhang

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 研究多模态序列推荐中的双重噪声困境，提出DDMSR框架，从特征拓扑和序列频率角度净化信号，设计基于图的特征去噪与频域序列去噪模块，纳入多模态对比对齐目标，实验证明该框架性能优于基线。

Comments Accepted by ACM MM 2026. 12 Pages

OC-Distill: Ontology-aware Contrastive Learning with Cross-Modal Distillation for ICU Risk Prediction

OC-Distill：基于跨模态蒸馏的面向本体的对比学习用于ICU风险预测

Zhongyuan Liang, Junhyung Jo, Hyang-Jung Lee, Sang Kyu Kim, Irene Y. Chen

机构 * UC Berkeley（伯克利大学） ； UCSF（旧金山大学） ； Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究所） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 OC-Distill通过两阶段框架提升ICU风险预测性能，利用本体感知对比学习和跨模态知识蒸馏，提高模型对患者相似性的捕捉能力及预测效率。

The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models

语言的成本：质心擦除揭示并利用多模态语言模型中的模态竞争

Akshay Paruchuri, Ishan Chatterjee, Henry Fuchs, Ehsan Adeli, Piotr Didyk

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； USI Lugano（卢加诺大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究发现多模态语言模型在视觉任务中表现不佳，通过质心替换方法揭示语言表征优于视觉，通过文本质心对比解码提升准确率，不同训练方法影响结果。

Comments 37 pages, 8 figures, 28 tables

CaIRec: Calibrated Modality Imputation for Incomplete Multimodal Recommendation

CaIRec：面向不完整多模态推荐的校准模态补全方法

Ruiyu Liu, Xiaohao Liu, Miaomiao Cai, Yunshan Ma, See-Kiong Ng

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本文针对多模态推荐中模态缺失导致的跨模态结构失真与偏好适应差距问题，提出两阶段框架CaIRec，经多组实验验证其有效性与鲁棒性。

Beyond Text: Aligning Vision and Language for Multimodal E-Commerce Retrieval

超越文本：为多模态电子商务检索对齐视觉与语言

Qujiaheng Zhang, Guangyue Xu, Fengjie Li

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究电子商务领域双塔检索模型的统一文本-图像融合，指出特定领域微调及查询与产品文本和图像模态的两阶段对齐很关键，提出新型模态融合网络并验证其有效性。

Subtraction Gets You More: Gap-Aware Retrieval for Multimodal Multi-Hop QA

减法让你获得更多：面向多模态多跳问答的差距感知检索

Sunah O, Jay-Yoon Lee

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对多模态多跳问答中的证据集补全和序列池构建任务，提出GRAIL框架，通过隐式查询重写和上下文减法查询引导，解决语义锚定问题，实现组合跨模态推理，在MultimodalQA上获得40.3%的宏平均性能提升。

From Hindsight to Foresight: Self-Encouraged Hindsight Distillation for Knowledge-based Visual Question Answering

从回顾到前瞻：面向知识驱动视觉问答的自我鼓励回顾蒸馏

Yu Zhao, Ying Zhang, Xuhui Sui, Baohang Zhou, Xinying Qian, Li Shen, Dacheng Tao

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HinD框架，通过知识鼓励偏好优化提升多模态大语言模型的知识推理能力，实验表明其在OK-VQA和A-OKVQA上表现优异。

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

通过检索增强的可靠性感知推理缓解多模态系统中的视觉幻觉

Pratheswaran Hariharan, Haiping Xu, Donghui Yan

机构 * University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出一种检索增强的可靠性感知推理框架，利用外部视觉证据库和多个可靠性指标进行决策门控，在不重训练模型的情况下减少视觉幻觉，将接受预测准确率从85.84%提升至88.88%。

Comments 29 pages, 9 figures

PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition

PLGSA-Transformer：用于跨模态蒙面和非蒙面人脸识别的眼周地标引导注意力与遮挡自适应余弦阈值

Dana A Abdullah

机构 * Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学） ； Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。

Backbone-Conditional Behavior of Modality Gating in Multi-Modal Prostate MRI Segmentation: A 5-Fold Cross-Validation and Gate Mechanism Analysis

模态隔离门控融合：用于稳健多模态前列腺MRI分割的架构无关方法

Yongbo Shu, Wenzhao Xie, Shanhu Yao, Zirui Xin, Luo Lei, Kewen Chen, Aijing Luo

机构 * The Second Xiangya Hospital of Central South University（中南大学湘雅医学院第二医院） ； The Third Xiangya Hospital of Central South University（中南大学湘雅医学院第三医院） ； School of Life Sciences, Central South University（中南大学生命科学学院） ； Hunan Provincial Key Laboratory of Medical Information Research (Central South University)（湖南省医学信息研究重点实验室（中南大学）） ； Hunan Provincial Clinical Medical Research Center for Cardiovascular Intelligent Medicine（湖南省心血管智能医学临床医学研究中心） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出模态隔离门控融合（MIGF）方法，通过独立编码流和门控阶段提升多模态前列腺MRI分割的鲁棒性，实验表明其在不同模态缺失和伪影情况下均有效。

Comments Major revision. Single-fold analysis replaced by 5-fold cross-validation (180 trained models) plus a direct gate-mechanism analysis; conclusions updated to show that modality gating is backbone-conditional. Supersedes v1

M$^3$Prune: Hierarchical Communication Graph Pruning for Efficient Multi-Modal Multi-Agent Retrieval-Augmented Generation

M$^3$Prune: 多模态多智能体分层通信图剪枝用于高效多模态多智能体检索增强生成

Weizi Shao, Taolin Zhang, Zijie Zhou, Chen Chen, Chengyu Wang, Xiaofeng He

机构 * East China Normal University（东华大学） ； Hefei University of Technology（合肥工业大学） ； China University of Petroleum（中国石油大学） ； Guangdong university of Finance & Economics（广东财经大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 M$^3$Prune通过分层通信图剪枝提升多模态多智能体检索增强生成的效率和性能。

Comments Critical flaw in Eq.(5)/Alg.1 (Sec 3.2): scoring fails Lipschitz continuity in multi-modal spaces, causing invalid hierarchy. Thus, latency/FLOPs in Tables 2&3 are overestimated & irreproducible. Core defect unfixable by minor update. Withdraw to avoid misleading; will revise theory & experiments

Improving Generalization Robustness of Multimodal RLVR

提升多模态RLVR的泛化鲁棒性

Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） ； University of California Berkeley（加州大学伯克利分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Renmin University of China（中国人民大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态RLVR泛化鲁棒性不足的问题，提出含动态三元奖励与一致性正则化器的PIRL方法，压力测试与动态评估中其性能下降幅度均小于GRPO。

Comments 32 pages, 5 figures

BUZZY: Contrastive Scoring to Mitigate Text-Induced Bias in Multimodal Multiple-Choice QA

当选择成为先验：用于科学图表多选问答的对比解码

Taeyun Roh, Suhyeong Park, Dongyoung Lee, Eunyeong Jo, Wonjune Jang, Junha Jung, Jaewoo Kang

机构 * Korea University（高丽大学） ； Konkuk University（建国大学） ； Myongji University（明知大学） ； AIGEN Sciences 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出SCICON方法，通过对比文本和图像信息，减少选择偏差，提升科学图表多选问答的准确性。

Text Steganography with Dynamic Codebook and Multimodal Large Language Model

基于动态代码本和多模态大语言模型的文本隐写术

Jianxin Gao, Ruohan Lei, Wanli Peng

机构 * China Agricultural University（中国农业大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于动态代码本和多模态大语言模型的文本隐写术，通过共享会话配置和多模态模型构建动态代码本，设计加密隐写映射并引入反馈优化机制，提升隐写术的安全性和实用性。