多模态大模型

AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning

AlphaWiSE：用于连续多模态表示学习的自适应权重插值

Sarthak Jain, Qiran Hu, Zhen Zhu, Yaoyao Liu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 研究连续多模态表示学习中跨模态对齐被破坏的问题，提出AlphaWiSE方法，通过事后权重空间插值，由两个冻结源检查点拟合系数实现插值检查点，在多模态检索实验中相比基线有持续改进。

Conan-embedding-v3: Fusing Modality-Specific Models for Omni-Modal Embedding

Conan-embedding-v3: 融合模态特定模型实现全模态嵌入

Shiyu Li, Zhiyuan Hu, Yifan Wang, Peiming Li, Zheng Wei, Yang Tang

机构 * Tencent（腾讯） 纠错

专题命中 跨模态检索 ：omni-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI、cs.MM

AI总结 提出解耦-融合-恢复框架，通过独立训练模态专家并融合任务向量，再使用投影器恢复和平衡多模态重演解决投影器漂移问题，实现单一骨干网络支持文本、图像、视频、文档和音频检索。

A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi

在6GB 2011 GPU上的现代多模态助手：针对费米架构的阶段验证、全GPU CUDA推理

A. C. Opus, J. Q. Lu

机构 * Department of Physics, University of Puerto Rico（物理系，波多黎各大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究在6GB 2011费米GPU上部署MiniCPM-V-4.6多模态助手，通过构建全GPU引擎、移植验证视觉部分、优化长上下文处理等方法，实现了高效的推理，能在1.7秒内端到端回答图像问题。

Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings

超越思维链：重写作为生成式多模态嵌入的通用接口

Peixi Wu, Ke Mei, Feipeng Ma, Bosong Chai, Zhibin Lan, Chenxi Zhao, Shannan Yan, Jie Chen, Zhangchi Hu, Yansong Peng, Bo Lin, Junjie Zhou, Dacheng Yin, Tianyi Wang, Fengyun Rao, Jing Lyu, Hebei Li, Xiaoyan Sun

机构 * WeChat Vision, Tencent Inc.（腾讯微信视觉部） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对思维链推理在检索中产生冗余和语义歧义的问题，提出重写驱动的多模态嵌入框架RIME，联合优化生成与嵌入，并通过跨模态对齐和精炼强化学习实现高效准确的检索。

Comments Accepted by ACMMM 2026

Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging

用于减轻 3D 医学成像中假阴性的多模态语义感知对比学习

Sara Ketabi, Matthias W. Wagner, Cynthia Hawkins, Uri Tabori, Birgit Betina Ertl-Wagner, Farzad Khalvati

机构 * University of Toronto（多伦多大学） ； The Hospital for Sick Children（病童医院） ； Vector Institute（向量研究所） ； University Hospital Augsburg（奥格斯堡大学医院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对3D医学成像中假阴性问题，提出多模态语义感知对比学习框架MseaCL，通过纳入放射学报告语义相似性作指导信号，经实验验证该框架用于预训练可提升下游任务表现，如儿科脑肿瘤分子分类AUC至少增22.6%。

MonteRET: AI Agent Enhancing Multimodal LLMs with Multi-granularity Knowledge Retrieval for Chest CT Report Generation

MonteRET：通过多粒度知识检索增强多模态大语言模型以生成胸部CT报告的人工智能代理

Yi Lin, Yihao Ding, Elana Benishay, Elefterios Trikantzopoulos, David Nauheim, Hanley Ong, Jiang Bian, Hua Xu, Yuzhe Yang, George Shih, Yifan Peng

机构 * Weill Cornell Medicine（威尔康乃尔医学院） ； University of Western Australia（西澳大利亚大学） ； Indiana University（印第安纳大学） ； Regenstrief Institute（瑞根斯特里夫研究所） ； Yale University（耶鲁大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 研究针对自动生成胸部CT报告的挑战，提出MonteRET框架，它整合多种特征，通过知识检索和报告重写代理完善报告。经训练和评估，该框架在多方面提升了报告质量，相比其他方法有显著优势，获放射科住院医师青睐。

DualHNIE: Dual-Channel Hypergraph Learning for Node Importance Estimation in Heterogeneous Knowledge Graphs

MetaHGNIE：异构知识图谱中的元路径诱导超图对比学习

Jiawen Chen, Yanyan He, Qi Shao, Mengli Wei, Duxin Chen, Wenwu Yu, Yanlong Zhao

机构 * Jiangsu Key Laboratory of Networked Collective Intelligence, School of Mathematics, Southeast University（江苏网络集体智能重点实验室，数学学院，东南大学） ； Jiangsu Key Laboratory of Networked Collective Intelligence, School of Cyber Science and Engineering, Southeast University（江苏网络集体智能重点实验室，网络科学与工程学院，东南大学） ； State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, University of Chinese Academy of Sciences（数学科学国家重点实验室，数学与系统科学研究院，中国科学院大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究异构知识图谱中节点重要性估计问题，提出DualHNIE框架，通过构建高阶知识图谱、引入互补编码器及对比对齐机制进行显式高阶建模和解缠双通道表示学习，实验验证其优于现有方法。

Comments Accepted by IEEE Transactions on Artificial Intelligence

DialogueVPR: Towards Conversational Visual Place Recognition

DialogueVPR：迈向对话式视觉场所识别

Yukun Song, Changwei Wang, Xingtian Pei, Shibiao Xu, Wenhao Xu, Shunpeng Chen, Yu Zhang, Ke Zhang, Rongtao Xu, Xuxiang Feng, Pengyang Wang

机构 * School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Shandong Computer Science Center, Qilu University of Technology（山东省计算中心（国家超级计算济南中心），齐鲁工业大学） ； Macquarie University（麦考瑞大学） ； Spatialtemporal AI（时空人工智能公司） ； University of Macau（澳门大学） ； Aerospace Information Research Institute（航天信息研究所） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对语言引导地理定位中现有方法不足，提出DlgPR，将场所识别转为对话驱动推理过程。构建DlgQuest-Cities基准及统一推理框架，用课程训练DQ-pilot，通过特定指标指导学习并实验，该方法显著优于基线。

Comments Accepted to CVPR 2026

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

基于多级智能数据管理的自动硬示例合成

Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。

Comments 23 pages; work in progress

When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge?

当模型遗忘遇上检索增强生成（RAG）：保守秘密还是遗忘知识？

Shang Wang, Tianqing Zhu, Dayong Ye, Wanlei Zhou

机构 * School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 研究大语言模型训练中敏感信息保留问题，提出基于检索增强生成（RAG）技术的轻量级行为遗忘框架，通过修改外部知识库模拟遗忘，经实验验证该方法符合五个关键遗忘标准，还可扩展到多模态模型和智能体。

Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}