多模态大模型

Safe-Night VLA: Seeing the Unseen via Thermal-Perceptive Vision-Language-Action Models for Safety-Critical Manipulation

Safe-Night VLA: 通过热感知视觉-语言-动作模型看见未见事物以实现安全关键操作

Dian Yu, Qingchuan Zhou, Bingkun Huang, Majid Khadiv, Zewen Yang

机构 * Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)（慕尼黑机器人与机器智能研究所（MIRMI），技术大学慕尼黑（TUM）） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 Safe-Night VLA通过整合热感知技术，实现了安全关键操作中的非可见领域感知与稳健执行。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

Supporting Multimodal Data Interaction on Refreshable Tactile Displays: An Architecture to Combine Touch and Conversational AI

在可刷新触觉显示器上支持多模态数据交互：一种将触觉与对话式AI结合的架构

Samuel Reinders, Munazza Zaib, Matthew Butler, Bongshin Lee, Ingrid Zukerman, Lizhen Qu, Kim Marriott

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种结合触觉与对话式AI的架构，用于在可刷新触觉显示器上实现多模态数据交互，通过融合触觉输入与语音语言，提升视障人士的数据可视化体验。

Comments Accepted to be presented at IEEE PacificVis 2026; Best Paper Award (VisNotes track); Replacement: external DOI added

Conan-embedding-v3: Fusing Modality-Specific Models for Omni-Modal Embedding

Conan-embedding-v3: 融合模态特定模型实现全模态嵌入

Shiyu Li, Zhiyuan Hu, Yifan Wang, Peiming Li, Zheng Wei, Yang Tang

机构 * Tencent（腾讯） 纠错

专题命中 跨模态检索 ：omni-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI、cs.MM

AI总结 提出解耦-融合-恢复框架，通过独立训练模态专家并融合任务向量，再使用投影器恢复和平衡多模态重演解决投影器漂移问题，实现单一骨干网络支持文本、图像、视频、文档和音频检索。

Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings

超越思维链：重写作为生成式多模态嵌入的通用接口

Peixi Wu, Ke Mei, Feipeng Ma, Bosong Chai, Zhibin Lan, Chenxi Zhao, Shannan Yan, Jie Chen, Zhangchi Hu, Yansong Peng, Bo Lin, Junjie Zhou, Dacheng Yin, Tianyi Wang, Fengyun Rao, Jing Lyu, Hebei Li, Xiaoyan Sun

机构 * WeChat Vision, Tencent Inc.（腾讯微信视觉部） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对思维链推理在检索中产生冗余和语义歧义的问题，提出重写驱动的多模态嵌入框架RIME，联合优化生成与嵌入，并通过跨模态对齐和精炼强化学习实现高效准确的检索。

Comments Accepted by ACMMM 2026

DualHNIE: Dual-Channel Hypergraph Learning for Node Importance Estimation in Heterogeneous Knowledge Graphs

MetaHGNIE：异构知识图谱中的元路径诱导超图对比学习

Jiawen Chen, Yanyan He, Qi Shao, Mengli Wei, Duxin Chen, Wenwu Yu, Yanlong Zhao

机构 * Jiangsu Key Laboratory of Networked Collective Intelligence, School of Mathematics, Southeast University（江苏网络集体智能重点实验室，数学学院，东南大学） ； Jiangsu Key Laboratory of Networked Collective Intelligence, School of Cyber Science and Engineering, Southeast University（江苏网络集体智能重点实验室，网络科学与工程学院，东南大学） ； State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, University of Chinese Academy of Sciences（数学科学国家重点实验室，数学与系统科学研究院，中国科学院大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究异构知识图谱中节点重要性估计问题，提出DualHNIE框架，通过构建高阶知识图谱、引入互补编码器及对比对齐机制进行显式高阶建模和解缠双通道表示学习，实验验证其优于现有方法。

Comments Accepted by IEEE Transactions on Artificial Intelligence

When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge?

当模型遗忘遇上检索增强生成（RAG）：保守秘密还是遗忘知识？

Shang Wang, Tianqing Zhu, Dayong Ye, Wanlei Zhou

机构 * School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 研究大语言模型训练中敏感信息保留问题，提出基于检索增强生成（RAG）技术的轻量级行为遗忘框架，通过修改外部知识库模拟遗忘，经实验验证该方法符合五个关键遗忘标准，还可扩展到多模态模型和智能体。

Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

LaViDa：用于多模态理解的大型扩散语言模型

Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

机构 * UCLA（加州大学洛杉矶分校） ； Panasonic AI Research（松下人工智能研究） ； Adobe Research（Adobe研究） ； Salesforce Research（Salesforce研究） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 研究针对现有视觉语言模型在快速推理和可控生成方面的不足，提出基于离散扩散模型构建 LaViDa 系列视觉语言模型，采用多种新技术，在多模态基准测试中性能出色，成为自回归视觉语言模型的有力替代。

Comments 26 pages, 8 figures

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

稀疏-LaViDa：稀疏多模态离散扩散语言模型

Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对掩码离散扩散模型推理速度慢的问题，提出Sparse-LaViDa框架，通过动态截断冗余掩码令牌加速采样，引入专用寄存器令牌和注意力掩码保证质量与一致性，基于LaViDa - O构建，在多任务中实现加速且保持质量。

Comments 18 pages (12 pages for the main paper and 6 pages for the appendix), 9 figures

Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation

Lavida-O：用于统一多模态理解与生成的弹性大掩码扩散模型

Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究提出Lavida-O统一多模态MDM，采用Elastic-MoT架构，结合轻量级生成与理解分支，通过多种技术支持高效生成。该模型在多模态任务基准测试中性能领先，优于现有模型，还能加速推理，成为可扩展多模态推理和生成新范式。

Comments 31 pages, 15 figures

MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

MedRealMM：用于中国在线医疗咨询的真实世界多模态基准测试

Runhan Shi, Quan Zhou, Yuqian Xu, Shuai Yang, Xin Wu, Zitong Zhou, Hui Liu, Bin Zha, Zheming Wang, Liya Li, Wei Wei, Jinru Ding, Wenrao Pang, Mouxiao Bian, Haoyuan Hu, Jun Xu, Jie Xu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对现有在线医疗咨询基准与实际临床实践契合度差的问题，构建MedRealMM基准测试，用多模态临床挑战点提取框架转化任务并设评分标准，评估多个大语言模型，指出图像信息重要，前沿模型有不足，为多模态医学推理评估提供现实可重复基准。

Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space

超越医学诊断：医学多模态大语言模型如何在空间中思考

Quoc-Huy Trinh, Xi Ding, Yang Liu, Zhenyue Qin, Xingjian Li, Gorkem Durak, Halil Ertugrul Aktas, Andrea M. Bejar, Ulas Bagci, Min Xu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SpatialMed基准，通过自主合成空间视觉问答数据评估医学MLLMs的3D空间智能，发现现有模型在医学影像空间推理能力不足。

Flow Matching in Feature Space for Stochastic World Modeling

特征空间中的流匹配用于随机世界建模

Francois Porcher, Nicolas Carion, Karteek Alahari, Shizhe Chen

机构 * FAIR at Meta（Meta的FAIR） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FlowWM，在预训练特征空间中直接进行流匹配，通过可微一步投影机制实现高效训练，在合成和真实基准上提升感知性能、模式覆盖和时域鲁棒性。

Comments 24 pages, 18 figures, 6 tables

VAN-AD: Visual Masked Autoencoder with Normalizing Flow For Time Series Anomaly Detection

VAN-AD：基于归一化流的视觉掩码自编码器用于时间序列异常检测

PengYu Chen, Shang Wan, Xiaohou Shi, Yuan Chang, Yan Sun, Sajal K. Das

机构 * School of Computer Science (National Pilot Software Engineering School)（计算机学院（国家级试点软件工程学院）） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； China Telecom Research Institute Beijing（中国电信研究院北京） ； Department of Computer Science, Missouri University of Science and Technology（计算机科学系，密苏里科技大学） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VAN-AD，通过归一化流模块和自适应分布映射模块改进视觉掩码自编码器，提升时间序列异常检测的泛化能力和局部感知能力。

Comments 15 pages, 7 figures

Building Agent Harnesses for Scientific Curation from Multimodal Sources

构建用于多模态来源科学数据提取的智能体框架

Sheng Zhang, Qin Liu, Renqian Luo, Shufang Xie, Reuben Tan, Sean Hayes, Gregory Bryman, Wendong Ge, Ruilian Zhang, Oluwaseun Egbelowo, Kelly Yee, Hoifung Poon

机构 * Microsoft Research（微软研究院） ； University of California, Davis（加州大学戴维斯分校） ； Merck & Co., Inc., Rahway, NJ, USA（默克公司（美国新泽西州拉威）） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出Beaver框架，通过任务分解、多模态证据工具和可追溯性，将科学文献中的结构化信息提取转化为可审计的工作流，在GRAS指标上比前沿智能体提升23个绝对百分点。

MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation

MAG：用于多模态动作与引导生成的网络智能体基准测试与工具包

Chengguang Gan, Hanjun Wei, Yunhao Liang, Zhixi Cai, Qinghao Zhang, Shiwen Ni

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Monash University（莫纳什大学） ； Pusan National University（釜山国立大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 介绍MAG这一网络智能体基准测试，统一任务执行与引导写作，有基于截图的定位方案和完整工具包。用其评估模型并详细分析，还设计GRPO训练方法，提升智能体成功率与引导质量，指出当前模型任务完成率低，为后续研究提供方向。

Comments 8 pages main text, 21 pages total including appendices; 11 figures, 7 tables, 2 algorithms. Benchmark, harness, and model checkpoints to be released

ArogyaSutra: A Multi-Agent Framework for Multimodal Medical Reasoning in Indic Languages

ArogyaSutra：面向印度语言的多模态医学推理的多智能体框架

Tanmoy Kanti Halder, Akash Ghosh, Subhadip Baidya, Arijit Roy, Sriparna Saha

机构 * Indian Institute of Technology Patna（印度理工学院巴特那分校） ； Indian Institute of Technology Kanpur（印度理工学院坎普尔分校） ； Prasannadeb Women’s College（普拉萨纳德布女子学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对印度语言医疗场景中多模态大语言模型性能不足的问题，提出多模态医学问答数据集ArogyaBodha和基于演员-评论家的多智能体框架ArogyaSutra，通过工具接地与双记忆机制提升多语言医学推理准确性。

Comments Accepted for publication in IJCAI,2026

Governing Generative AI Across Financial Institutions: A Framework for Generative AI Risk Control

跨金融机构治理生成式AI：符合SR 26-2要求的生成式AI风险控制框架

Dennis Mao, Alessandra Lin, Yixin Kang, Yiqing Wang

机构 * Citigroup（摩根大通） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对SR 26-2未覆盖生成式AI的治理难题，本文提出兼容该监管规则的GAICF框架，将模型风险管理原则转化为分层控制结构，助力金融机构合规管控生成式AI应用。

AnyStyle: Single-Pass Multimodal Stylization for 3D Gaussian Splatting

AnyStyle: 单次传递多模态风格化用于3D高斯点云

Joanna Kaleta, Bartosz Świrta, Kacper Kania, Tomasz Trzciński, Przemysław Spurek, Marek Kowalski

机构 * Warsaw University of Technology（华沙技术大学） ； Sano Centre for Computational Medicine（Sano计算医学中心） ； Jagiellonian University（雅盖隆大学） ； Microsoft（微软公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 AnyStyle通过多模态条件化实现姿态无关的零样本风格化，支持文本和视觉输入，提升3D重建的风格可控性。

CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

CF-Net：用于矛盾/犹豫识别的具有说话者归一化和确定性加权的冲突融合

Tung Hung Bui, Hong Hai Nguyen, Van Thong Huynh

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对无约束视频中矛盾和犹豫检测的挑战，提出CF-Net，用特定主干编码多模态流，经归一化和冲突融合模块处理，结合多种训练方法，在相关数据集上取得了较好成绩。

Comments 6 pages, 3 figures, 3 tables, 26 references

Prospective clinical indication, post-hoc report leakage, and fusion design in multi-image chest radiograph classification: a patient-clustered evaluation

多图像胸部X光片分类中的前瞻性临床指征、事后报告泄露和融合设计：患者聚类评估

Kamran Shahid, Muhammad Munwar Iqbal

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 研究多图像胸部X光片分类，用多种模型比较，含仅图像、仅指征等。评估不同模型在多指标下表现，发现前瞻性指征与报告目标关联大，排列感知融合有竞争力，事后报告文本存在问题，如造成报告标签循环等。

Comments 12 pages, 7 figures, 5 tables

LPCAN: Lightweight Pyramid Cross-Attention Network for Rail Surface Defect Detection Using RGB-D Data

LPCAN：用于使用RGB-D数据进行铁路表面缺陷检测的轻量级金字塔交叉注意力网络

Jackie Alex, Guoqiang Huan

机构 * St. Petersburg College（斯波伯学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对铁路表面缺陷检测方法局限，提出LPCANet，利用RGB-D数据，集成MobileNetv2等模块，经多模态融合与结构分析提升性能。在多数据集上评估效果显著，消融研究验证关键模块作用，为工业缺陷检测提供实用框架，未来将聚焦模型压缩。

Comments arXiv admin note: This paper has been withdrawn by arXiv due to unverifiable authorship and affiliation

Toward Robust In-Context Segmentation via Concept Guidance

通过概念引导实现鲁棒的上下文分割

Zhigang Chen, Xiawu Zheng, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） 纠错

专题命中 其他多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出概念引导的上下文分割（CG-ICS），通过提取参考图像的高层语义概念而非仅依赖低层视觉匹配，结合文本概念与视觉示例，显著提升分割准确性和鲁棒性。

Comments ECCV 2026