多模态大模型

A report-grounded vision-language foundation model for colonoscopy from 280000 routine reports

基于28万份常规报告的肠镜报告驱动的视觉-语言基础模型

Jia Yu, Yan Zhu, Yili He, Zilong Wang, Xinyang Jiang, Peiyao Fu, Ruijie Yang, Tianyi Chen, Siyuan Li, Zhihua Wang, Fei Wu, Quanlin Li, Xian Yang, Pinghong Zhou, Shuo Wang

机构 * Digital Medical Research Center, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院数字医学研究中心） ； Shanghai Collaborative Innovation Center of Endoscopy（上海内镜诊疗协同创新中心） ； Zhejiang University（浙江大学） ； Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院） ； Alliance Manchester Business School, The University of Manchester（曼彻斯特大学联盟曼彻斯特商学院） ； Data Science Institute, Imperial College London（伦敦帝国理工学院数据科学研究所） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.AI

AI总结 该研究开发了肠镜视觉-语言基础模型EndoCLIP，利用28万份常规肠镜记录恢复的图像-文本对训练，在多项任务中优于通用模型，良恶性分类性能接近专家，可实现临床目标的语言指定。

Scaling Vision-Language Models Is Not Enough to Mitigate Bias

扩大视觉-语言模型规模不足以缓解偏见

Ioannis Sarridis, Ioannis Kompatsiaris, Symeon Papadopoulos

机构 * Information Technologies Institute, CERTH（CERTH信息技术研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究通过对194个视觉-语言模型的大规模实证分析，发现扩大模型规模无法缓解偏见，训练数据属性对偏见鲁棒性更关键，架构选择效果依赖基准特性。

A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

跨架构视觉语言模型中基于方向的推理时防御措施审计

Xiangyu Yin, Tora Bodin, Rohan Menon, Chih-Hong Cheng

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究审计了视觉语言模型中5种基于方向的推理时防御，发现其性能具架构特异性，部分防御间几何重叠，需按解码器家族单独校准。

Face and Voice Cross-modal Association with Learning Convex Feature Embedding

基于凸特征嵌入学习的人脸与声音跨模态关联

Taewan Kim, Jiwoo Kang

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出结合跨模态注意力机制的凸特征嵌入方法，解决人脸与声音跨模态关联中的特征异质性问题，在VoxCeleb数据集的相关任务上较现有方法有显著提升。

Journal ref Multimedia Systems, vol. 31, no. 4, pp. 296, July 2025

Digital Harf: A Clinically Integrated Multimodal AI System for Pervasive Arabic Speech and Language Therapy

Digital Harf：用于普及型阿拉伯语言语和语言治疗的临床整合多模态AI系统

Asif Azad, Mohammad Sadat Hossain, MD Sadik Hossain Shanto, Sabri Boughorbel, Abdulrhman Aljouie, Bdour Alwuqaysi, Yahya Bokhari, Ayah Othman Sindi, Ehsan Hoque

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 Digital Harf是专为阿拉伯语自闭症儿童设计的多模态AI治疗平台，其核心Agentic合成数据引擎解决阿拉伯语治疗内容短缺问题，获专家高接受率，为代表性语言环境构建AI治疗系统提供了思路。

WeSep: A Modular and Cue-Composable Framework for Target Speaker Extraction

WeSep：面向目标说话人提取的模块化与线索可组合框架

Ke Zhang, Xiaoyang Yu, Haoyu Li, Shuai Wang, Shuhan Zhang, Haizhou Li

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 WeSep是将目标说话人提取重新表述为异质线索条件学习问题的统一框架，通过模块化设计提升灵活性，多模态实验验证其稳定性，工具包将公开。

Comments 6 pages, accepted by Interspeech 2026

HyperClaim: Fine-Grained Cross-Modal Hypergraph Reasoning for Video Misinformation Detection

HyperClaim：用于视频虚假信息检测的细粒度跨模态超图推理

Xiangbo Wang, Jiasheng Zhang, Xingtong Yu, Luoqiang Lei, Delvin Ce Zhang

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 HyperClaim是一种用于视频虚假信息检测的判别式时间超图框架，通过细粒度跨模态超图推理，在FactGuard协议下的三个数据集上准确率优于基线方法。

Comments 13 pages, including supplementary material

Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding

超越帧选择：用于长视频理解的生成式潜在证据聚合

Bowen Liu, Shuning Wang, Xinpeng Ding, Zhiheng Wu, Bodong Du, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Baidu Inc.（百度公司） ； Alibaba Group（阿里巴巴集团） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对长视频理解的帧选择局限，提出GenEvA框架，通过查询条件化分布聚合跨帧潜在证据，在四个基准和两个视频多模态大语言模型主干上显著提升性能且开销极低。

Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights

神经网络中的隐状态：从模型权重中恢复漂移数据的时间结构

Kevin Guan

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过对连续时间窗口分类器的对齐权重轨迹拟合HMM，从模型权重中恢复离散状态，在Fakeddit和Yelp数据集上验证了状态内迁移优势，且该优势与数据分布外的迁移结构相关。

FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval

FiRE：利用细粒度上下文学习增强多模态大语言模型（MLLMs）以实现复杂图像检索

Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, Xiangyu Zhao

机构 * Shandong University（山东大学） ； City University of Hong Kong（香港城市大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract,abstract_cn)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究针对MLLMs在复杂图像检索任务中细粒度建模不足的问题，提出自动化细粒度多模态五元组数据集构建流程与两阶段微调策略，在零样本设置下于五个数据集上取得优于现有方法的性能。

Journal ref Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2025)

DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation

DualG-MRAG：面向多模态检索增强生成的宏观推理与微观匹配解耦框架

Jiacheng Tao, Qingyun Sun, Haonan Yuan, Ziwei Zhang, Jianxin Li

机构 * Beihang University（北京航空航天大学） ； SKLCCSE 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态RAG在复杂多跳推理中存在的问题，本文提出DualG-MRAG框架，通过解耦宏观推理与微观匹配抑制检索噪声，经实验验证其在证据召回和问答准确率上优于基线。

Comments Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026). 12 pages

RRM: Experience-Driven Reflective Retrieval Memory for Long-Horizon Multimodal Reasoning

RRM：用于长周期多模态推理的经验驱动反思式检索记忆

Jingxiang Fan, Junbao Zhuo, Bochao Zou

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对现有多模态长期智能体检索机制不足的问题，提出RRM框架，通过反思式经验记忆提炼跨任务检索策略，在多个多模态推理数据集上取得优于现有方法的性能。

CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography

CXR-Retrieve：胸部X线摄影中的组合式文本到图像检索

Tomer Erez, Moshe Kimhi, Chaim Baskin, Ehud Rivlin

机构 * Technion – Israel Institute of Technology（以色列理工学院） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

AI总结 针对胸部X线检索的目标不匹配问题，提出CXR-Retrieve基准与标签感知对比微调方法，在双病理组合和否定查询的Precision@5上较CXR-CLIP分别提升8.5和22.0个百分点。

Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning

面向设备内上下文学习的无梯度任务条件检索

Xinyu Luo, Hui Liu, Yihua Shao, Junyi Yang, Arindam Basu, Haoliang Li

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究提出无梯度框架CoRA，实现设备内任务条件检索，无需检索器微调等操作，在多数据集及树莓派5部署中展现有效性。

Comments Under review

IndustryForge-27B: A Domain-Enhanced Multimodal Foundation Model for Industrial CAD

IndustryForge-27B：面向工业CAD的领域增强多模态基础模型

Nianchen Deng, Jiaxin Ai, Tao Hu, Shu Zou, Yurui Dong, Siqi Li, Xinyu Cai, Xuemeng Yang, Licheng Wen, Hongbin Zhou, Hairong Zhang, Pinlong Cai, Botian Shi

专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.AI

AI总结 该研究构建基于Qwen3.5-VL-27B的IndustryForge-27B多模态基础模型，整合6个工业CAD子语料库训练，在CAD基准测试中性能远超基础模型与GPT-5.4，可作为工业智能体的通用基础。

Comments 14 pages

RefineSVG: Visual Feedback-Driven Reinforcement Learning for Image-to-SVG Generation

RefineSVG：视觉反馈驱动的图像转SVG生成强化学习

Shaobo Liu, Feiqiao Mao, Shuaishuai Zhou, Yan Zhan, Weiqi Tan, Zhiqiong Lu, Zhengping Liang

机构 * Shenzhen University（深圳大学） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 RefineSVG是一种视觉反馈驱动的闭环框架，通过引入SVG语义词汇表和渐进式训练，使MLLM实现高保真图像转SVG生成，性能优于现有基线。

Comments 17 pages, 5 main-paper figures. Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026). Includes the complete supplementary material

Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers

Chimera：设计与遵循Chinchilla缩放规律的混合视觉扩散Transformer

Chongjian Ge, Hanwen Jiang, Tianyu Wang, Jiuxiang Gu, Yiran Xu, Ziwen Chen, Shaoteng Liu, Jing Shi, Yicong Hong, Zefan Cai, Hailin Jin, Hao Tan

机构 * Adobe Research（奥多比研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 Chimera是一款混合视觉扩散骨干网络，结合KDA、MLA等模块与HeteroP缩放方案，训练出11B参数（2B激活）的模型，在计算效率、视频泛化等方面优于基线，为长上下文扩散架构设计提供基础。

Comments 40 pages

Thinking Once Is Enough: Intermediate-Layer Evidence Routing for High-Resolution VQA

一次思考足矣：面向高分辨率视觉问答的中间层证据路由

Zhongkuan Mao, Xianjie Liu, Tianyu Meng, Yidong Wang, Wenzhuo Zhao, Ronghao Xian, Yao Jiang, Fei Shen, Junfeng Fang, Yong Dai, Yi Zhang, Keren Fu

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对高分辨率视觉问答提出无需训练的Thinking-Once证据路由方法，通过利用中间层留存的细粒度证据，在多个基准上提升性能并降低内存与推理时间。

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

从未来回溯：基于反事实惊奇的键值缓存管理

Stephen Gould, Anton van den Hengel

机构 * Metacognition AI（元认知人工智能） ； Australian National University（澳大利亚国立大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 该研究针对LLM的KV缓存内存占用问题，提出基于反事实惊奇的KV驱逐方案及快速单层近似方法，在基准测试中性能优于或可与现有最优方法竞争。

Comments 17 pages, 5 figures

Context-Informed Ship Trajectory Prediction via Conditional Attention

基于条件注意力的上下文感知船舶轨迹预测

Yuan Guan, Chandler Squires, Timothy Hu, Pradeep Ravikumar

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Advanced Technology Laboratories Lockheed Martin（洛克希德·马丁公司先进技术实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 该研究提出Conditional Informer架构，通过条件注意力机制编码船舶与环境的物理依赖，结合Modality Masking策略，在AIS与ERA5数据上提升了船舶轨迹预测准确率并降低了传感器故障时的误差。

Comments Accepted for publication at the 2026 29th International Conference on Information Fusion (IEEE FUSION)

Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers

证据见证组合：针对闭集多模态答案的单预填充风险检测

Fexiang Liu, Shiye Wang, Qiang Qiu, Zheng Wang

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV

AI总结 该研究提出WEP方法，利用MLLM的白盒预填充路径，无需额外操作即可检测闭集视觉答案的推理风险，在3个MLLM和4个基准上提升了平均错误AP。

Comments 22 pages, 6 figures; includes supplementary material. Code: https://github.com/SouthWinter/WEP

PathView-Bench: Can Multimodal Large Language Models Achieve Fine-grained Multiscale Understanding of Pathology Images?

PathView-Bench：多模态大语言模型能否实现病理图像的细粒度多尺度理解？

Zongyi Chen, Yu Liang, Jie Lin, Liansheng Wang

机构 * National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康与医学数据科学国家研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对现有病理多模态基准的不足，推出PathVU基准，评估发现主流MLLMs在多尺度病理图像细粒度视觉任务上存在显著局限，为相关模型的开发评估提供了可复现基础。

Theia: Large-Scale Multimodal Captioning and Automated Validation of the Incidents1M Dataset for Data-Free Distillation

Theia：用于无数据蒸馏的Incidents1M数据集的大规模多模态字幕生成与自动验证

Simone Giano, Lorenzo Severini, Alessandro Galdelli, Adriano Mancini

机构 * Università Politecnica delle Marche（马尔凯理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本研究针对灾害领域多模态数据集的缺陷，提出方法构建并自动验证Incidents1M数据集，生成高保真字幕，其语义一致性达78.65/100，为跨模态知识蒸馏提供了可扩展框架。

PanDent: Toward Comprehensive Tooth-Level Structure-Language Consistency in Dental Radiology

PanDent：面向牙科放射学中全面的牙级结构-语言一致性

Xiaohan Li, Xinyu Liu, Chang Liu, Sum Wing Au Yeung, Jun Liu, Yixuan Yuan, Hui Chen

机构 * Faculty of Dentistry, The University of Hong Kong（香港大学牙医学院） ； Imperial College London（帝国理工学院） ； University of Science and Technology of China（中国科学技术大学） ； Department of Data and Systems Engineering, The University of Hong Kong（香港大学数据与系统工程系） ； Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本研究推出PanDent牙科OPG基准，经实验发现现有MLLM生成的牙科报告流畅但临床一致性差，在PanDent上微调可提升其结构-语言一致性，该基准可用于评估MLLM的牙级临床推理能力。

AHA-Memes: A Fine-Grained Multimodal Benchmark for Understanding Hate in Arabic Memes

AHA-Memes：用于理解阿拉伯语表情包中仇恨内容的细粒度多模态基准

Mohamed Bayan Kmainasi, Ali Ezzat Shahroor, Abul Hasnat, Md. Rafiul Biswas, Wajdi Zaghouani, Firoj Alam

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） ； Northwestern University in Qatar（卡塔尔西北大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出首个带细粒度多标签标注的阿拉伯语仇恨表情包基准AHA-Memes，构建含5000张人工标注及6.6万张银标的数据集，对多类模型基准测试并发布资源以推动相关研究。

Comments 26 pages, 14 figures, 15 tables

Shared Semantic Codebook Distillation for Unpaired Cross-Modal Medical Classification

用于非配对跨模态医学分类的共享语义码本蒸馏

Dillan Imans, Phuoc-Nguyen Bui, Duc-Tai Le, Hyunseung Choo

机构 * Sungkyunkwan University（成均馆大学） ； Convergence Research Institute, Sungkyunkwan University（成均馆大学融合研究院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对非配对跨模态医学分类的挑战，提出SSCD方法，通过共享语义码本转移知识，在两个医学分类任务中提升学生模型性能，优于各基线方法

Comments 16 pages, 2 figures, 4 tables

SKY-Piano: A Multimodal Piano Performance Dataset

SKY-Piano：多模态钢琴演奏数据集

Joonhyung Bae, Dawon Park, Taegyun Kwon, Yoon-Seok Choi, Hyeon Hur, Satoshi Obata, Shigeru Kai, Yohei Wada, Yu Takahashi, Akira Maezawa, Jaebum Park, Jonghwa Park, Juhan Nam

机构 * Seoul National University（首尔大学） ； KAIST（韩国科学技术院） ； Yamaha（雅马哈） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.MM

AI总结 该研究发布SKY-Piano多模态钢琴演奏数据集，含多类数据及标注工具，通过微调实验验证其用于MIDI到动作生成的可用性。

Comments Accepted to the 27th International Society for Music Information Retrieval Conference (ISMIR 2026), Abu Dhabi, UAE. Project page: https://joonhyungbae.github.io/skypiano/

Benchmarking Foundation and Large Language Models for Few-Shot Medical Image Segmentation

基准测试用于小样本医学图像分割的基础模型与大语言模型

Jinghong Liu, Yuchuan Deng, Fanping Liu, Meng Huang, Xirong Li

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究推出统一基准FAME，涵盖四类模型，含14958个样本，评估得出小样本分割的关键规律，助力开发更有效的小样本医学分割方法。

MMHBench: A Multi-Perspective Benchmark for Mental Health Understanding in Long-Form Videos

MMHBench：用于长视频心理健康理解的多视角基准测试集

Jinpeng Hu, Erqiang Wang, Shan Wang, Zhuo Li, Peipei Song, Xun Yang, Meng Wang

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MMHBench多视角心理健康理解基准，含268个长视频与2184条问题，采用MAQG框架生成问题，评估22个多模态大语言模型后发现该任务仍具挑战性。

Large scale cross-regional remote sensing flood monitoring framework for operative mapping and impact analysis

面向操作制图与影响分析的大规模跨区域遥感洪水监测框架

Ilya Novikov, Svetlana Illarionova, Ruslan Dzharkinov, Maria Smirnova, Ayrat Abdullin, Anna Korotkova, Mariia Ulianova, Dmitrii Shadrin, Evgeny Burnaev

机构 * Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所） ； Trofimuk Institute of Petroleum Geology and Geophysics SB RAS（俄罗斯科学院西伯利亚分院特罗菲穆克石油天然气地质与地球物理研究所） ； King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学） ； Tyumen Industrial University（秋明工业大学） ； Huawei Russian Research Institute（华为俄罗斯研究院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出端到端多模态洪水监测框架，对比U-Net++与AnySat两种水面检测策略，结合多模态卫星数据估算洪水影响，在2019年图伦洪水监测中表现良好，为跨区域大规模洪水监测提供可行方案。

Comments 37 pages, 11 figures, 9 tables. Preprint submitted to Earth Systems and Environment. This version has not been peer reviewed