多模态大模型

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

用于流式航空视频中小目标理解的内存增强多模态大语言模型

Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Freiburg（弗莱堡大学） ； Hangzhou City University（杭州城市大学） ； XGRIDS（XGRIDS公司） ； Fudan University（复旦大学） ； Hong Kong Baptist University（香港浸会大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对流式航空视频中小目标理解难题，提出像素级开放词汇数据集DroneEyes，以及含语义感知令牌路由器和分层内存库的多模态大语言模型SkyAnchor，从数据和方法角度应对挑战。

Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation

多模态智能体搜索中的无声故障：一种诊断分类法与跨评判者评估

Zhengxian Wu, Junjie Gao, Kai Yang

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态智能体搜索中无声故障这一隐藏可靠性问题，引入六类分类法，构建轨迹级诊断管道，通过实验表明表面准确性高估真实正确性，且无声故障与能力相关、常转移。

Journal ref SIGIR 2026 SynthIR Workshop

Generative Semantic Multi-Object Tracking: A Large-Scale Benchmark and an MLLM-Driven Reasoning Framework

生成式语义多目标跟踪：大规模基准和基于大型语言模型的推理框架

Pan Liao, Feng Yang, Di Wu, Jinwen Yu, Wang Zhao, Dingwen Zhang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究将语义多目标跟踪从刚性分类提升为开放式生成推理任务，引入Grand-SMOT基准，提出LLMTrack框架，通过时空融合模块压缩轨迹为语义令牌，提升了生成语义推理能力。

MV-Bench: Benchmarking Multimodal Large Language Models for Coordinated Multi-View Interface Construction

MV-Bench：用于协同多视图界面构建的多模态大语言模型基准测试

Yue Zhao, Hongxu Liu, Feiyu Wang, Xiaoyu Yang, Tong Ge, Zhen Yang, Chao Wang, Qiong Zeng

机构 * Shandong Second Medical University（山东第二医科大学） ； Shandong University（山东大学） ； Bairong Inc.（百融云创科技股份有限公司） ； Ke Holdings Inc.（贝壳控股有限公司） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； Shandong Provincial Key Laboratory of Computing-Network Integration, Shandong University（山东大学计算网络融合技术山东省重点实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在协同多视图界面构建评估不足的问题，引入MV-Bench基准，通过多阶段管道转换规范为界面，评估五个模型，发现当前MLLMs虽能再现视觉外观，但在数据语义和交互逻辑生成上有限，迭代改进效果不佳。

Comments Submitted to IEEE VIS 2026

Toward a Vision-Language Foundation Model for Medical Data: Multimodal Dataset and Benchmarks for Vietnamese PET/CT Report Generation

迈向医学数据的视觉-语言基础模型：越南语PET/CT报告生成的多模态数据集和基准

Huu Tien Nguyen, Dac Thai Nguyen, The Minh Duc Nguyen, Trung Thanh Nguyen, Thao Nguyen Truong, Huy Hieu Pham, Johan Barthelemy, Minh Quan Tran, Thanh Tam Nguyen, Quoc Viet Hung Nguyen, Quynh Anh Chau, Hong Son Mai, Thanh Trung Nguyen, Phi Le Nguyen

机构 * AI4LIFE, Hanoi University of Science and Technology, Vietnam（AI4LIFE，河内科学技术大学，越南） ； Nagoya University, Japan（名古屋大学，日本） ； AIST, Japan（日本国家先进工业技术研究院） ； VinUniversity, Vietnam（文园大学，越南） ； NVIDIA, USA（NVIDIA，美国） ； Griffith University, Australia（格里菲斯大学，澳大利亚） ； Hanoi Medical University, Vietnam（河内医学院，越南） ； Military Central Hospital, Vietnam（越南108中央军医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种面向越南语医学数据的多模态数据集和基准，旨在解决医学影像领域中PET/CT数据不足和低资源语言代表性不足的问题。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks

Forecasting the Number of Harvest-ready Fruits of Sweet Peppers Using Multimodal Time-Series Data

使用多模态时间序列数据预测甜椒的可收获果实数量

Enrico Pallotta, Mohamed Farag, Esra Guclu, Chris McCool, Ribana Roscher, Juergen Gall

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） ； CSIRO（联邦科学与工业研究组织） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对单株甜椒产量预测，提出融合图像特征与计数测量的多模态深度学习框架，利用LSTM网络处理时间依赖性和不规则采样，实验证明该方法能降低RMSE，提供校准不确定性估计，还发布数据集和代码助力相关研究。

Multi-modal transformer for signal classification in nanopore blockade experiments

用于纳米孔阻断实验中信号分类的多模态变压器

Sandro Kuppel, Julian Hoßbach, Samuel Tovey, Christian Holm

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 针对纳米孔信号复杂难以分类的问题，引入多模态深度学习架构，联合处理多种信号表示，在42肽基准测试中大幅超越现有方法，转移到20氨基酸数据集也有高准确率，证明机器学习助力纳米孔传感器高精度分子识别的潜力。

Comments 22 pages (incl. references), 8 figures

Hypothesis-and-Refinement Learning of Organic Structures from Multimodal Spectroscopic Data

基于多模态光谱数据的有机结构假设与细化学习

Chengchun Liu, Zhiyuan Yan, Li Yuan, Hao Li, Boxuan Zhao, Yonghong Tian, Bartosz A. Grzybowski, Fanyang Mo

机构 * State Key Laboratory of Advanced Waterproof Materials, School of Materials Science and Engineering, Peking University（先进防水材料国家重点实验室，材料科学与工程学院，北京大学） ； School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（电子与计算机工程学院，北京大学深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； IBS Center for Algorithmic and Robotized Synthesis (CARS), UNIST（算法与机器人化合成中心（CARS），UNIST） ； Department of Chemistry, UNIST（化学系，UNIST） ； School of Advanced Materials, Peking University Shenzhen Graduate School（先进材料学院，北京大学深圳研究生院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究针对从光谱数据确定分子结构的难题，提出假设细化范式，构建QM9SPIN数据集，引入SpectroMol和MS - Mol2Mol，集成系统在模拟基准上准确率达93.8%，能适应实验光谱并改进预测，为有机结构解析提供可扩展途径。

Comments 6 figures

ENTRAP-VL: A Taxonomic Probe for Dual Contextual Entrainment in Vision-Language Models

ENTRAP-VL：视觉语言模型中双上下文夹带的分类探测器

Karan Goyal, Afreen Hossain, Debojyoti Das, Vishal Bhutani

机构 * IIIT Delhi（德里信息技术学院） ； Dr. Ambedkar Institute of Technology（阿姆贝德卡尔技术学院） ； Heritage Institute of Technology（遗产技术学院） ； PwC（普华永道） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究视觉语言模型中上下文夹带现象，提出需构建分类结构化双模态工具。引入ENTRAP-VL数据集，含1500个项目，跨八类，分文本和视觉夹带流，提供工具、分类法及评估协议，助力社区严格研究该现象。

STEMTOX: From Collaborative Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

STEMTOX：通过熵引导的多任务学习从社交标签到细粒度有毒迷因检测

Subhankar Swain, Naquee Rizwan, Vishwa Gangadhar S, Nayandeep Deb, Animesh Mukherjee

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出TOXICTAGS数据集及STEMTOX框架，通过熵引导的多任务学习整合社交标签生成与分类，提升多模态内容审核性能。

Development of an automated, reliable, and clinically meaningful artificial intelligence (AI) tool for diagnosing cardiac disease from conventional cardiovascular magnetic resonance (CMR) images

开发一种用于从传统心血管磁共振（CMR）图像中诊断心脏病的自动化、可靠且具有临床意义的人工智能（AI）工具

Sina Amirrajab, Volker Vehof, Michael Bietenbeck, Nuriye Akyol, Redouane Bouras, Khuraman Isgandarova, Alexandru Zlibut, Philipp Stalling, Ali Yilmaz

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 研究旨在开发用于CMR图像心脏病诊断的AI工具，通过整合开源LLMs和预处理多模态数据，对三种视觉基础模型两阶段微调，在独立测试集上有高诊断性能，集成策略进一步提升准确性和鲁棒性，代码和模型权重公开。

DRGBT-1K: A Large-scale High-quality Benchmark for Dynamic RGBT Tracking

DRGBT-1K：用于动态RGBT跟踪的大规模高质量基准测试

Zhaodong Ding, Chenglong Li, Zeyu Ding, Futian Wang, Jin Tang

机构 * Anhui University（安徽大学） ； State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology（光电子信息采集与保护技术国家重点实验室） ； Anhui Provincial Key Laboratory of Security Artificial Intelligence（安徽省安全人工智能重点实验室） ； Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有基准无法有效评估动态RGBT跟踪器在真实场景下鲁棒性的问题，构建DRGBT-1K基准测试，提供全面注释，评估多种跟踪方法，发布未对齐版本及衍生数据集，并开发在线评估平台，为相关研究提供有力支持。

Comments Submitted to TIP (Under Review)

An Exploratory Analysis of Pain Localization via Explainable Computational Modeling

通过可解释计算建模对疼痛定位进行探索性分析

Ioannis Kyprakis, Stefanos Gkikas, Eric Nichols, Yu Fang, Manolis Tsiknakis

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对自动疼痛定位问题，利用AI4Pain 2026挑战数据集，比较经典特征工程与深度序列学习用于独立于受试者的三类疼痛定位，极端随机树表现最佳，发现疼痛检测与定位存在差距，揭示外周自主神经通路解剖扩散性的基本上限。

Comments Accepted at the 14th International Conference on Affective Computing and Intelligent Interaction (ACII 2026)

Universality Reconsidered: Rethinking the Validation of Foundation Models for General-Purpose 3D Medical Segmentation

揭示通用3D医学分割中的模态差异与泛化幻觉

Yichi Zhang, Le Xue, Feiyang Xiao, Wenbo Zhang, Gang Feng, Chenguang Zheng, Yuan Qi, Yuan Cheng, Zixin Hu

机构 * Fudan University, Shanghai, China.（复旦大学） ； Shanghai Academy of Artificial Intelligence for Science, Shanghai, China.（上海人工智能科学研究院） ； Shanghai Universal Medical Imaging Diagnostic Center, Shanghai, China.（上海通用医学影像诊断中心） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文通过UMD数据集揭示3D医学分割中模态差异与泛化幻觉问题，指出现有基础模型在实际应用中存在显著性能差异，需转向多模态训练以提升通用性。

Air Quality Arena: A Large-Scale Multi-Region Ground Monitoring Dataset and Benchmark for Air Quality Forecasting with Time-Series Foundation Models

空气质量竞技场：一个大规模多区域地面监测数据集以及基于时间序列基础模型的空气质量预测基准

Rishi Bharadwaj, Manik Gupta, Pandarasamy Arjunan

专题命中 多模态评测 ：cross-modal(abstract)

AI总结 研究针对现有空气质量预测基准不足，提出空气质量竞技场（AQA），它是含多国多污染物的数据集及基准。通过在11个模型和基线测试，表明时间序列基础模型是有效零样本预测器，表现最佳的模型采用跨模态架构，AQA已公开发布。

Comments 20 pages