多模态大模型

FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

FAU参加2026年ImageCLEF多模态推理任务：鲁棒候选评分与简洁多语种视觉问答

Mohamed Basem, Vincent Christlein

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 FAU提交的多模态推理系统，未做任务特定模型训练，在2026年ImageCLEF竞赛中，获Visual MCQ第三名、Visual OpenQA第一名，凸显推理工程的实用价值。

Comments 16 pages, 3 figures, 7 tables. CLEF 2026 Working Notes, ImageCLEF 2026 Multimodal Reasoning Task

The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails

《狼来了：多模态安全护栏中安全输入被对抗性误分类为不安全》

Shuo Shi, Rui Yin, Naen Xu, Jiahao Chen, Chunyi Zhou, Tianyu Du, Zhihui Fu, Jun Wang, Zhaoxiang Wang, Shouling Ji

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 该研究针对多模态安全护栏提出不安全诱导攻击，通过不安全语义蒸馏实现84%攻击成功率，揭示了当前多模态安全架构存在安全输入被误判为不安全的可用性漏洞。

Comments Accepted by KDD 2026

Through the LENS: Local Geometric Decomposition of Vision-Language Model Representations

通过LENS：视觉语言模型表示的局部几何分解

Shalom Kachko, Raz Lapid, Margarita Vald, Almog Dubin, Moshe Sipper

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究提出LENS方法，将VLM激活分解为局部低秩高斯邻域，揭示LLaVA与Qwen3-VL的不同模态融合轨迹，该方法可实现因果生成干预并提升多模态检索性能。

Two Sides of the Same Coin: Co-Evolving Search for Cross-Task Attacks on Vision-Language Models

同一硬币的两面：面向视觉-语言模型跨任务攻击的协同演化搜索

Xuanhui Lin, Junhao Dong, Mingrong Gong, Yucheng Chen, Xinghua Qu, Yew-Soon Ong

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Center for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心） ； School of Electrical Engineering and Automation, Fuzhou University（福州大学电气工程与自动化学院） ； ByteDance（字节跳动） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对视觉-语言模型易受对抗扰动的问题，提出协同演化跨模态攻击框架，联合优化文本与视觉空间，在多任务上展现出强攻击性能与跨任务可迁移性。

Comments 15 pages, 7 figures, and 8 tables; includes supplementary material

What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs

从文本到视觉的可迁移性：视觉语言模型（VLM）的能力缩放定律与迁移动态

Ziran Li, Qiang Wang, Zhengyu Chen, Shanglin Lei, Borun Chen, Jingang Wang, Xunliang Cai

机构 * Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 该研究提出首个跨家族的能力驱动多模态缩放定律，可通过LLM文本能力预测VLM性能，将主干选择从经验搜索转为定量决策，还揭示了LLM作为VLM主干的相关见解。

Déjà Cue: Localizing States in Object Histories via Vocabulary-Relative Coordinates

Déjà Cue：通过词汇相对坐标定位目标历史中的状态

Haofan Cao, Zhichao You, Yunkai Yang, Liang Guo, Jie Wang, Chongshou Li

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.MM

AI总结 该研究针对目标状态定位问题提出无需训练的 Déjà Cue 框架，通过词汇相对坐标系校准图像-文本相似度，在78个 VOST 序列上显著提升了 R@1 和 Top-1 tIoU 指标。

Comments Code available at https://github.com/HaofanCao/DejaCue

Few-Shot Concept Prompt Learning for Segmentation Foundation Models via Visual Grounding

基于视觉定位的分割基础模型少样本概念提示学习

Rahul Venkataramani, Rachana Sathish

机构 * Advanced Technology Group（先进技术集团） ； GE HealthCare（GE医疗） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对分割基础模型在临床任务中表现不足的问题，提出FS-CPL方法，通过视觉定位学习概念提示，在四个医学影像基准上取得显著性能提升，且与骨干网络无关。

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning

零样本图像描述中合成监督的实体忠实修复

Zhiyue Liu, Wenkai Zhou, Jian Qin, Qipeng Jiang

机构 * Guangxi University（广西大学） ； School of Computer, Electronics and Information（计算机与电子信息学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 针对零样本图像描述中合成监督的实体级错位问题，提出即插即用框架ReCap，通过实体级重对齐与自适应加权策略优化合成数据，在两类基准上实现最优性能。

Comments Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026). 16 pages, 7 figures

Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts

内部松弛，跨域平衡：面向视觉-语言混合专家模型的几何引导式负载均衡

Ziang Wu, Peng Jin, Qishen Yin, Munan Ning, Hao Li, Peizhen Zhang, Li Yuan

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉-语言混合专家模型的负载不平衡问题，提出ReBA方法，通过引入图像和文本的独立路由项，在保持任务准确率的同时降低了不同场景下的负载。

Comments 22 pages, including appendices. Code available at https://github.com/ZiangWu-77/ReBA

MonitorVLM-v2: A Deployed Vision-Language Framework for Real-Time Safety Violation Detection

MonitorVLM-v2：用于实时安全违规检测的已部署视觉-语言框架

Jiang Wu, Sichao Wu, Yinsong Ma, Lifang Zheng, Jingliang Duan

机构 * School of Mechanical Engineering, University of Science and Technology Beijing（北京科技大学机械工程学院） ； The Laboratory for Computational Sensing and Robotics, Johns Hopkins University（约翰霍普金斯大学计算传感与机器人实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MonitorVLM-v2框架，将VLM安全评估转化为有限符号空间概率推理，结合SymPO算法与熵驱动分类机制，在地下矿部署中实现19.45倍提速，确认违规量达人工检查的2.78倍，满足实时可审计工业监控需求。

Semantically Calibrated Evidence Composition for CT Vision-Language Learning

面向CT视觉-语言学习的语义校准证据组合

Guoliang You, Haifan Gong, Xiaomeng Chu

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对CT视觉-语言学习中局部证据与全局上下文结合的问题，提出SCOPE框架，通过语义校准实现证据组合，在CT-RATE和RadChestCT数据集上的宏AUC优于现有SOTA。

Comments 9 pages, 3 figures, 5 tables

Attention-Steered Vision-Language Models for Sign Language Translation

用于手语翻译的注意力引导视觉-语言模型

Meibo Hu, Guohao Sun, Annemarie D. Ross, Sheng Li, Zhiqiang Tao

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； University of Virginia（弗吉尼亚大学） ； National Technical Institute for the Deaf（国家聋人技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉-语言模型在手语翻译中时空视觉定位差的问题，提出AttnSign框架，通过空间注意力监督和RL运动节奏引导提升性能，在How2Sign和OpenASL基准上表现优于现有方法。

FATE: Frame-Level Audio-Visual Temporal Embedding

FATE：帧级视听时间嵌入

Kaisi Guan, Bingzi Zhang, Xihua Wang, Ying Ba, Xin Cheng, Yijing Chen, Ruihua Song

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM

AI总结 FATE是帧级视听时间嵌入模型，通过保留帧级序列与联合对比学习目标，在三项视听任务中优于基线，零样本事件定位性能接近全监督方法，与人类判断相关性最优。

InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos

InteracVid：基于直播聊天视频构建真实交互式视听响应数据集

Chi Zhang, Haoyang Shi, Yueyi Liu, Zhaokun Yan, Yishu Yin, Yuhang Wu, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 该研究提出首个开源大规模交互式视听数据集InteracVid，解决现有生成模型监督信号缺失问题，实验证实其可提升多模态助手的交互规划与响应生成性能，为交互式多模态生成提供关键基础。

Sounding Canvas: Embedding Algorithms in Networked, Sensorial Sound Art

声音画布：将算法嵌入网络化、具感官的声音艺术中

Luciano Ciamarone, Dora Motèque, Marco Giordano

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本研究将算法嵌入声音艺术装置，通过离线视觉-声音映射与在线模型实现触摸响应的多模态交互，引发算法艺术相关问题。

Comments 23 pages, 7 figures

HorizonServe: Coordinating Request Scheduling with GPU Sharing for Omni-Model Serving

HorizonServe：面向全模态模型服务的请求调度与GPU共享协调系统

Yuning Zhang, Dong Yuan

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 HorizonServe是一款单GPU全模态模型服务系统，通过协调请求准入与GPU分配，提升了SLO达成率并降低了首响应延迟，解决了全模态模型统一部署的调度问题。

Implicit Neural Representations for Multimodal Longitudinal Image Imputation and Interpolation

用于多模态纵向图像插补与插值的隐式神经表示

Sina Wendrich, Lukas Förner, Zoe Reinke, Kartikay Tehlan, Ansgar Berlis, Michael Frühwald, Matthias Wagner, Thomas Wendler

机构 * University Hospital Augsburg（奥格斯堡大学医院） ； University of Augsburg（奥格斯堡大学） ； Technical University of Munich（慕尼黑工业大学） ； Bavarian Cancer Research Center (BZKF)（巴伐利亚癌症研究中心） ； Swabian Children’s Cancer Center（施瓦本儿童癌症中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对临床纵向MRI数据缺失等问题，提出条件隐式神经表示模型，经儿科脑肿瘤数据验证，可显著改进插值效果，置信度估计可靠。

DeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal Agents

DeepVoyager-VL：为长视野多模态智能体激励视觉在环搜索

Huanyao Zhang, Jiepeng Zhou, Runhao Zhao, Yanzhe Shan, Jiaoyang Chen, Bowen Zhou, Bo Li, Fang Wang, Jialong Wu, Zhengwei Tao, Lang Mei, Xiaohan Yu, Liyan Liu, Chong Chen, Wentao Zhang

机构 * PKU（北京大学） ； HKUST(GZ)（香港科技大学（广州）） ； NUDT（中国人民解放军国防科技大学） ； OUC（中国海洋大学） ； HITSZ（哈尔滨工业大学（深圳）） ； Huawei Cloud BU（华为云业务部） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对现有多模态深度搜索忽视视觉中间推理作用的局限，提出DeepVoyager-VL框架，构建多模态事件图合成数据，设计智能体框架实现主动视觉获取，经10个基准实验验证其有效性。

Models as Tools: An Agentic Coordination Framework for Unified Multimodal Visual Tracking

模型作为工具：用于统一多模态视觉跟踪的智能体协调框架

Wenrui Cai, Yuzhe Li, Qingjie Liu, Yunhong Wang

机构 * Beihang University（北京航空航天大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有视觉跟踪方法的瓶颈，提出ACTrack智能体协调框架，整合异构模型工具的互补优势，仅用30%可训练参数便在多类基准上实现性能超越。

Comments 21 pages, 15 Tables, 7 Figures

OrEdge: Efficient Multi-Modal Anomaly Detection in Distributed Software Systems via Orthogonal-Domain Learning

OrEdge：基于正交域学习的分布式软件系统高效多模态异常检测

Amr M. Zaki, Farhoud Jafari Kaleibar, Honggeun Ji, Komal Sarda, Marin Litoiu

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 OrEdge是基于正交域学习的轻量级多模态异常检测框架，通过OrEdgeCore重构模块，在微服务数据集上实现了高精度，且模型参数仅9.6K，推理延迟较现有方法降低一个数量级以上，可高效部署于边缘设备。

AdaThinkV: Adaptive Thinking for Token-Efficient Video Reasoning

AdaThinkV：面向令牌高效视频推理的自适应思维

Jingqi Tian, Haoji Zhang, Lin Chen, Hongbo Jin, Haonan Xu, Tianrui Zhu, Xingming Shui, Shilin Ma, Wenjing Yang, Yansong Tang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出AdaThinkV自适应视频推理框架，通过ThinkGain与VRPO解决CoT推理的令牌浪费问题，在视频推理任务中以更少令牌实现优于最强自适应基线的准确率。

PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

PixVL：通过统一掩码-文本一致性循环进行像素级多模态大语言模型的自监督训练

Yicheng Xiao, Haoxuan Ma, Caorui Li, Yucheng Wu, Weijie Wang, Haoxiao Wang, Shuang Chen, Fan Yang, Haiyun Guo, Jinqiao Wang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 PixVL作为自监督后训练框架，通过统一掩码-文本一致性循环及语义验证等策略，解决像素级MLLMs的优化干扰问题，同时提升区域理解与分割任务性能。

Beyond Symmetric Fusion: Exploiting Task-Dependent Modality Strengths for RGB-Event Small Object Detection

超越对称融合：利用任务相关的模态优势进行RGB-事件小目标检测

Ziheng Wang, Chaolang Li, Yutong Yang, Xiaohan Xu, Chongxiang Yang, Hengxuan Zhong, Zhen Liang, Pengwen Dai

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对现有RGB-事件检测器的对称融合设计缺陷，提出AERODet模型，通过SURE和TDSR实现任务相关的模态利用，在FRED和NeRDD数据集上取得最优性能，FRED挑战性拆分提升10.7 mAP点。

Comments 3 figures, 7 tables

Decoding Children's Gait Behavior

儿童步态行为解码

Yifan Shen, Boyi Li, Meihuan Huang, Yuanzhe Liu, Xu Cao, Jinyang Jin, Zhengyuan Li, Anglin Liu, Junho Kim, Jingyuan Zhu, Lan Fangzhou, Jianguo Cao, Jintai Chen, Ismini Lourentzou, James Matthew Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； PediaMed AI ； Shenzhen Children’s Hospital（深圳市儿童医院） ； Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对儿童步态分析的临床需求，本文构建含110名受试者的1100余条高帧率视频数据集，指出现有先进模型难以解析其临床细节，提出统一端到端框架并建立自动化儿童步态评估基线。

Journal ref ECCV 2026

NeuroWorld: A Latent Brain World Model for Stimulus-Conditioned Human Brain Dynamics

NeuroWorld：用于刺激条件下人脑动力学的潜在脑世界模型

Zijian Dong, Jianxiong Zhou, Kwun Kei Ng, Jan Paolo Macapinlac Balagtas, Zhizhou Li, Zijiao Chen, Juan Helen Zhou

专题命中 视频多模态 ：multimodal(abstract)

AI总结 研究针对现有脑编码模型的时间约束缺陷，提出首个脑世界模型NeuroWorld，通过两阶段方法在三个fMRI基准上实现了更优的脑活动多步预测性能，为脑活动因果预测提供了新框架。

Comments 10 pages, 9 figures

Douyin Multimodal Embedding Model Technical Report

抖音多模态嵌入模型技术报告

Haonan Chen, Chu Li, Zhicheng Wang, Yuanwei Liu, Yuanjiang Wang, Shaohua Jiang, Zhicheng Dou

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL

AI总结 针对现有多模态嵌入模型难以兼顾效率与细粒度区分的问题，提出分两阶段训练的DME模型，在MMEB-v2数据集及抖音生产场景中均取得优异效果。

Comments Technical Report

UEmbed: Unified Sparse and Dense Multimodal Embeddings

UEmbed：统一稀疏与稠密多模态嵌入

Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

机构 * CASIA（中国科学院自动化研究所） ； Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Yale University（耶鲁大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 UEmbed是一种仅解码器的多模态嵌入模型，可单次前向传播生成稀疏与稠密表示，在MMEB-v2和BEIR上表现优异，统一了两类嵌入并支持多模态智能体应用。

MRAFnd: Multimodal Retrieval-Augmented Framework for Zero-Shot Fake News Detection

MRAFnd：面向零样本假新闻检测的多模态检索增强框架

Lehan Zhang, Yinlei Cheng, Shiqi Hu Yiheng Zhou, Shangxi Li, Naidong Zhao

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对零样本假新闻检测的现有方法无法识别重复虚假手段与跨模态差异的问题，本文提出多模态检索增强框架MRAFnd，经多智能体协作推理，在Weibo-21等数据集上准确率最高提升2.35%，优于现有方法。

Comments 14 pages, 6 figures, 2 tables, Presented at the MMM 2026

V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory

V-Mem：面向多模态智能体长期记忆的模态路由检索

Dingyi Kang, Dongming Jiang, Yi Li, Guanpeng Li, Bingzhe Li

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 该研究针对多模态智能体记忆的模态与相似性-相关性差距，提出V-Mem系统，通过模态路由检索优化，在Mem-Gallery、LoCoMo数据集上显著提升多模态问答性能。

Comments 19 pages, 2 figures, 16 tables. Code: https://github.com/Dingyi-Kang/V-Mem