多模态大模型

Stitch and Tell: A Structured Multimodal Data Augmentation Method for Spatial Understanding

拼接与讲述：一种结构化多模态数据增强方法用于空间理解

Hang Yin, Xiaomin He, PeiWen Yuan, Yiwei Li, Jiayi Shi, Wenxiao Fan, Shaoxiong Feng, Kan Li

机构 * School of Computer Science, Beijing Institute of Technology（北京理工大学计算机科学学院） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 图文多模态 ：multimodal(title)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 Stitch and Tell通过结构化空间监督提升视觉-语言模型的空间理解能力，有效缓解空间幻觉并提高相关任务性能。

Journal ref Advances in Neural Information Processing Systems 38 (NeurIPS 2025)

Gaze Behavior in Visual World Experiments Can be Modeled With Off-the-shelf Language-Vision Encoders

视觉世界实验中的注视行为可采用现成的语言-视觉编码器建模

Rahul Murali Shankar, Titus von der Malsburg, Sebastian Padó

机构 * University of Stuttgart（斯图加特大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究提出结合CLIP双编码器与双模态归因方法的新方法，无需微调或生成式架构，即可复现经典视觉世界研究的人类注视行为预测结果。

SLED: Scalable Location Encoding via Distillation

SLED：通过知识蒸馏实现可扩展位置编码

Kevin Lane, Zhongying Wang, Esther Rolf, Morteza Karimzadeh

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有位置编码器计算成本高、扩展性差等问题，提出基于蒸馏的SLED，可灵活融入多模态地理空间数据，在19项基准任务上性能优于或媲美现有模型，大幅降低预训练成本。

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

一次剪枝：面向视觉-语言模型的无需重训练的任务无关剪枝

Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

机构 * Chung-Ang University（中央大学） ； Soongsil University（崇实大学） ； Kookmin University（国民大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出名为PORTA的无需重训练的任务无关VLM剪枝框架，通过自适应稀疏分配实现高压缩下的竞争力性能，支持高效VLM压缩。

Comments Accepted to ECCV 2026

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

Grad-ECLIP: 基于梯度的CLIP视觉与文本解释

Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Division of Social Science and Department of Computer Science & Engineering, Hong Kong University of Science & Technology（香港科学与技术大学社会科学学院及计算机科学与工程系） ； SenseTime Group Ltd（时光集团有限公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出Grad-ECLIP方法，通过分解CLIP编码器架构并分析匹配相似度与中间空间特征的关系，生成有效热图以解释CLIP匹配结果。通过通道和空间权重提升视觉解释质量，并通过定性定量评估验证其有效性。

Journal ref Zhao C, Wang K, Hsiao J H, et al. Grad-eclip: Gradient-based visual and textual explanations for clip[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026

MLLM-based Speech Recognition: When and How is Multimodality Beneficial?

Yiwen Guan, Viet Anh Trinh, Vivek Voleti, Jacob Whitehill

机构 * Worcester Polytechnic Institute（沃斯特理工学院） 纠错

专题命中 音频语音多模态 ：MLLM(title)；multi-modal(abstract)；分类 cs.CL、cs.MM、eess.AS

Journal ref IEEE Transactions on Multimedia, 2026

Objects as Audio-Visual Modal Sound Fields

作为视听模态声场的物体

Zisen Shao, Zihao Wei, Derong Jin, Ruohan Gao

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文针对现有碰撞声建模方法成本高或需大量数据的问题，提出AV-MSF表示，结合3D高斯溅射与模态参数实现少样本重建，在真实数据集上达最优渲染性能，还支持接触定位等下游应用。

Comments ECCV 2026, Project page: https://zisenshao.github.io/AV-MSF/

Identity as Presence: Towards Appearance and Voice Personalized Joint Audio-Video Generation

身份作为存在：迈向基于外观和声音的联合音频视频生成

Qin Chen, Yingjie Chen, Shilun Lin, Cai Xing, Binxin Yang, Long Zhou, Qixin Yan, Wenjing Wang, Dingming Liu, Hao Liu, Chen Li, Jing Lyu

机构 * Tencent Inc.（腾讯公司） ； Peking University（北京大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出一个统一的框架，实现身份感知的音频视频生成，通过数据整理管道和灵活的身份注入机制，提升生成内容的高保真度和一致性。

Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming

Vorch-Streamer：将人类音视频生扩展至实时长格式流式生成

Menglin Han, Yang Ding, Yulei Lu, Haoran Yu, Xin Ma, Junyi Chen, Zhangkai Ni, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Tongji University（同济大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title)；分类 cs.CV

AI总结 Vorch-Streamer是一款后训练框架，通过混合训练、自强制与DMD蒸馏等技术，实现了超24 FPS的实时长格式T2AV流式音视频生成，兼具音唇同步性与身份保留能力。

Comments Project page: https://vorch-project.github.io/Vorch-Streamer-project/

AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward

AVCap：用细节感知奖励强化音视频联合字幕

Mingyang Wu, Kaituo Feng, Bohao Li, Kaixiong Gong, Zihao Yin, Xiangyu Yue

机构 * MMLab, CUHK（香港中文大学MMLab） ； Peking University（北京大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 针对音视频联合字幕的数据集、奖励信号、评估基准的局限，提出AVCap-100K数据集、AVCap模型及专用基准指标，通过Da-GRPO优化的AVCap模型性能优异。

AnyTrack: Unifying Visual Object Tracking with Any Modalities

AnyTrack：用任意模态统一视觉目标跟踪

Hao Li, Yunzhi Zhuge, Wenning Hao, Pingping Zhang, Xiaoxiong Zhang, Dong Wang, Huchuan Lu

机构 * Army Engineering University of PLA（中国人民解放军陆军工程大学） ； Dalian University of Technology（大连理工大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对现有多模态目标跟踪器适配性与泛化性差的问题，提出AnyTrack框架，通过MIM与CUM模块实现任意模态的统一跟踪，扩展基准后实验验证其性能先进、灵活有效。

Comments Accepted by ACM MM2026. More modifications may be performed

Audio-to-Score Transcription using Pre-trained Features, Data Augmentation, and the New SheetSage-A2S Dataset

基于预训练特征、数据增强及新SheetSage-A2S数据集的音频转乐谱转录

Eoin Cummins, Zhongyi Huang, Alexandre D'Hooge, Zhuoru Mo, Yaolong Ju

机构 * University College Dublin（都柏林大学学院） ； Guangxi Normal University（广西师范大学） ； Great Bay University（大湾区大学） ； Shenzhen University（深圳大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 该研究针对流行音乐音频转乐谱研究不足的问题，构建了SheetSage-A2S数据集，结合预训练模型MuQ与数据增强改进A2S方法，在古典与流行音乐基准上均取得优于现有技术的性能。

Comments Accepted at the 34th ACM International Conference on Multimedia (MM '26)

GEB-Bench: Abstract Structures Told in Many Voices

GEB-Bench：多视角呈现的抽象结构

Tong Zhang, Zhiyuan Shi, Yun Peng, Tao Xie

机构 * Fudan University（复旦大学） ； Peking University（北京大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本研究推出GEB-Bench基准，评估12种模型发现其在结构识别与跨视角映射间存在差距，仅前沿模型能缩小该差距，且表面复杂性会增加模型负担。

MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

MetaSICL: 通过元语音上下文学习适应听觉大语言模型

Haolong Zheng, Siyin Wang, Zengrui Jin, Mark Hasegawa-Johnson

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。

MMAG: A Multi-Control Mixed Audio Generation Benchmark

MMAG：多控制混合音频生成基准

Zihao Zheng, Xuenan Xu, Jiahao Mei, Yixuan Li, Minghao Lv, Wen Wu, Chao Zhang, Mengyue Wu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 eess.AS

AI总结 本研究针对现有音频生成基准的不足，推出MMAG混合音频生成基准，构建含4000个标注音频的数据集，提出系统评估协议，测试发现各类模型在多控制能力间存在性能权衡，为该领域提供综合基准。

Comments 15 pages, 6 figures

Shape Your Feed: An LLM-based Agentic System for Conversational Recommendation

塑造你的信息流：一种基于大语言模型的智能体对话推荐系统

Ziyun Xu, Bosen Ding, Yue Zhang, Ji Qi, Qingyuan Song, Jizhou Huang, Liwei Wang, Jefferey Santelli, Yue Weng, Qichao Que, Zhenheng Yang, Junfeng Pan, Linhong Zhu

机构 * Meta Platforms（元平台公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出基于LLM的智能体推荐框架SYF，采用三层架构实现实时多模态内容协同策划，经离线评估与在线A/B实验验证，可提升信息流相关性与用户情感，为工业场景提供交互式推荐方案。

Comments Accepted in RecSys 2026 Industrial Track

Recognizing Co-Speech Gestures in-the-Wild

识别野外伴随语音的手势

Sindhu B Hegde, K R Prajwal, Andrew Zisserman

机构 * Visual Geometry Group, Dept. of Engineering Science, University of Oxford（视觉几何组，工程科学系，牛津大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对当前多模态模型难以捕捉语义性伴随手势的问题，构建了首个大规模基准数据集GRW，用于训练视频模型进行手势语义分类、对应词汇识别和时序定位。

Journal ref European Conference on Computer Vision (ECCV), 2026

Frame-Level Pansori Mode Classification with Complementary Audio Representations

基于互补音频表示的帧级盘索里调式分类

Sangheon Park, Seonguk Ju, Suin Chung, Danbinaerin Han, Dasaem Jeong

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 本研究针对韩国传统声乐盘索里，采用46小时帧级标注与4种互补音频表示，构建调式分类模型，验证其学习调式特征而非记忆曲目，揭示了源分离对线索的影响及预训练的局限性。

Comments Accepted to the 27th International Society for Music Information Retrieval (ISMIR) Conference, 2026

Journal ref ISMIR 2026

When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

当单模态不够时：基于航拍RGB-热红外视频的马鹿多模态性别与生命阶段分类

Hugo Markoff, Christoph Praschl, Ivan Ludoški, Sara Beery, Michael Ørsted, David C. Schedl

机构 * Aalborg University（奥尔堡大学） ； University of Applied Sciences Upper Austria（上奥地利应用科学大学） ； University of Novi Sad（诺威萨德大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究以马鹿为对象，融合航拍RGB与热红外视频的自监督DINOv3特征，构建多模态分类流程，在四次飞行中实现26只个体25只的正确分类，提升了种群性别与生命阶段分类的鲁棒性，可自动化获取兽群结构数据。

Comments Accepted at the ECCV 2026 Workshop on Computer Vision for Ecology (CV4Ecology), archival proceedings track. 17 pages, 7 figures, 5 tables

I Seek You in Videos: Identity-Conditioned Queries for Person-Centric Video Reasoning

我在视频中寻找你：面向以人为中心的视频推理的身份条件查询

Shibo Gao, Chongxiao Wang, Chenglong Huang, Jie Ma, Haolin Shi, Fei Ding, Jing Li, Qiang Lyu, Yangyang Liu, Yang Liu, Jun Liu, Linlin Huang, Peipei Yang

机构 * Beijing Jiaotong University（北京交通大学） ； HUJING Digital Media & Entertainment Group（汇晶数字媒体与娱乐集团） ； MAIS Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究提出了身份条件查询（ICQ）任务，构建了ISYV基准、训练集与框架，实验显示主流多模态大语言模型在该任务上表现不佳，ISYV模型性能优于强基线且接近闭源模型。

Comments Accepted to ACM Multimedia 2026 (MM '26). 6 figures, 5 tables

TransSLR: A Lightweight Transformer for Sign Language Recognition

TransSLR：用于手语识别的轻量级Transformer

Lucia Yen Wanchi, Samuel Johnny, Victor Tolulope Olufemi, Emmanuel Aaron, Moise Busogi

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对CASL手语识别的低准确率问题，提出轻量级Transformer模型TransSLR，在CASL-W60基准上取得80.39%的最新准确率，且计算开销低，适用于资源受限环境。

Comments This paper has been accepted for oral presentation at Deep Learning Indaba 2026 which will be hosted on the IJCAI hosting platform. paper link: https://chairingtool.com/conferences/dli2026/main-track/submissions/356

Design and Validation of a Portable EEG-tES Platform Supporting High-Rate EEG Recording and Temporal Interference Stimulation

支持高速脑电图记录和时间干扰刺激的便携式脑电图-经颅电刺激平台的设计与验证

Le Xing, Maoxing Liang, Disi A, Yifei Jia, Gaoxiang Xie, Linfeng Xu, Xiang'ao Chen, Jiebin Shi, Gang Pan, Bicheng Han

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本研究设计并验证了一款以MCU为核心的便携式EEG-tES平台，集成8通道EEG采集与2通道tES功能，具备高信号保真度与低刺激误差，为便携式闭环神经调控系统提供了实用基础。

CertBind from Multimodal Connectivity to Certifiable Retrieval Decisions

CertBind：从多模态连接到可验证的检索决策

Shuheng Cao, Zhenhao Zhang, Ruiqi Chen, Renjie Cao, Weijia Zhang, Siyu Zhang, Jiaxin Liu, Xiangyu Zeng, Haotian Geng, Fan Gu

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 该研究提出CertBind多尺度理论，解决多模态编码器组合后的检索决策可验证问题，通过多尺度设计实现误差控制与恢复，在实验中验证了其对原生检索能力的可控性与无损害性。

Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification

用于通用跨模态行人重识别的双空间模态一致性学习

Yujian Zhao, Yukang Zhao, Hankun Liu, Haoxuan Xu, Bo Li, Hanzi Wan, Guanglin Niu

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； School of Humanities and Social Sciences, Beihang University（北京航空航天大学人文与社会科学高等研究院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Informatics, Xiamen University（厦门大学信息学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出DSMCL即插即用框架，联合建模空间与频域一致性，在5个数据集的17项协议上提升跨模态ReID基线性能，适配多样化异构模态场景。

DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding

DocMemo：面向多模态文档理解的概率记忆引导检索动态证据发现框架

Hanshu Yao, Janfeng Zhong, Niu Lian, Jinpeng Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CL、cs.AI、cs.MM

AI总结 针对长文档理解的静态检索与跨轮记忆局限，提出记忆引导框架DocMemo，通过三层记忆与多轮优化实现动态证据发现，在3个基准上取得SOTA性能。

Comments DocMemo is a memory-guided framework for long-document reasoning that uses tri-level memory and dynamic Bayesian belief updating to overcome static retrieval limits and improve evidence tracking. 16 pages, 4 figures, 14 tables

Foundation Models Adaptation for Multi-View Multi-modal Cardiac MRI Segmentation and Direct Ejection Fraction Estimation

基础模型在多视图多模态心脏MRI分割与直接射血分数估算中的适配

Sina Amirrajab, Cian M Scannell, Volker Vehof, Michael Bietenbeck, Ali Yilmaz

机构 * Maastricht University（马斯特里赫特大学） ； University Hospital Münster（明斯特大学医院） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CV

AI总结 本研究针对CMR-Multi挑战，微调CineMA并组合冻结CMR基础模型，实现多视图CMR分割与直接LVEF估算，验证了基础模型适配多视图CMR分析的有效性。

Surg-UniWorld: A Unified Surgical World Model with Multimodal Control Experts

Surg-UniWorld：具有多模态控制专家的统一外科世界模型

Rulin Zhou, Wanhao Liu, Guoheng Ma, Liangjin Shao, Qiujie Song, Yidu Wang, Guankun Wang, Tong Chen, Long Bai, Luping Zhou, Hongliang Ren

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； the University of Sydney（悉尼大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出Surg-UniWorld统一外科世界模型，构建Chlec80-SurgWAM基准，经实验证实其在可控外科视频生成相关指标上优于现有方法。

CustomDance: Customized 3D Dance Generation with Coarse-to-Fine Human-Centered Interactive Control

CustomDance：基于以人为中心的粗到细交互式控制的定制化3D舞蹈生成

Xulong Tang, Kaixing Yang, Xiaohu Guo, Prabhakaran Balakrishnan, Rawan Alghofaili

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 CustomDance是基于粗到细交互式控制的定制化3D舞蹈生成系统，通过三阶段流程实现AI辅助编舞，在定量和定性比较中优于基线，为用户提供全面控制。

ReGraph: Learning to Generate Recipe Graphs from Food Images

ReGraph：从食物图像生成食谱图的学习方法

Guoshan Liu, Bin Zhu, Pengkun Jiao, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信体智能研究院） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态生成 ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对现有食谱生成方法的过程结构捕捉不足问题，构建了ReGraph食谱图数据集并提出RGL两阶段框架，可让LMM从食物图像生成结构化食谱图，提升了烹饪实体与过程关系的生成效果。

Does More Retrieved Evidence Help Visual Retrieval-Augmented Generation with Diffusion Language Models?

更多检索到的证据是否有助于基于扩散语言模型的视觉检索增强生成？

Jiankun Wang, Yisen Gao, Ziwei Zhang, Xingcheng Fu, Jiaxin Bai, Chen Gao

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对基于扩散语言模型的视觉检索增强生成，研究发现无条件扩大检索证据会因语义冲突降低准确率，提出无需训练的基于熵的候选过滤框架，可平均提升答案准确率2.62个百分点。