多模态大模型

OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models

OmniZip：面向快速多模态大语言模型的音频引导动态令牌压缩

Keda Tao, Kele Shao, Bohan Yu, Weiqiang Wang, Jian liu, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出OmniZip，一种无需训练的音频引导多模态令牌压缩框架，通过动态压缩音频视频令牌提升推理速度和内存效率，保持模型性能。

Comments [CVPR 2026] Code Link: https://github.com/KD-TAO/OmniZip

End-to-end Listen, Look, Speak and Act

端到端听、看、说和行动

Siyin Wang, Wenyi Yu, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出ELLSA模型，首个端到端全双工系统，实现视觉、文本、语音和行动的同步感知与生成，支持对话轮替、指令拒绝等复杂交互行为，推动更自然的人工智能发展。

Comments 22 pages, 8 figures

Journal ref ICLR 2026

EgoSound: Benchmarking Sound Understanding in Egocentric Videos

EgoSound：评估egocentric视频中声音理解的基准测试

Bingwen Zhu, Yuqian Fu, Qiaole Dong, Guolei Sun, Tianwen Qian, Yuzheng Wu, Danda Pani Paudel, Xiangyang Xue, Yanwei Fu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Nankai University（南开大学） ； East China Normal University（华东师范大学） ； KAUST（卡塔尔大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 EgoSound首次系统评估多模态大语言模型在egocentric视频中的声音理解能力，包含7个任务分类，揭示当前模型在空间和因果理解上的局限。

Comments Accepted by CVPR 2026

SentiAvatar: Towards Expressive and Interactive Digital Humans

SentiAvatar：迈向表达性和互动性的数字人类

Chuhao Jin, Rui Zhang, Qingzhe Gao, Haoyu Shi, Dayu Wu, Yichen Jiang, Yihan Wu, Ruihua Song

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院） ； SentiPulse ； College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出SentiAvatar框架，通过构建SuSu虚拟角色，解决多模态数据不足、语义到动作映射和动作语调同步问题，实现高精度实时交互。

Comments 19 pages, 4 figures

BhashaSutra: A Task-Centric Unified Survey of Indian NLP Datasets, Corpora, and Resources

BhashaSutra：印度NLP数据集、语料库和资源的任务导向统一调查

Raghvendra Kumar, Devankar Raj, Sriparna Saha

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna, India（印度理工学院帕纳加邦计算机科学与工程系） ； Indian Institute of Technology Patna, India（印度理工学院帕纳加邦） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文首次系统梳理印度NLP资源，涵盖200+数据集、50+基准测试和100+模型工具，分析注释、评估及模型设计趋势，识别数据稀疏、语言覆盖不均等挑战，为公平、文化导向的NLP研究提供基础。

Comments Accepted to ACL 2026 (Main Conference)

FreezeEmpath: Efficient Training for Empathetic Spoken Chatbots with Frozen LLMs

FreezeEmpath: 基于冻结大语言模型的高效共情语音聊天机器人训练

Yun Hong, Yan Zhou, Yang Feng

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（智能信息处理重点实验室，计算技术研究所，中国科学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 本文提出 FreezeEmpath，通过冻结大语言模型参数，利用现有语音指令和情感识别数据高效训练共情语音聊天机器人，实现情感表达和对话性能的提升。

The Instrumental Dissolution of Typing: Why AI Challenges the Keyboard Era in Knowledge Work

打字的消解：为何AI挑战键盘时代的知识工作

Wei Roy Hua

机构 * T5 Innovations（8T5创新） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 AI使键盘在知识工作中不再必要，通过迁移功能至AI系统结束键盘时代，核心贡献是识别验证瓶颈，重新定义专业能力与劳动认可。

Comments 146 pages, 9 sections. Also available at https://zenodo.org/records/19605842

Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding

聚焦何处：用于长视频理解的查询调节多模态关键帧选择

Shaoguang Wang, Weiyu Guo, Ziyang Chen, Xuming Hu, Hui Xiong

机构 * Department of CSE, HKUST（香港科技大学计算机科学与工程系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.MM

AI总结 本文提出Q-Gate框架，通过动态模态路由解决长视频理解中关键帧选择问题，有效抑制模态噪声，提升多模态大语言模型的推理能力。

Comments 9 pages, 7 figures, 9 tables. Preprint

Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis

多模态同步机制：来自基于解码器的视频-文本到语音合成的洞察

Akshita Gupta, Tatiana Likhomanenko, Karren Dai Yang, Richard He Bai, Zakaria Aldeneh, Navdeep Jaitly

机构 * Apple（苹果公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM、eess.AS

AI总结 本文通过视频-文本到语音合成研究多模态同步机制，探讨了解码器如何整合不同模态信息，以及模态顺序对性能和迁移的影响，提出了TimeSync指标用于细粒度分析。

Comments 30 pages, Decoder-only model, Speech Synthesis

CGCMA: Conditionally-Gated Cross-Modal Attention for Event-Conditioned Asynchronous Fusion

CGCMA：基于事件条件的异步融合条件门控跨模态注意力

Yunxiang Guo

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 本文提出CGCMA，用于异步融合场景中事件条件下的跨模态注意力，通过分离文本条件接地与滞后感知信任控制，提升异步多模态融合性能。

TriTS: Time Series Forecasting from a Multimodal Perspective

TriTS：从多模态视角进行时间序列预测

Xiang Ao

机构 * School of Software Engineering, Beijing Jiaotong University（北京交通大学软件学院） 纠错

专题命中 视频多模态 ：multimodal(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 TriTS从多模态视角提出新的跨模态解耦框架，通过时间、频率和2D视觉空间投影，结合周期感知重塑策略和视觉Mamba，实现高效的时间序列预测，实验表明其在多个基准数据集上达到SOTA性能。

Comments 9 pages, 3 figures. Accepted by the A2A-MML Workshop in conjunction with CVPR 2026

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

降低现代多模态大语言模型流水线的峰值内存使用

Junwan Kim, Hyunkyung Bae

机构 * New York University（纽约大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种顺序输入压缩机制，在预填充阶段通过结构感知的键值缓存压缩，降低多模态大语言模型的峰值内存使用，同时保持生成性能。

Comments ACL 2026

Talk, Walk, and Market Response: Multimodal Measurement of AI Washing and Its Capital Market Consequences in China

讲话、行走与市场反应：多模态测量AI洗绿及其资本市场后果在中国

Wen Zhanjie, Guo Jingqiao

机构 * School of Economics and Trade, Guangdong University of Finance（广东金融学院经济贸易学院） ； Department of Computer Science, Faculty of Science, Hong Kong Baptist University（香港 Baptist 大学科学学院计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文通过多模态方法测量中国AI洗绿现象，发现其对资本市场的负面影响，揭示了AI投资与实际创新之间的关系及市场反应机制。

Comments 18 pages, 3 figures, 7 tables, academic research paper

When Text Hijacks Vision: Benchmarking and Mitigating Text Overlay-Induced Hallucination in Vision Language Models

当文本劫持视觉：基准测试与减轻文本叠加引起的视觉语言模型幻觉

Cui Yakun, Xingqun Qi, TianTian Geng, Yuyao Zhang, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisualTextTrap基准测试，通过大规模人工验证样本和定制评估指标，减轻文本叠加引起的幻觉问题，并提出VTHM-MoE框架以提升视觉-文本解耦能力。

OASIS: On-Demand Hierarchical Event Memory for Streaming Video Reasoning

OASIS：按需分层事件记忆用于流媒体视频推理

Zhijia Liang, Jiaming Li, Weikai Chen, Yanhao Zhang, Haonan Lu, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； OPPO AI Center（OPPO人工智能中心） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 OASIS通过结构化按需检索解决流媒体视频推理中记忆检索的挑战，提升长周期准确性和组合推理能力。

Comments Accepted by CVPR 2026

LLaVA-Octopus: Unlocking Instruction-Driven Adaptive Projector Fusion for Video Understanding

LLaVA-Octopus：解锁指令驱动的自适应投影器融合用于视频理解

Boyuan Sun, Jiaxing Zhao, Xiang Chen, Xihan Wei, Qibin Hou

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Tongyi Group, Alibaba（阿里巴巴通义集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LLaVA-Octopus通过根据用户指令动态调整不同视觉投影器的特征权重，提升视频理解任务的性能，实验表明其在多个基准测试中表现优异。

Comments 18 pages, 10 figures

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

MUSEG：通过时间感知多段定位增强视频时间理解

Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

机构 * THUNLP-MT 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 MUSEG通过引入时间感知多段定位，提升多模态大语言模型对视频时间信息的理解能力，通过定制化强化学习训练方案实现更全面的时间推理。

Denoise and Align: Diffusion-Driven Foreground Knowledge Prompting for Open-Vocabulary Temporal Action Detection

去噪与对齐：基于扩散的前景知识提示用于开放词汇时序动作检测

Sa Zhu, Wanqian Zhang, Lin Wang, Jinchao Zhang, Cong Wang, Bo Li

机构 * Institute of Information Engineering, Chinese Academy of Sciences School of Cyber Security, University of Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense Beijing China ； Institute of Information Engineering, Chinese Academy of Sciences Beijing China ； Hangzhou Dianzi University Hangzhou China ； Institute of Information Engineering, Chinese Academy of Sciences\ Key Laboratory of Cyberspace Security Defense Beijing China ； Engineering, Zhejiang University Hangzhou China ； Institute of Information Engineering, Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense Beijing China ； Institute of Information Engineering, Chinese Academy of Sciences School of Cyber Security, University of Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense ； Institute of Information Engineering, Chinese Academy of Sciences ； Hangzhou Dianzi University ； Institute of Information Engineering, Chinese Academy of Sciences\ Key Laboratory of Cyberspace Security Defense ； Engineering, Zhejiang University ； Institute of Information Engineering, Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DFAlign框架，通过扩散去噪生成前景知识，解决开放词汇时序动作检测中语义不平衡问题，提升动作相关片段的判别性。

Comments Accepted by SIGIR 2026

Geometry-Guided 3D Visual Token Pruning for Video-Language Models

基于几何的3D视觉标记修剪用于视频-语言模型

Han Li, Zehao Huang, Jiahui Fu, Naiyan Wang, Si Liu

机构 * Beihang University（北京航空航天大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Geo3DPruner框架，通过几何感知全局注意力建模跨帧相关性，并采用两阶段修剪过程，保留90%的视觉标记同时保持90%原始性能，优于现有文本引导和视觉引导修剪方法。

Comments Accepted by CVPR 2026

ST-$π$: Structured SpatioTemporal VLA for Robotic Manipulation

ST-$π$: 结构化时空VLA用于机器人操作

Chuanhao Ma, Hanyu Zhou, Shihan Peng, Yan Li, Tao Gu, Luxin Yan

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； School of Computing, Macquarie University（麦考瑞大学计算机学院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ST-$π$模型，通过结构化时空视觉语言模型和动作专家，解决机器人操作中精细时空推理问题，同时引入结构化时空标注数据集进行训练。

PEPR: Privileged Event-based Predictive Regularization for Domain Generalization

PEPR：基于特权事件的预测正则化用于领域泛化

Gabriele Magrini, Federico Becattini, Niccolò Biondi, Pietro Pala

机构 * University of Florence（佛罗伦萨大学） ； University of Siena（锡耶纳大学） ； University of Trento（特伦托大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出PEPR方法，通过利用特权信息提升领域泛化能力，改进RGB模型在昼夜域转移中的鲁棒性，优于基于对齐的基线方法。

EasyVideoR1: Easier RL for Video Understanding

EasyVideoR1: 更容易的视频理解强化学习

Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出EasyVideoR1框架，通过高效预处理、统一奖励系统和混合训练策略，提升视频理解任务的训练效率与性能。

Figures as Interfaces: Toward LLM-Native Artifacts for Scientific Discovery

图表作为接口：迈向面向大语言模型的科学发现原生图件

Yifang Wang, Rui Sheng, Erzhuo Shao, Yifan Qian, Haotian Li, Nan Cao, Dashun Wang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出LLM原生图件概念，通过融合语言-视觉接口，实现数据驱动的可解释图件，提升科学发现的可重复性和透明性。

mEOL: Training-Free Instruction-Guided Multimodal Embedder for Vector Graphics and Image Retrieval

mEOL：无需训练的指令引导多模态嵌入器用于矢量图形和图像检索

Kyeong Seon Kim, Baek Seong-Eun, Lee Jung-Mok, Tae-Hyun Oh

机构 * KAIST（韩国科学技术院） ； POSTECH 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出无需训练的指令引导多模态嵌入框架，通过多模态大语言模型将文本、位图和SVG代码映射到对齐的嵌入空间，利用模态特定指令和结构化SVG提示实现嵌入方向控制，构建首个文本到SVG检索基准，展示出优于传统基线的性能。

Comments Round 1 early acceptance to WACV 2026, Project page: https://scene-the-ella.github.io/meol

Compressing then Matching: An Efficient Pre-training Paradigm for Multimodal Embedding

压缩后再匹配：一种高效的多模态嵌入预训练范式

Da Li, Yuxiao Luo, Keping Bi, Jiafeng Guo, Wei Yuan, Biao Yang, Yan Wang, Fan Yang, Tingting Gao, Guorui Zhou

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CoMa，一种高效的多模态嵌入预训练方法，通过压缩预训练阶段提升对比学习效率，实现多模态嵌入模型的高效优化。

Comments ACL2026

MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation

MegaRAG：基于多模态知识图谱的检索增强生成

Chi-Hsiang Hsiao, Yi-Cheng Wang, Tzung-Sheng Lin, Yi-Ren Yeh, Chu-Song Chen

机构 * Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与信息工程系） ； Department of Mathematics, National Kaohsiung Normal University（高雄师范大学数学系） ； FinTech Center, National Taiwan University（国立台湾大学金融科技中心） ； E.SUN Financial Holding Co., Ltd.（E.SUN财务公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 MegaRAG通过引入多模态知识图谱，提升大语言模型在跨模态推理中的内容理解能力，在文本和多模态语料中均优于现有RAG方法。

Comments ACL 2026

Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding

超越上下文的规模：文档理解的多模态检索增强生成综述

Sensen Gao, Shanshan Zhao, Xu Jiang, Lunhao Duan, Yong Xien Chng, Qing-Guo Chen, Weihua Luo, Kaifu Zhang, Jia-Wang Bian, Mingming Gong

机构 * MBZUAI ； Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文综述了多模态检索增强生成在文档理解中的应用，提出基于领域、检索模态和粒度的分类体系，总结了关键数据集、基准测试和行业应用，指出了效率、细粒度表示和鲁棒性等挑战。

Comments Accepted by ACL2026 Main Conference; Project is available at https://github.com/SensenGao/Multimodal-RAG-Survey-For-Document

MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering

MARA：一种多模态自适应检索增强框架用于文档问答

Hui Wu, Haoquan Zhai, Yuchen Li, Hengyi Cai, Peirong Zhang, Yidan Zhang, Lei Wang, Chunle Wang, Yingyan Hou, Shuaiqiang Wang, Dawei Yin

机构 * Key Laboratory of Target Cognition and Application Technology (TCAT), AIRI, CAS（目标认知与应用技术重点实验室（TCAT），空气动力研究所，中国科学院） ； School of Electronic, Electrical and Communication Engineering, UCAS（电子、电气与通信工程学院，中国科学院大学） ； Aerospace Information Research Institute, Chinese Academy of Sciences（航天信息研究所，中国科学院） ； Baidu Inc.（百度公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MARA框架通过引入查询自适应机制提升多模态文档检索与生成的精度和质量，实验表明其在多模态问答基准上优于现有最先进方法。

RA-RRG: Multimodal Retrieval-Augmented Radiology Report Generation with Key Phrase Extraction

RA-RRG：结合关键短语提取的多模态检索增强放射学报告生成

Jonggwon Park, Byungmu Yoon, Soobum Kim, Kyoyun Choi

机构 * DEEPNOID Inc.（DEEPNOID公司） ； Department of Artificial Intelligence and Data Science, Sejong University（Sejong大学人工智能与数据科学系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 RA-RRG通过结合多模态检索与大语言模型生成放射学报告，减少幻觉和计算需求，实验显示在CheXbert指标上优于现有模型。

Comments ACL 2026, Findings of the Association for Computational Linguistics

PLUME: Latent Reasoning Based Universal Multimodal Embedding

PLUME：基于潜在推理的通用多模态嵌入

Chenwei He, Xiangzhao Hao, Tianyu Yang, Yuxiang Ma, Yuheng Jia, Lingxiang Wu, Chaoyang Zhao, Haiyun Guo, Jinqiao Wang

机构 * Southeast University（东南大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 PLUME通过引入潜在推理框架改进通用多模态嵌入，用连续潜在状态的自回归滚动替代显式推理链，减少推理开销并提升效率，优于传统显式推理方法。