视觉大模型 / VLM

VLMFusionOcc3D: VLM Assisted Multi-Modal 3D Semantic Occupancy Prediction

VLMFusionOcc3D: 基于VLM的多模态3D语义占位预测

A. Enes Doruk, Hasan F. Ates

机构 * Department of Artificial Intelligence and Data Engineering, Ozyegin University（人工智能与数据工程系，奥克辛大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 VLMFusionOcc3D通过融合视觉语言模型的语义先验，提升多模态3D语义占位预测的鲁棒性和适应性。

3D Modality-Aware Pre-training for Vision-Language Model in MRI Multi-organ Abnormality Detection

面向MRI多器官异常检测的3D模态感知预训练

Haowen Zhu, Ning Yin, Xiaogen Zhou

机构 * School of Electronic, Electrical Engineering and Physics, Fujian University of Technology（福建工程学院电子电气工程学院） ； School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Department of Medical Imaging, Suzhou Traditional Chinese Medicine Hospital, China（苏州中医医院影像科） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MedMAP框架，通过3D MRI的模态感知预训练提升多器官异常检测性能，实验表明其优于现有视觉-语言模型。

Self-Aug: Query and Entropy Adaptive Decoding for Large Vision-Language Models

Self-Aug: 用于大视觉-语言模型的查询和熵自适应解码

Eun Woo Im, Muhammad Kashif Ali, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出Self-Aug，一种无需训练的解码策略，通过自增强提示和自适应阈值算法提升大视觉-语言模型的事实一致性。

Comments 10 pages, accepted to ICLR 2026

REGAL: A Registry-Driven Architecture for Deterministic Grounding of Agentic AI in Enterprise Telemetry

REGAL：一种基于注册表的架构，用于企业遥测中代理AI的确定性接地

Yuvraj Agrawal

机构 * Adobe Inc.（Adobe公司） 纠错

专题命中 VLM训练与架构 ：grounding(title,abstract)；分类 cs.AI

AI总结 REGAL提出一种基于注册表的架构，用于企业遥测中代理AI的确定性接地，通过显式架构方法和语义编译提升确定性计算，解决LLM在私有遥测中的接地问题。

SGPA: Spectrogram-Guided Phonetic Alignment for Feasible Shapley Value Explanations in Multimodal Large Language Models

SGPA: 基于频谱的语音对齐用于多模态大语言模型中可行的谢普利值解释

Paweł Pozorski, Jakub Muszyński, Maria Ganzha

机构 * Warsaw University of Technology（华沙技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)

AI总结 SGPA通过结合连接主义时间分类和频谱边界细化，实现了多模态大语言模型中可行的音频解释，显著减少了模型评估次数并保持了全局轮廓。

Comments Submitted for admission in Interspeech 2026 conference

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

MMTok: 为VLMs高效推理的多模态覆盖最大化

Sixun Dong, Juhua Hu, Mian Zhang, Ming Yin, Yanjie Fu, Qi Qian

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 MMTok通过多模态覆盖准则提升VLMs推理效率，结合视觉和文本信息优化标记选择，实现性能与速度的平衡。

Comments Accepted by ICLR 2026. Code: https://github.com/Ironieser/mmtok , Project Homepage: https://project.ironieser.cc/mmtok

Video TokenCom: Textual Intent-Guided Multi-Rate Video Token Communications with UEP-Based Adaptive Source-Channel Coding

视频令牌通信：基于UEP的自适应源信道编码的文本意图引导多速率视频令牌通信

Jingxuan Men, Mahdi Boloursaz Mashhadi, Ning Wang, Yi Ma, Mike Nilsson, Rahim Tafazolli

机构 * GIC & 6GIC, Institute for Communication Systems (ICS), University of Surrey（5GIC与6GIC，通信系统研究所（ICS），塞夫尔大学） ； Smart Internet Lab, University of Bristol（智能互联网实验室，布里斯托尔大学） ； British Telecom Research Lab, BT Group plc（英国电信研究实验室，BT集团） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.LG

AI总结 本文提出基于UEP的自适应源信道编码的视频令牌通信框架，通过文本意图引导的多速率视频通信提升语义保真度和传输效率。

Quantization-Aware Distillation for NVFP4 Inference Accuracy Recovery

量化感知蒸馏用于NVFP4推理精度恢复

Meng Xin, Sweta Priyadarshi, Jingyu Xin, Bilal Kartal, Aditya Vavre, Asma Kuriparambil Thekkumpate, Zijia Chen, Ameya Sunil Mahabaleshwarkar, Ido Shahaf, Akhiad Bercovich, Kinjal Patel, Suguna Varshini Velury, Chenjie Luo, Zhiyu Cheng, Jenny Chen, Chen-Han Yu, Wei Ping, Oleg Rybakov, Nima Tajbakhsh, Oluwatobi Olabiyi, Dusan Stosic, Di Wu, Song Han, Eric Chung, Sharath Turuvekere Sreenivas, Bryan Catanzaro, Yoshi Suhara, Tijmen Blankevoort, Huizi Mao

机构 * NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 本研究提出量化感知蒸馏方法，用于恢复NVFP4量化大型语言模型和视觉-语言模型的推理精度，通过KL散度损失实现有效且稳定的精度恢复。

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

InstructVLA: 从理解到操作的视觉-语言-动作指令微调

Shuai Yang, Hao Li, Bin Wang, Yilun Chen, Yang Tian, Tai Wang, Hanqing Wang, Feng Zhao, Yiyi Liao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 InstructVLA通过视觉-语言-动作指令微调，实现了在多模态推理和动作生成之间的平衡，提升了机器人在复杂任务中的操控性能和泛化能力。

Comments 48 pages

Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion

可扩展的多语言多模态机器翻译与语音-文本融合

Yexing Du, Youcheng Pan, Zekun Wang, Zheng Chu, Yichong Huang, Kaiyuan Liu, Bo Yang, Yang Xiang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。

Comments Accepted in ICLR 2026

Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches

基于多模态大语言模型的实时游戏视频解说生成：暂停感知解码方法

Anum Afzal, Yuki Saito, Hiroya Takamura, Katsuhito Sudoh, Shinnosuke Takamichi, Graham Neubig, Florian Matthes, Tatsuya Ishigaki

机构 * School of CIT, Technical University of Munich（慕尼黑技术大学计算机信息学院） ； National Institute of Advanced Industrial Science（国家工业科学与技术研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出两种基于提示的解码方法，利用多模态大语言模型实现实时游戏视频解说生成，通过动态间隔调整提升时间相关性与内容准确性。

Comments Accepted at LREC2026