视觉大模型 / VLM

Improving MLLM Training Efficiency via Stage-Aware Sparsity

通过阶段感知稀疏性提升MLLM训练效率

Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

机构 * Peking University（北京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于稀疏表示的高效训练框架STS，通过阶段感知设计适应不同训练阶段的冗余，采用视觉标记压缩器和层动态跳过器来减少计算开销，验证了其在多种MLLM架构上的有效性。

Structured Labeling Enables Faster Vision-Language Models for End-to-End Autonomous Driving

结构化标注加速面向端到端自动驾驶的视觉-语言模型

Hao Jiang, Chuan Hu, Yukang Shi, Yuan He, Ke Wang, Xi Zhang, Zhipeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； KargoBot 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出结构化标注的NuScenes-S数据集和紧凑型FastDrive模型，提升自动驾驶中决策任务的效率与准确性，实验显示在结构化数据集上性能优异，推理速度提升超10倍。

Employing Vision-Language Models for Face Image Quality Assessment

利用视觉-语言模型进行人脸图像质量评估

Erdi Sarıtaş, Eren Onaran, Vitomir Štruc, Hazım Kemal Ekenel

机构 * Department of Computer Engineering, Istanbul Technical University（伊斯坦布尔技术大学计算机工程系） ； Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程系） ； Division of Engineering, NYU Abu Dhabi（纽约大学阿布扎克分校工程系） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了利用现成的视觉-语言模型（VLMs）在零样本设置下进行人脸图像质量评估（FIQA）的潜力，通过综合评估框架评估VLM性能，并发现模型架构对生物识别效用性能有显著影响，VLMs的输出与传统方法一致，但生成的分数可能因提示而异。

Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models

Fourier Compressor: 频域视觉令牌压缩用于视觉-语言模型

Huanyu Wang, Jushi Kai, Haoli Bai, Lu Hou, Bo Jiang, Ziwei He, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Noah’s Ark Lab（诺亚实验室） ； Huawei Technologies Ltd.（华为技术有限公司） ； School of Computer Science（计算机科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于频域的视觉令牌压缩策略，通过傅里叶变换减少计算开销并提升效率，同时保持语义准确性，实验表明其在图像和视频任务中均表现出色。

Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

通过跨模态语义对齐实现面向视觉-语言模型的单样本黑盒成员推断攻击

Jiaqing Li, Yajuan Lu, Xiaochuan Shi, Gang Wu, ZhongYuan Wang, Chao Liang

机构 * Wuhan University（武汉大学） ； Tarim University（塔里木大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于跨模态语义对齐的新型成员推断攻击框架，针对视觉-语言模型在单样本和黑盒场景下的数据安全风险进行评估，通过量化联合嵌入空间中的对齐程度，显著提升了攻击性能。

KVCapsule: Efficient Sequential KV Cache Compression for Vision-Language Models with Asymmetric Redundancy

KVCapsule: 用于视觉-语言模型的高效序列KV缓存压缩方法：不对称冗余

Yingbing Huang, Tharun Adithya Srikrishnan, Steven K. Reinhardt, Deming Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； AMD 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出KVCapsule，一种针对视觉语言模型的KV缓存压缩框架，通过轻量压缩和重建组件实现内存节省，提升吞吐量并减少内存占用，同时保持精度。

Medical Context Distorts Decisions in Clinical Vision Language Models

医学语境扭曲了临床视觉语言模型的决策

David Restrepo, Ira Ktena, Maria Vakalopoulou, Stergios Christodoulidis, Enzo Ferrante

机构 * MICS（医学信息学中心） ； CentraleSupélec - Université Paris-Saclay（中央超导学院 - 巴黎萨克雷大学） ； Cancer Data Science Unit（癌症数据科学单元） ； IHU PRISM ； National Institute in Precision Oncology（精准肿瘤学国家研究所） ； University Paris-Saclay（巴黎萨克雷大学） ； CentraleSupelec（中央超导学院） ； Gustave Roussy（儒勒-维维安-圣拉扎尔医院） ； INSERM（国家医学研究院） ； CONICET（阿根廷国家科研与技术创新委员会） ； Universidad de Buenos Aires（布宜诺斯艾利斯大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文研究了医学语境对临床视觉语言模型决策的影响，发现模型在整合医学记录的视觉和文本信息时存在模态依赖、无关历史依赖和提示敏感性等问题，强调了在临床应用前需要建立明确的保障措施。

JARVIS: A Just-in-Time Augmented Reality VLM-Powered Instruction System for Cross-Reality Task Guidance

JARVIS：一种基于视觉语言模型的即时增强现实指令系统，用于跨现实任务指导

Yusi Sun, Ying Jiang, Jiayin Lu, Yin yang, Yong-Hong Kuo, Chenfanfu Jiang

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 JARVIS通过视觉语言模型生成上下文相关的分步指导，实现实时状态验证和自适应视觉反馈，提升跨现实任务的可用性、工作负荷、成功率和可视化效果。

Comments 14 pages, 11 figures, 2 tables

HEED: Density-Weighted Residual Alignment for Hybrid Vision-Language Model Distillation

HEED：基于密度加权残差对齐的混合视觉-语言模型蒸馏

Yihao Liang, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出HEED方法，通过密度加权残差对齐改进混合视觉-语言模型蒸馏，提升在OCR和文档任务中的性能，同时在不同教师模型和混合架构上实现高效推理。

DiRotQ: Rotation-Aware Quantization for 4-bit Diffusion Transformers

DiRotQ：面向4位扩散变换器的旋转感知量化

Sayeh Sharify, Mahsa Salmani, Hesham Mostafa

机构 * d-Matrix 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出DiRotQ，一种W4A4量化框架，通过旋转感知激活量化缓解扩散变换器在4位精度下的性能下降问题，同时引入VLM-as-a-Judge评估协议和Triton定制内核提升压缩下的效率与质量。

KamonBench: A Grammar-Based Dataset for Evaluating Compositional Factor Recovery in Vision-Language Models

KamonBench：一种基于语法规则的数据集，用于评估视觉-语言模型中的组合因子恢复

Richard Sproat, Stefano Peluchetti

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 KamonBench通过20000个合成复合徽章及辅助组件示例，提供评估视觉-语言模型中稀疏组合识别和因子恢复的可控测试环境，支持程序代码因子度量和可控因子对重组。

Comments Preprint

CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic

CATA: 通过冲突厌恶任务算术实现持续机器去学习

Shen Lin, Junhao Dong, Rongjie Chen, Xiaoyu Zhang, Li Xu, Xiaofeng Chen

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文首次研究了视觉语言模型的持续去学习问题，提出CATA方法，通过冲突厌恶任务算术有效解决去学习中的有效性、模型保真度和持续性挑战。

IdGlow: Dynamic Identity Modulation for Multi-Subject Generation

IdGlow: 多主体生成中的动态身份调节

Honghao Cai, Xiangyuan Wang, Jing Li, Yunhao Bai, Tianze Zhou, Haohua Chen, Chao Hui, Changhao Qiao, Runqi Wang, Sijie Xu, Yuyang Hao, Zezhou Cui, Yuyuan Yang, Wei Zhu, Yibo Chen, Xu Tang, Yao Hu, Zhen Li

机构 * Xiaohongshu Inc.（小红书公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IdGlow框架，通过任务自适应的时间步调度和视觉语言模型解决多主体生成中的稳定性与可塑性矛盾，提升面部真实感与商业级美学质量。

PhyDetEx: Detecting and Explaining the Physical Plausibility of T2V Models

PhyDetEx: 检测和解释T2V模型的物理合理性

Zeqing Wang, Keze Wang, Lei Zhang

机构 * Zeqing Wang 1,3（王泽清 1,3） ； Keze Wang 1（王凯泽 1） ； Lei Zhang 2（张磊 2） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出PhyDetEx，通过构建PID数据集和轻量级微调方法，评估T2V模型在生成物理合理视频方面的性能，并发现尽管模型在视频生成上有所进步，但理解并遵循物理定律仍存在挑战。

Comments 23 pages, 10 figures

Evaluating Cognitive Age Alignment in Interactive AI Agents

评估交互式AI代理的认知年龄对齐

Yifan Shen, Jiawen Zhang, Jian Xu, Junho Kim, Ismini Lourentzou, Xu Cao, Meihuan Huang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shenzhen Children's Hospital（深圳儿童医院） ； Peking University（北京大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 VLM训练与架构 ：visual reasoning(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出ChildAgentEval，首个基于心理测量的交互式基准，用于评估基于多模态大语言模型的代理的认知年龄对齐，通过与年龄特定的人类发展阶段进行系统比较，揭示当前代理在模拟年龄特定认知行为方面的优劣。

Hi-GaTA: Hierarchical Gated Temporal Aggregation Adapter for Surgical Video Report Generation

Hi-GaTA：用于外科视频报告生成的分层门控时间聚合适配器

Kedi Sun, Chaohui Dang, Yue Feng, James Glasbey, Theodoros N. Arvanitis, Le Zhang

机构 * School of Engineering, College of Engineering and Physical Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学工程学院） ； School of Computer Science, University of Birmingham, Birmingham, UK（英国伯明翰大学计算机科学学院） ； Department of Applied Health Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学应用健康科学系） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Hi-GaTA框架，通过时间聚合压缩长视频序列生成LLM兼容的视觉前缀令牌，结合预训练的外科专用视频编码器和LoRA微调，实现高质量外科报告生成。

Comments 11 pages, 2 figures

OrganicHAR: Towards Activity Discovery in Organic Settings for Privacy Preserving Sensors Using Efficient Video Analysis

有机HAR：在有机环境中通过高效视频分析实现隐私保护传感器的活动发现

Prasoon Patidar, Riku Arakawa, Ricardo Graça, Rúben Moutinho, Adriano Soares, Ana Vasconcelos, Filippo Talami, Joana Couto da Silva, Inês Silva, Cristina Mendes Santos, Mayank Goel, Yuvraj Agarwal

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 本研究提出有机HAR框架，通过将传感器能力置于活动发现中心，利用隐私保护传感器识别自然信号模式，并在关键时刻使用视觉语言模型进行场景理解，从而在有机环境中实现高效且隐私保护的活动识别。

Comments 23 pages, 14 figures, with a 4-page appendix containing 2 additional figures. To appear in Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. (IMWUT), Vol. 9, No. 4, Article 203 (December 2025). DOI: 10.1145/3770674

Journal ref Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 9(4) (2025) 203:1-203:32

What Matters for Grocery Product Retrieval with Open Source Vision Language Models

在开源视觉语言模型中，什么因素影响杂货产品检索

Emmanuel G. Maminta, Rowel O. Atienza

机构 * AI Graduate Program, University of the Philippines, Diliman, Quezon City（菲律宾大学达林学院人工智能研究生项目） ； EEEI, University of the Philippines, Diliman, Quezon City（菲律宾大学达林学院电子工程系） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；分类 cs.CV

AI总结 本文研究了开源视觉语言模型在杂货产品检索任务中的表现，发现数据质量比规模更重要，高效模型可以胜出，并且存在召回率差距的问题。

Comments Accepted in the 28th International Conference on Pattern Recognition (ICPR 2026)

UAM: A Dual-Stream Perspective on Forgetting in VLA Training

UAM：VL A训练中遗忘的双流视角

Jianke Zhang, Yuanfei Luo, Yucheng Hu, Xiaoyu Chen, Yanjiang Guo, Ziyang Liu, Hongbin Xu, Tian Lan, Jianyu Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出UAM模型，通过双流架构解决VL A训练中因单一编码器导致的多模态能力下降问题，展示了通过架构分离而非冻结权重或辅助数据可实现语义保留，并在多种任务中取得高成功率。

ECHO: Efficient Chest X-ray Report Generation with One-step Block Diffusion

ECHO: 通过一步块扩散实现高效的胸部X光报告生成

Lifeng Chen, Tianqi You, Hao Liu, Zhimin Bao, Jile Jiao, Xiao Han, Zhicai Ou, Tao Sun, Xiaofeng Mou, Xiaojie Jin, Yi Xu

机构 * Beijing Jiaotong University（北京交通大学） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出ECHO，一种基于扩散模型的高效视觉-语言模型，用于生成胸部X光报告，通过一步块扩散和响应不对称扩散策略，显著提高了生成效率和文本连贯性，同时在临床准确性上保持良好表现。

Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory

通过无训练的身份感知记忆推进叙事长视频生成

Jinzhuo Liu, Jiangning Zhang, Wencan Jiang, Yabiao Wang, Dingkang Liang, Zhucun Xue, Ran Yi, Yong Liu

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯云智实验室） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出了一种无训练的身份感知记忆框架IAMFlow，通过显式建模和跟踪持久实体身份，实现一致的生成，同时引入NarraStream-Bench基准测试，在叙事流视频生成中取得最佳性能。

Comments Project page: https://eddie0521.github.io/projects/iamflow/ Code: https://github.com/Eddie0521/IAMFlow

GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

GraSP-VL: 长度作为视觉-语言表示的语义粒度接口

Zesheng Li, Chengchang Pan, Honggang Qi

机构 * University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文研究如何将嵌入长度转化为可控的语义访问接口，提出GraSP-VL方法，通过学习共享的近正交前缀变换，实现视觉-语言嵌入的语义层次递进接口，并在多个数据集上验证了其有效性。

Comments Preprint

A More Word-like Image Tokenization for MLLMs

一种更像单词的图像标记化方法用于大规模语言模型

Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

机构 * Seoul National University（首尔国立大学） ； Ewha Womans University（成均馆大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出了一种解耦视觉标记化方法（DiVT），通过将图像块嵌入聚类为语义单元，使每个标记对应于独特的视觉概念，从而提升多模态模型的性能和效率。

Journal ref Proceedings of the IEEE/CVF International Conference on Pattern Recognition and Computer Vision (CVPR), 2026

SHED: Style-Homogenized Embedding Alignment for Domain Generalization

SHED: 风格均质化嵌入对齐用于领域泛化

Kai Gan, Tong Wei

机构 * School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（1 东南大学计算机科学与工程学院，南京 210096，中国） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（2 教育部计算机网络与信息集成重点实验室（东南大学），中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出SHED方法，通过均质化嵌入对齐来解决领域泛化中的信息不对称问题，实验表明其在多个基准测试中取得了最先进的性能。

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

多模态语言模型需要多少视觉标记？通过F^3A进行视觉标记剪枝的扩展

YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China（东北大学计算机科学与工程学院，沈阳 110819，中国） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Computer and Communication Engineering, Northeastern University, Qinhuangdao 066004, China（东北大学计算机与通信工程学院，秦皇岛 066004，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出F^3A方法，通过任务条件证据搜索优化视觉标记分配，在不训练模型的情况下实现高效的视觉标记剪枝，保留原始多模态提示和解码流程。

A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning

A₃B₂：一种自适应非对称适配器，用于缓解视觉-语言图像分类中的分支偏差

Yiyun Zhou, Zhonghua Jiang, Wenkang Han, Kunxi Li, Mingjing Xu, Chang Yao, Jingyuan Chen

机构 * Zhejiang University（浙江大学） ； Swansea University（斯旺西大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出A₃B₂适配器，通过引入不确定性感知适配器阻尼机制，缓解少样本学习中的分支偏差问题，实验表明其在多个数据集上优于现有基线方法。

Comments Accepted by IJCAI 2026

Predictive Prefetching for Retrieval-Augmented Generation

检索增强生成的预测预取

Wuyang Zhang, Shichao Pei

机构 * Department of Computer Science, University of Massachusetts Boston（马萨诸塞大学波士顿分校计算机科学系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出了一种先进的异步检索框架，通过预测检索触发时机和所需信息，以减少延迟并提高生成效率，同时保持回答质量。

Comments Accepted by Forty-third International Conference on Machine Learning ICML 2026

SkyNative: A Native Multimodal Framework for Remote Sensing Visual Evidence Reasoning

SkyNative: 一种面向遥感视觉证据推理的原生多模态框架

Xiao Yang, Ronghao Fu, Zhiwen Lin, Zhuoran Duan, Jiashun Zhu, Jiasen Hu, Lang Sun, Weipeng Zhang, Jiaqi Liu, Xu Na, Haoran Liu, Weijie Zhang, Bo Yang

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SkyNative，一种原生多模态框架，通过去除预训练视觉骨干，直接在语言模型token空间中表示图像为原始patch tokens，以提升遥感图像的细粒度空间推理能力。

AnchorDiff: Topology-Aware Masked Diffusion with Confidence-based Rewriting for Radiology Report Generation

AnchorDiff: 基于拓扑结构的掩码扩散模型与基于置信度的重写方法用于放射学报告生成

Shiying Yu, Jielei Wang, Guoming Lu

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出AnchorDiff，一种首个结合临床锚点的掩码扩散框架，用于生成放射学报告。该方法通过拓扑感知训练策略和推理时的重写策略，有效缓解了固定顺序自回归解码的局限性，实现了最先进的性能。

GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation

GaussianDWM: 基于3D高斯场景表示的统一场景理解和多模态生成驱动世界模型

Tianchen Deng, Xuefeng Chen, Yi Chen, Qu Chen, Yuyao Xu, Lijin Yang, Le Xu, Yu Zhang, Bo Zhang, Wuxiong Huang, Hesheng Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； MEGVII Technology（商汤科技） ； Mach Drive 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出基于3D高斯表示的统一驱动世界模型框架，实现3D场景理解和多模态生成，并通过语言引导采样策略和双条件生成模型提升生成效果，实验验证其在nuScenes和NuInteract数据集上的优越性能。

Comments Accepted by CVPR 2026