视觉大模型 / VLM

Growing a Multi-head Twig via Distillation and Reinforcement Learning to Accelerate Large Vision-Language Models

通过蒸馏和强化学习生长多头Twig以加速大视觉-语言模型

Zhenwei Shao, Mingyang Wang, Weijun Zhang, Zhou Yu, Wenwen Pan, Yan Yang, Tao Wei, Hongyuan Zhang, Jun Yu

机构 * Zhejiang Key Laboratory of Space Information Sensing and Transmission, School of Computer Science, Hangzhou Dianzi University（浙江省空间信息感知与传输重点实验室，计算机学院，杭州电子科技大学） ； Li Auto Inc.（理想汽车） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出TwigVLM，通过在基础VLM早期层上生长轻量模块Twig，结合 Twig 引导的 token 剪枝和自推测解码策略，实现更高的准确性和速度。实验表明， TwigVLM 在剪枝88.9%的视觉token后仍保持96%的原始性能，并在生成长响应时达到154%的速度提升。

Comments An extended version of our ICCV paper at ICCV2025/html/Shao_Growing_a_Twig_to_Accelerate_Large_Vision-Language_Models_ICCV_2025_paper.html" target="_blank" rel="noopener">https://openaccess.thecvf.com/content/ICCV2025/html/Shao_Growing_a_Twig_to_Accelerate_Large_Vision-Language_Models_ICCV_2025_paper.html

Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs

字典对齐的概念控制用于保护多模态大语言模型

Jinqi Luo, Jinyu Yang, Tal Neiman, Lei Fan, Bing Yin, Son Tran, Mubarak Shah, René Vidal

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Amazon（亚马逊） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出字典对齐的概念控制框架，通过定制概念字典和稀疏自编码器实现对多模态大语言模型激活的精细控制，提升安全性的同时保持通用能力。

Comments Accepted in CVPR 2026. Project page: https://peterljq.github.io/project/daco

Fast-dVLM: Efficient Block-Diffusion VLM via Direct Conversion from Autoregressive VLM

Fast-dVLM: 通过直接转换自回归VLM实现高效的块扩散VLM

Chengyue Wu, Shiyi Lan, Yonggan Fu, Sensen Gao, Jin Wang, Jincheng Yu, Jose M. Alvarez, Pavlo Molchanov, Ping Luo, Song Han, Ligeng Zhu, Enze Xie

机构 * The University of Hong Kong（香港大学） ； NVIDIA（英伟达） ； MIT（麻省理工学院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文提出Fast-dVLM，通过直接转换自回归VLM实现高效的块扩散VLM，采用KV-cache兼容并行解码和推测块解码，提升推理效率。实验表明其生成质量与自回归模型相当，且通过SGLang和FP8量化实现6倍以上的推理加速。

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

链式放大：通过尺度自回归和偏好对齐实现极端超分辨率

Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

机构 * KAIST AI（韩国科学技术院人工智能系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出Chain-of-Zoom框架，通过自回归链和多尺度提示实现极端超分辨率，利用GRPO优化文本提示对齐人类偏好，实验显示标准4x扩散模型在CoZ下可实现256倍以上高质量放大。

Comments NeurIPS 2025 (Spotlight)

Through Their Eyes: Fixation-aligned Tuning for Personalized User Emulation

通过他们的眼睛：基于注视点的个性化用户模拟调谐

Lingfeng Huang, Huizhong Guo, Tianjun Wei, Yingpeng Du, Zhu Sun

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出FixATE方法，通过将视觉语言模型的视觉注意力与用户特定的注视模式对齐，提升推荐系统模拟的准确性，实验表明这种对齐能有效提高点击预测性能。

MONETA: Multimodal Industry Classification through Geographic Information with Multi Agent Systems

MONETA：通过地理信息和多智能体系统进行多模态行业分类

Arda Yüksel, Gabriel Thiem, Susanne Walter, Patrick Felka, Gabriela Alves Werb, Ivan Habernal

机构 * Trustworthy Human Language Technologies（可信人类语言技术实验室） ； Technical University of Darmstadt, Germany（德国达姆施塔特工业大学） ； Deutsche Bundesbank（德国联邦银行） ； Frankfurt University of Applied Sciences, Germany（德国法兰克福应用技术大学） ； Research Center for Trustworthy Data Science and Security, Ruhr University Bochum, Germany（德国波鸿鲁尔大学可信数据科学与安全研究中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出MONETA，首个基于文本和地理空间数据的多模态行业分类基准，利用多智能体系统提升分类精度，实现62.10%和74.10%的分类性能。

Comments Accepted to ACL 2026 Main Conference

Streaming Video Instruction Tuning

流式视频指令微调

Jiaer Xia, Peixian Chen, Mengdan Zhang, Xing Sun, Kaiyang Zhou

机构 * Hong Kong Baptist University（香港浸会大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出Streamo，一个实时流式视频大语言模型，能执行多种视频任务，如实时叙述、动作理解等。通过大规模指令遵循数据集训练，Streamo在时间推理和多任务处理上表现优异，填补了离线视频模型与实时多模态助手之间的差距。

Comments Accepted by CVPR2026

EXAONE 4.5 Technical Report

EXAONE 4.5 技术报告

Eunbi Choi, Kibong Choi, Sehyun Chun, Seokhee Hong, Junwon Hwang, Hyojin Jeon, Ahra Jo, Hyunjik Jo, Yeonsik Jo, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Yongil Kim, Changhun Lee, Haeju Lee, Jinsik Lee, Kyungmin Lee, Sangha Park, Kwangrok Ryoo, Minju Seo, Sejong Yang, Heuiyeen Yeen, Hwan Chang, Stanley Jungkyu Choi, Yejin Choi, Kyubeen Han, Joonwon Jang, Kijeong Jeon, Geunyeong Jeong, Gerrard Jeongwon Jo, Jiyeon Jung, Daeseong Kim, Dohoon Kim, Dohyun Kim, Hyunseo Kim, Minu Kim, Myoungshin Kim, Youchul Kim, Byungoh Ko, Christopher Lee, Edward Hwayoung Lee, Honglak Lee, Jiyoung Lee, Sangeun Lee, Seungwon Lim, Woohyung Lim, Jueun Mun, Jaewoo Park, Jimin Park, Jinho Park, Yongmin Park, Wooseok Seo, Yongwoo Song, Sihyuk Yi, Kyungjae Yoo, Sangyeon Yoon

机构 * LG AI Research（LG AI 研究院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)

AI总结 EXAONE 4.5通过集成专用视觉编码器扩展EXAONE 4.0框架，实现多模态预训练，提升文档理解和语言能力，支持256K tokens上下文长度，优于同类模型。