视觉大模型 / VLM

Fine-Tuning Vision-Language Models for Understanding Current Damage and Scoring Priority with Quality Guard Agent

微调视觉语言模型以理解当前损伤并使用质量卫士代理进行优先级评分

Takato Yasuno

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文通过微调LLaVA-1.5-7B视觉语言模型，结合规则引擎和质量卫士代理，实现了桥梁损伤自动理解与修复优先级评分，有效降低了评分变异并提升了效率。

Comments 23 pages, 11 figures, 13 tables

Object-Centric Vision Token Pruning for Vision Language Models

面向视觉语言模型的以对象为中心的视觉令牌剪枝

Guangyuan Li, Rongzhen Zhao, Jinhong Deng, Yanbo Wang, Joni Pajarinen

机构 * Aalto University（阿alto大学） ； University of Electronic Science and Technology of China（电子科学与技术大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出OC-VTP方法，通过轻量预训练以对象为中心的视觉令牌剪枝器，直接选择最具代表性的视觉令牌，在保持高精度的同时提升VLM推理效率。

ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment

ICG: 通过基于MLLM的提示和个性化偏好对齐改进封面图像生成

Zhipeng Bian, Jieming Zhu, Qijiong Liu, Wang Lin, Guohao Cai, Zhaocheng Du, Jiacheng Sun, Zhou Zhao, Zhenhua Dong

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)

AI总结 提出ICG框架，利用多模态大语言模型和扩散模型，通过元标记提取语义特征、用户嵌入个性化对齐及多奖励学习策略，实现高质量、个性化封面图像生成。

Comments Published in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 12268-12278, EMNLP 2025. Official version: https://doi.org/10.18653/v1/2025.emnlp-main.617

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (Main Track) EMNLP 2025 12268-12278

Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models

超越代理梯度：面向视觉-语言模型的完全可微分令牌剪枝

Landi He, Mingde Yao, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳大学先进技术学院） ； CUHK MMLab（香港中文大学MMLab） ； CPII under InnoHK（创新工场CPII） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出DiffPrune方法，通过将剪枝重新表述为令牌信息的连续控制而非离散选择学习，利用信息节流阀调节令牌，实现完全可微分的令牌重要性学习，在保持96.5%全模型精度的同时将LLM预填充加速2.85倍。

Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models

哪种预训练范式更有利于空间智能？视觉-语言模型与视频生成模型的实证比较

Haozhan Shen, Tiancheng Zhao, Kangjia Zhao, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Om AI Research（Om人工智能研究） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文通过冻结特征探测研究，系统比较了视觉-语言模型（VLM）和视频生成模型（VGM）在语义标注、实例分组和3D几何预测三个空间智能维度上的表现，发现两者互补且简单融合可提升整体性能。

Comments Code is here: \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}

Text-Only Data Synthesis for Vision Language Model Training

仅文本数据合成用于视觉语言模型训练

Xiaomin Yu, Wenjie Zhang, Ziyue Qiao, Chengwei Qin, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Great Bay University（大湾大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出一个跨集成的三阶段多模态数据合成框架，仅从文本生成高质量多模态训练数据，用于视觉语言模型的预训练和指令微调。

Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

跨描绘装配指令对齐的视觉-语言模型基准测试与机制分析

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿alto大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 构建IKEA-Bench基准，评估19个视觉-语言模型在装配图与视频帧对齐任务上的表现，发现视觉编码是提升跨描绘鲁棒性的关键瓶颈。

Heterogeneous Parallelism for Multimodal Large Language Model Training

多模态大语言模型训练的异构并行

Yashaswi Karnati, Kamran Jafari, Akash Mehra, Li Ding, Pranav Prashant Thombre, Ali Roshan Ghias, Shifang Xu, Parth Mannan, Yu Yao, Hao Wu, Eric Harper, Ashwath Aithal, Nima Tajbakhsh

机构 * NVIDIA 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.LG

AI总结 针对多模态大语言模型训练中单一LLM中心并行布局导致的吞吐量瓶颈，提出异构并行抽象，允许各模块独立布局和放置，并通过边界通信器实现张量语义保持，实验表明可提升TFLOPS/GPU最高49.3%。

NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval

NanoVDR：将20亿参数的视觉语言检索器蒸馏为7000万参数的纯文本编码器用于视觉文档检索

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿alto大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 利用查询-文档不对称性，通过蒸馏将20亿参数的视觉语言模型教师蒸馏为7000万参数的纯文本学生编码器，采用点态余弦对齐目标，实现视觉文档检索的高效推理。

Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning

联邦学习中解耦训练与局部强化微调

Yuting Ma, Lechao Cheng, Xiaohua Xu

机构 * School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出FedDTL框架，通过解耦图像和文本编码器训练并引入两阶段局部微调（监督微调+强化学习），解决联邦学习中客户端间优化不一致和客户端内过专门化问题，平衡全局任务适应性与泛化能力。

Comments This work has been accepted by ICML 2026

Bounded-Compute Multimodal Regression for Product-Rating Prediction

有界计算多模态回归用于产品评分预测

William Leach, Ru He, Sizhuo Ma, Yizhen Jia, Min Cao, Jian Wang, Rick Cao

机构 * Snap Inc. 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对严格延迟预算下的标量回归任务，提出一种有界计算适配方法，通过替换语言模型头为轻量MLP并固定输入，在LoViF 2026挑战赛中实现高效多模态回归。

Comments Accepted to the LoViF Workshop at CVPR 2026. 8 pages, 2 figures

VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer

VidPrism: 用于图像到视频迁移的异构混合专家模型

Rui Lin, Chuanming Wang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出VidPrism，一种异构时间混合专家框架，通过功能专业化专家、内容感知多速率采样和动态双向融合机制，解决传统MoE中专家同质化问题，在视频识别基准上达到最先进性能。

Comments CVPR2026 camera ready

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/LAMDA-CL/Prism

From Pixels to Words -- Towards Native One-Vision Models at Scale

从像素到文字——迈向原生单视觉大规模模型

Haiwen Diao, Jiahao Wang, Penghao Wu, Yuhao Dong, Yuwei Niu, Yue Zhu, Zhongang Cai, Weichen Fan, Linjun Dai, Silei Wu, Xuanyu Zheng, Mingxuan Li, Yuanhan Zhang, Bo Li, Hanming Deng, Huchuan Lu, Quan Wang, Lei Yang, Lewei Lu, Dahua Lin, Ziwei Liu

机构 * S-Lab, NTU（S实验室，国立科技大学） ； SenseTime Research（商汤科技研究院） ； DLUT（大连理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 本文提出NEO-ov原生基础模型，通过端到端学习跨帧和像素-文字对应，无需外部编码器或适配器，在细粒度视觉感知上缩小了与模块化模型的差距，验证了原生单视觉架构的可行性和竞争力。

Comments 13 pages, 6 figures

Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation

Proprio: 用于物理合理视频生成的潜在自评分与推理时精炼

Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Télécom Paris（巴黎电信学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Proprio，一种无需训练框架，通过分析模型在潜在扰动下的流残差作为自评分信号，结合最佳N搜索和梯度自精炼，提升冻结视频生成器输出的物理合理性。

CuriosAI Submission to the CASTLE Challenge at EgoVis 2026

CuriosAI 在 EgoVis 2026 CASTLE 挑战赛中的提交

Yuto Kanda, Hayato Tanoue, Takayuki Hori

机构 * SoftBank Corp（软银公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对600多小时多视角自我中心视频的185道选择题，提出SVA（搜索-验证-回答）三阶段流水线和TMKG（时间多模态知识图谱）两种方法，SVA达到0.50准确率并作为最终提交。

Comments The 4th place solution for the CASTLE Challenge at the CVPR EgoVis Workshop 2026

RoofNet: A Global Multimodal Dataset for Roof Material Identification from Earth Observation

RoofNet: 用于地球观测屋顶材料识别的全球多模态数据集

Benjamin Tarver, Noelle Law, Sasha Getz, Yuki Miura

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 针对建筑屋顶材料数据缺失问题，提出RoofNet数据集，包含101个国家49,662个建筑实例的14类屋顶材料标签，结合多模态标注流程和微调方法，将零样本分类准确率从4.9%提升至47.7%，并展示了材料感知数据对灾害风险评估的影响。

Comments v3: Restructured manuscript with updated framing, added hazard case study, clarified data release/licensing, and refined main text and appendix for clarity

Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering

超越可解释性：稀疏自编码器何时、为何以及如何实现无标签视觉引导

Gerasimos Chatzoudis, Zhuowei Li, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

机构 * Department of Computer Science, Rutgers University（罗格斯大学计算机科学系） ； Department of Statistics, Rutgers University（罗格斯大学统计系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出无标签视觉稀疏引导方法VS2，通过训练稀疏自编码器并利用其重构误差和稀疏特征放大来引导冻结的视觉语言模型，在九个图像分类数据集上提升零样本准确率。

Structure-Guided Visual Perturbation Neutralization for LVLMs

结构引导的视觉扰动中和用于大型视觉语言模型

Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology of China（中国科学技术大学） ； JIUTIAN Research（JIUTIAN研究所） ； Nanyang Technological University（南洋理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出结构诱导引导中和（SIGN）框架，通过先验结构提取和动态引导中和实现轻量级、即插即用的对抗性防御，在仅0.5%像素修改和0.16秒每图下达到87%以上防御成功率。

ProgVLA: Progress-Aware Robot Manipulation Skill Learning

ProgVLA：进度感知的机器人操作技能学习

Seungsu Kim, Jinyoung Choi, Seungmin Baek, Jean-Michel Renders

机构 * NAVER LABS（NAVER实验室） ； NAVER LABS Europe（NAVER实验室欧洲） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 提出ProgVLA，一种紧凑的视觉-语言-动作模型，通过显式表示任务进度和两阶段Perceiver重采样机制，在有限计算和内存下实现长序列多模态处理，并在多任务操作基准上达到或超越大模型性能。

DebFilter: Eradicating Biases Stashed in Value

DebFilter: 消除隐藏在值中的偏见

Seung Hyuk Lee, Songkuk Kim

机构 * School of Integrated Technology, BK21 Graduate Program in Intelligent Semiconductor Technology（整合技术学院，智能半导体技术BK21研究生项目） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出DebFilter，一种轻量级、无需训练的方法，通过调整交叉注意力中的值分量来纠正文本到图像扩散模型中的社会偏见，实现推理时偏差缓解。

Comments 8 pages, 7 figures, supplementary material included, CVPR 2026

Tool Forge: A Validation-Carrying Toolchain for Governed Agentic Execution

Tool Forge：一种用于受控代理执行的携带验证的工具链

Swanand Rao

机构 * Next Moca Global, Inc.（Next Moca全球公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出 Tool Forge，一种将自然语言能力意图转换为经过验证、沙盒验证、编目工具制品，并通过令牌高效路由层暴露给代理的工具链，解决了代理执行中工具层缺乏治理和验证的问题。

Comments 9 pages, 2 figures, 3 tables. Code: https://github.com/nextmoca/tool-forge