视觉大模型 / VLM

Click2Poly: A VLM for vector mapping buildings and walls

Click2Poly：用于建筑物和墙壁矢量绘制的VLM

Nicolas Girard, Jawher Ben Abdallah, Arno Gobbin, Liuyun Duan, Sacha Lepretre

机构 * LuxCarta 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 该研究提出基于Florence-2 VLM的人在环AI助手Click2Poly，以QGIS插件形式实现，可响应用户点击编辑矢量层，加快建筑物和墙壁矢量绘制的手动编辑流程。

Journal ref IGARSS 2026

VOLA: Improving Open-World Driving by VLM-Based Semantic Attribute Prediction

VOLA：通过基于VLM的语义属性预测改进开放世界驾驶

Yuchen Zhang, Yuan Gao, Sebastian Schmidt, Johannes Betz

机构 * Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV

AI总结 VOLA模型基于VLM图像token预测驾驶相关属性，在开放世界驾驶场景中，对训练外新障碍物的易损性等级召回率优于纯视觉分割器和提示式VLM分割器。

Comments 16 pages, 8 figures

How China-Origin Vision-Language Models Move from Refusal to Reframing in State Alignment

中国起源的多模态视觉语言模型如何在状态对齐中从拒绝转向重构

Guang Yang, Fengchen Liu, Alex Wang, Homa Hosseinmardi, Amir Ghasemian

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 该研究构建基准测试9个视觉语言模型，发现中国起源模型更易进行状态对齐重构，且审查从可见的拒绝转向不可见的重构，这对人机交互存在影响。

Comments 41 pages, 31 figures, 9 tables. Preprint

VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation

VLM2Rec: 解决视觉语言模型嵌入器在多模态序列推荐中的模态崩溃问题

Junyoung Kim, Woojoo Kim, Wonbin Kweon, Jaehyung Lim, Dongha Kim, Hwanjo Yu

机构 * Pohang University of Science 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出VLM2Rec框架，通过弱模态惩罚对比学习和跨模态关系拓扑正则化，解决多模态序列推荐中模态崩溃问题，提升推荐准确性和鲁棒性。

Ortho2CAD: 3D CAD generation from orthographic drawings using vision language models

Ortho2CAD：使用视觉语言模型从正投影图生成3D CAD

Aditya Joglekar, Amit Regmi, Kenji Shimada, Levent Burak Kara

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)

AI总结 研究旨在解决工程设计中从正投影图到3D CAD模型转换的问题，核心方法是利用视觉语言模型Ortho2CAD，通过监督微调与强化学习训练，借助绘图生成器实现大规模学习，主要贡献是代码有效率高且3D CAD精度超基线。

A Simple Efficiency Incremental Learning Framework via Vision-Language Model with Nonlinear Multi-Adapters

通过非线性多适配器的视觉-语言模型实现简单的效率增量学习框架

Haihua Luo, Xuming Ran, Jiangrong Shen, Timo Hämäläinen, Zhonghua Chen, Qi Xu, Fengyu Cong

机构 * Faculty of Information Technology, University of Jyväskylä（信息科技学院，于韦斯屈耶大学） ； National University of Singapore（新加坡国立大学） ； Lab of Brain-Machine Intelligence, Zhejiang University（脑机智能实验室，浙江大学） ； School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SimE框架，利用视觉-语言模型与适配器提升增量学习效率，发现适配器连接数与模型能力呈非线性关系，实验表明在TinyImageNet和CIFAR-100上优于传统方法。

HUGIN: Enhancing Vision-Language Planning for Autonomous Logistics Sorting

HUGIN：增强自主物流分拣的视觉-语言规划能力

Xikai Sun, Cangtian Zhou, Kebin Liu, Ke Ma, Xu Wang, Zaishu Chen, Haotian Wang, Li Liu, Yunhao Liu

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对自主物流分拣的联合多场景理解挑战，提出HUGIN训练框架，构建SortingBench基准，在多VLMs上性能提升，验证了方法有效性与实际可行性。

StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

StateFlow：用于预可视化的3D世界状态的构建、演化与访问

Yuyang Yin, Zixiang Li, Longxuan Deng, Hongkai Li, Shifang Zhao, Junnan Liu, Weirong Huang, Mengyu Wang, Tianxiao Fu, Yikai Wang, Peng-Shuai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； Mootion AI ； Beijing Normal University（北京师范大学） ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 StateFlow是一种以状态为中心的预可视化框架，通过构建、演化、访问可编辑3D世界的三阶段方法，提升生成预可视化的可控性与迭代编辑能力，可生成高质量3D世界用于视频创作和游戏原型设计。

Comments Project Page: https://yuyangyin.github.io/StateFlow

HandEdit: A Unified Benchmark for Egocentric Human-to-Robot Dexterous Hand Image Editing

HandEdit：用于自我中心视角下人类到机器人灵巧手图像编辑的统一基准

Zhenjie Yang, Xingyu Jiao, Guopeng Zhong, Shuzhe Yang, Shi Che, Chao Wu, Chenyu Jiang, Dongjie Zhang, Yideng Zhang, Zheng Zhang, Muyun Jiang, Haisheng Su, Shuang Jin, Donghang Zhang, Chao Yang, Li Chen, Hongyang Li, Zuxuan Wu, Yu-Gang Jiang, Xiaosong Jia, Junchi Yan

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 HandEdit是含2亿+实例、覆盖26种URDF的统一具身感知图像编辑基准，用于弥合人类与机器人数据差异，可评估11种图像编辑基线，助力具身人工智能发展。

Comments Technical Report. Project Page: https://handedit.github.io/

World Tokens: Enhancing Embodied Policies with Training-Time World Modeling

世界令牌：通过训练时世界建模增强具身策略

Qu Tang, Benhui Zhuang, Bo Yuan, Xue Yu, Longteng Guo, Junlan Feng

机构 * JIUTIAN Research（九天研究院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出World Tokens架构，通过训练时的World Adapter衔接视觉-语言理解、世界动态建模与动作生成，在保持高效部署的同时提升具身策略性能，在多个基准测试中取得优异结果。

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

LookBack：通过视觉参考使用情况对LVLM响应进行评分的位置与方法

Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对LVLM响应存在的图像相关幻觉问题，提出无需训练的LookBack评分方法，结合视觉回溯评分增强token似然，在四个基准和三个模型上提升了Best-of-$N$选择性能且开销极小。

Comments 19 pages, 10 figures. Code: https://github.com/bscho333/LookBack

Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads

低交互秩学习：统一乘法双编码器头

Zijian Zhao, Sen Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出低交互秩学习框架，统一乘法双编码器头架构，解决其设计决策、可识别性等问题，经实验验证该框架可解释对比维度不可解释性并恢复真实模式。

When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use

当API“说错”语言：重新审视多语言工具使用的后训练

Siddharth Chauhan, Thomas Butler, Abhishek Singhania, Pankaj Porwal, Honey Gupta

机构 * Amazon（亚马逊） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 针对多语言API调用中存在的参数语言不匹配问题，研究发现监督微调可实现接近或优于复杂强化学习方法的性能，强化学习仅能提供渐进式改进。

XBridge: Entity-Grounded Latent Bridge for Heterogeneous LLM Communication

XBridge：面向异构大语言模型通信的实体锚定隐空间桥接器

Wooseong Yang, Wei-Chieh Huang, Weizhi Zhang, Yu Wang, Philip S. Yu, Junhyun Lee

机构 * Hankuk University of Foreign Studies（韩国外国语大学） ； Noah’s Farm（诺亚农场） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Capital One AI Foundations（Capital One AI 基金会） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 XBridge是免解码的异构大语言模型通信协议，通过词汇锚定映射和隐空间丰富桥接器解决跨架构通信的实体身份丢失问题，在多模型、多基准测试中表现优于现有方法，参数开销低。

Comments 18 pages, 4 figures