视觉大模型 / VLM

Widget2Code: From Visual Widgets to UI Code via Multimodal LLMs

Widget2Code: 通过多模态大语言模型从视觉小部件到UI代码

Houston H. Zhang, Tao Zhang, Baoze Lin, Yuanqi Xue, Yincheng Zhu, Huan Liu, Li Gu, Linfeng Ye, Ziqiang Wang, Xinxin Zuo, Yang Wang, Yuanhao Yu, Zhixiang Chi

机构 * McMaster University（麦克马斯特大学） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； Concordia University（康考迪亚大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Widget2Code任务，通过多模态大语言模型提升小部件到UI代码的生成能力，设计了图像-only基准测试和WidgetFactory框架，提升视觉保真度。

Comments CVPR 2026, Code: https://github.com/Djanghao/widget2code

MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

MolmoB0T：大规模模拟实现零样本操控

Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出MolmoB0T，通过大规模模拟数据实现零样本操控，展示了在静态和移动操控任务中，无需真实世界微调即可有效迁移的成果。