视觉大模型 / VLM

FineVision: Open Data Is All You Need

FineVision: 你只需要开放数据

Luis Wiedmann, Orr Zohar, Amir Mahla, Xiaohan Wang, Rui Li, Thibaud Frere, Leandro von Werra, Aritra Roy Gosthipaty, Andrés Marafioti

机构 * Hugging Face ； Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FineVision，一个包含2400万样本的高质量数据集，通过半自动化流程整合了200多个来源，通过严格的数据清洗和人工审核确保数据质量，训练基于该数据集的模型在广泛评估中表现更优，推动数据驱动的视觉语言模型研究。

Reinforcing VLAs in Task-Agnostic World Models

在任务无关的世界模型中强化视觉-语言-动作

Yucen Wang, Rui Yu, Fengming Zhang, Junjie Lu, Xinyao Qin, Tianxiang Zhang, Kaixin Wang, Li Zhao

机构 * Microsoft Research Asia（微软亚洲研究院） ； Nanjing University（南京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Wuhan University（武汉大学） ； University of Technology Sydney（悉尼科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出RAW-Dream方法，通过分离世界模型学习与下游任务依赖，利用预训练的世界模型和现成的视觉-语言模型，实现零样本推理，从而在无需任务特定数据的情况下提高VLA适应性。

How You Move Tells What You'll Do: Trajectory-Conditioned Egocentric Prediction

如何移动决定了将来的行动：轨迹条件的自身视角预测

Sejoon Jun, Hai Nguyen-Truong, Luigi Seminara, Lorenzo Torresani

机构 * Khoury College of Computer Sciences, Northeastern University, Boston（北德文斯克学院，东北大学，波士顿） ； Korea Advanced Institute of Science and Technology, Daejeon（韩国科学技术院，大田） ； Department of Mathematics and Computer Science, University of Catania, Italy（卡塔尼亚大学数学与计算机科学系，意大利） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究通过轨迹条件自身视角预测，发现轨迹能更精确地表达意图，从而在任务规划中优于语言条件，且在预测时无需观察轨迹即可获得显著优势。

Comments Project page: https://farsightlab.github.io/TrajPilot

VLANeXt: Recipes for Building Strong VLA Models

VLANeXt: 构建强大VLA模型的配方

Xiao-Ming Wu, Bin Fan, Kang Liao, Jian-Jian Jiang, Runze Yang, Yihang Luo, Zhonghua Wu, Wei-Shi Zheng, Chen Change Loy

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； SenseTime Research（商汤科技研究院） ； Sun Yat-sen University（中山大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过统一框架和评估设置重新审视VLA设计空间，系统分析了基础组件、感知要素和动作建模视角，总结出12项关键发现，提出了一种简单有效的VLA模型VLANeXt，并在LIBERO和LIBERO-plus基准测试中超越了现有方法，同时提供了易于使用的代码库。

Comments Accepted in ICML 2026, Project Page: https://dravenalg.github.io/VLANeXt/

AI-Assisted Competency Assessment from Egocentric Video in Simulation-Based Nursing Education

基于仿真护理教育的自主学习能力评估：通过第一人称视频进行AI辅助评估

Hanchen David Wang, Yilin Liu, Madison J. Lee, Surya Chand Rayala, Gautam Biswas, Daniel T. Levin, Meiyi Ma

机构 * Vanderbilt University（范德比大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于第一人称视频的AI辅助评估框架，通过提取动作时间线、序列特征和识别指标，发现识别准确率与能力之间存在负相关关系，表明识别准确率可以作为自动化评估中的教学信息信号。

Comments Accepted at CVPR Workshop

Mem-$π$: Adaptive Memory through Learning When and What to Generate

Mem-$π$: 通过学习何时以及生成什么来实现自适应记忆

Xiaoqiang Wang, Chao Wang, Hadi Nekoei, Christopher Pal, Alexandre Lacoste, Spandana Gella, Bang Liu, Perouz Taslakian

机构 * ServiceNow AI Research（ServiceNow AI研究院） ； Mila -- Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 Mem-$π$ 通过学习在何时以及生成什么来实现自适应记忆，利用专门的语言或视觉-语言模型生成上下文特定的指导，从而在多种代理任务中优于基于检索和先前RL优化的记忆基线。

Comments Work in progress

PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction

PointACT: 多尺度点-动作交互的视觉-语言-动作模型

Shizhe Chen, Paul Pacaud, Cordelia Schmid

机构 * Inria（法国国家信息与自动化研究所） ； École normale supérieure（法国高等科学研究院） ； CNRS（法国国家科学研究中心） ； PSL Research University（巴黎综合理工研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出PointACT，一种集成层次化3D点云表示的3D感知视觉-语言-动作政策，通过多尺度点-动作交互机制提升机器人在3D环境中的精细几何推理和空间定位能力。

Comments Accepted to RSS 2026; project webpage: https://cshizhe.github.io/projects/pointact.html

SurgOnAir: Hierarchy-Aware Real-Time Surgical Video Commentary

SurgOnAir: 基于层次感知的实时手术视频评论

Jingyi He, Yue Zhou, Long Bai, Kun Yuan, Nassir Navab, Yuan Bi

机构 * Computer Aided Medical Procedures (CAMP), TU Munich, Germany Munich Center for Machine Learning (MCML), Munich, Germany University of Strasbourg, France The Chinese University of Hong Kong, Hong Kong 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究提出SurgOnAir，一种流式视觉-语言模型，通过层次化数据集实现对手术流程多层级的实时理解与评论生成，提升手术过程中的即时响应能力。