视频大模型

RepWAM: World Action Modeling with Representation Visual-Action Tokenizers

RepWAM：基于表示视觉-动作分词器的世界动作建模

Junke Wang, Qihang Zhang, Shuai Yang, Yiming Luo, Yujun Shen, Zuxuan Wu, Yu-Gang Jiang, Yinghao Xu

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所） ； Robbyant, Ant Group（蚂蚁集团 Robbyant） ； Hongkong University of Science and Technology（香港科技大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 提出RepWAM，一种基于表示视觉-动作分词器的世界动作模型，通过联合建模未来视觉状态和潜在动作，在真实和仿真机器人操作任务中取得优异性能。

Comments Project page: https://wdrink.github.io/RepWAM

LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies

LaWAM: 用于高效动力学感知机器人策略的潜在世界行动模型

Jialei Chen, Kai Wang, Kang Chen, Shuaihang Chen, Feng Gao, Wenhao Tang, Zhiyuan Li, Weilin Liu, Zhuyu Yao, Boxun Li, Yuanbo Xu, Chao Yu

机构 * Tsinghua University（清华大学） ； Jilin University（吉林大学） ； Nankai University（南开大学） ； Peking University（北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Zhongguancun Academy（中关村学院） ； Striding.AI ； Infinigence AI 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 提出LaWAM模型，通过潜在视觉子目标预测场景变化，实现动力学感知的机器人控制，在多个基准上达到最优或竞争性成功率，且推理延迟低。

FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies

FineVLA：面向可操控视觉-语言-动作策略的细粒度指令对齐

Xintong Hu, Xuhong Huang, Jinyu Zhang, Yutong Yao, Yuchong Sun, Qiuyue Wang, Mingsheng Li, Sicheng Xie, Yitao Liu, Junhao Chen, Yixuan Chen, Yingming Zheng, Shuai Bai, Tao Yu

机构 * XLANG Lab, The University of Hong Kong（XLANG实验室，香港大学） ； Qwen Team, Alibaba Inc.（通义团队，阿里巴巴公司） 纠错

专题命中 动作与事件理解 ：video understanding(abstract)

AI总结 提出FineVLA框架，通过构建细粒度数据集和训练策略，在保持任务成功率的同时实现机器人动作的细粒度可控性。

Comments 26 pages, 7 figures, 25 tables