视觉大模型 / VLM

Task-Oriented Communication for Human Action Understanding via Edge-Cloud Co-Inference

面向任务的边缘-云协同通信用于人类动作理解

Jingyi Liu, Cheng Yuan, Lijun He, Jun Zhang, Jiawei Shao

机构 * Institute of Artificial Intelligence (TeleAI) of China Telecom（中国电信人工智能研究所） ； School of Information and Communications Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电子与计算机工程系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出TOAU框架，通过边缘-云协作减少传输负载和延迟，利用单目姿态估计器和VQ-VAE提取动作特征，提升动作理解精度。

Comments 12 pages, 6 figures

MolmoAct2: Action Reasoning Models for Real-world Deployment

MolmoAct2：面向现实部署的动作推理模型

Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Amazon（亚马逊公司） ； University of Michigan（密歇根大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)

AI总结 本文提出MolmoAct2，一个完全开放的动作推理模型，通过改进架构和引入新数据集，在五个方面提升性能，展示了在多个基准测试中优于现有模型的成果。

Comments 31 pages, project page: https://allenai.org/blog/molmoact2

HumanNet: Scaling Human-centric Video Learning to One Million Hours

HumanNet: 将以人为中心的视频学习扩展到一百万小时

Yufan Deng, Daquan Zhou

机构 * Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 HumanNet通过构建大规模人类活动视频数据集，探索以人为中心的视频在扩展具身基础模型中的潜力，展示其在动作生成和人机转移中的优势。

Comments Github: https://github.com/DAGroup-PKU/HumanNet Project website: https://dagroup-pku.github.io/HumanNet/

ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence on Mobile Devices

ProactiveMobile: 一个全面的基准，用于提升移动设备上的主动智能

Dezhi Kong, Zhengzhao Feng, Qiliang Liang, Hao Wang, Haofei Sun, Changpeng Yang, Yang Li, Peng Zhou, Shuai Nie, Hongzhen Wang, Linfeng Zhou, Hao Jia, Jiaming Xu, Runyu Shi, Ying Huang

机构 * HyperAI Team, Xiaomi Corporation（小米公司HyperAI团队） ； Zhejiang University（浙江大学） ； Peking University（北京大学） ； Northeastern University（东北大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出ProactiveMobile基准，通过多模态大语言模型在移动代理中实现主动智能，通过63个API生成可执行函数序列，实验表明Qwen2.5-VL-7B-Instruct在主动智能任务中表现优于其他模型。

Large Video Planner Enables Generalizable Robot Control

大视频规划器实现通用机器人控制

Boyuan Chen, Tianyuan Zhang, Haoran Geng, Caiyi Zhang, Peihao Li, Kiwhan Song, William T. Freeman, Jitendra Malik, Pieter Abbeel, Russ Tedrake, Vincent Sitzmann, Yilun Du

机构 * MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； Harvard（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。

Comments 29 pages, 16 figures

Membership Inference Attacks on Vision-Language-Action Models

针对视觉-语言-动作模型的成员推断攻击

Yuefeng Peng, Mingzhe Li, Kejing Xia, Renhao Zhang, Amir Houmansadr

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文首次系统研究了针对视觉-语言-动作（VLA）模型的成员推断攻击（MIAs），提出了样本级和轨迹级的攻击设置，并展示了在多个VLA基准和模型上，攻击方法在黑盒环境下表现出色，揭示了VLA模型在隐私方面的高风险。