视觉大模型 / VLM

SoftNav: Injecting 3D Scene Tokens into VLMs for Embodied Navigation

SoftNav：将3D场景令牌注入视觉语言模型以进行具身导航

Yi Wu, Junjie An, Xiao Liu, Yiqun Zhou, Yuechen Wu, Xiaoqing Guan, Shuyang Yu, You Wang, Guang Li

机构 * Zhejiang University（浙江大学） ； Shandong University（山东大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 研究针对具身导航中3D场景理解与导航推理协同问题，提出SoftNav方法，通过轻量级投影仪将3D连续表示作为软令牌注入VLM隐藏空间，在HM3D-OVON上超越先前方法，且能零样本转移到其他场景，弥合表征差距实现可转移导航。

Comments 8 pages, 6 figures. Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

Action QFormer: Structured Representation Shaping under Action Supervision in Vision-Language-Action Models

动作QFormer：视觉-语言-动作模型中动作监督下的结构化表示塑造

Yufeng Ji, Wenhao Tang, Haoyi Niu, Koushil Sreenath, Yi Wu, Zhongyu Li

机构 * Shanghai Qizhi Institute（上海期智研究院） ； The Chinese University of Hong Kong（香港中文大学） ； Hong Kong Embodied AI Lab（香港具身人工智能实验室） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉-语言-动作模型中动作监督问题，提出动作QFormer，通过基于指令的查询重组多模态信息。在零样本模拟到真实导航中提升了任务成功率、动作生成正确性等，还改变动作监督塑造多模态表示的方式，为提高VLA性能提供新思路。

Grow-Prune-Freeze Networks: Adaptive & Continual Learning Technique for Olfactory Navigation

生长-剪枝-冻结网络：用于嗅觉导航的自适应与持续学习技术

Kordel K. France, Ovidiu Daescu

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出生长-剪枝-冻结（GPF）网络框架，通过动态调整策略网络层数实现持续学习，在湍流羽流导航任务中达到94%成功率，并推广到其他机器学习任务。

Comments Accepted as poster to the Reinforcement Learning in Big Worlds Workshop at the 2026 Reinforcement Learning Conference

Tactile: Giving Computer-Using Agents Hands and Feet

触觉：赋予使用计算机的智能体双手和双脚

Yong Liu, Zhenyi Zhong, Zhanpeng Shi

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 研究针对计算机使用智能体操作层脆弱的问题，提出开源工具Tactile，将异构UI证据转换为基于动作的接口状态，通过特定循环操作。在相关任务中能提升Codex Success@100，证明可靠计算机使用需更强模型及可重用执行基础。

DiMaS: Distribution Matching for Steering Vision-Language-Action Models

DiMaS：用于引导视觉-语言-动作模型的分布匹配

Pegah Khayatan, Sara Meziane, Jayneel Parekh, Matthieu Cord

机构 * ISIR, Sorbonne Université（法国国家信息与自动化研究所，索邦大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG

AI总结 研究针对基于流匹配的视觉-语言-动作模型细粒度行为控制不足的问题，提出DiMaS分布匹配引导策略，能有效控制行为，研究其泛化性并分析原因，推动了视觉运动设置下的分布匹配设计。

MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation

MAG：用于多模态动作与引导生成的网络智能体基准测试与工具包

Chengguang Gan, Hanjun Wei, Yunhao Liang, Zhixi Cai, Qinghao Zhang, Shiwen Ni

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Monash University（莫纳什大学） ； Pusan National University（釜山国立大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 介绍MAG这一网络智能体基准测试，统一任务执行与引导写作，有基于截图的定位方案和完整工具包。用其评估模型并详细分析，还设计GRPO训练方法，提升智能体成功率与引导质量，指出当前模型任务完成率低，为后续研究提供方向。

Comments 8 pages main text, 21 pages total including appendices; 11 figures, 7 tables, 2 algorithms. Benchmark, harness, and model checkpoints to be released

Native Video-Action Pretraining for Generalizable Robot Control

用于可泛化机器人控制的原生视频动作预训练

Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 研究针对机器人控制中视频动作模型应用于物理环境的不足，提出LingBot-VA 2.0，通过语义视觉动作分词器等四个核心设计原则构建基础模型，经真实世界部署验证其在复杂操作任务中的少样本泛化能力。

CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

CosFly-VLA：一种用于无人机跟踪的空间感知视觉-语言-动作模型

Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

机构 * Autel Robotics（大疆创新科技有限公司） ； Northeast Normal University（东北师范大学） ； Southern University of Science and Technology（南方科技大学） ； Peking University（北京大学） ； University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 针对复杂城市环境中无人机动态目标跟踪问题，提出CosFly-VLA模型，通过结构化预测接口联合定位目标、估计可见性并生成飞行动作。经多阶段训练，该模型在开环误差和闭环成功率上有显著提升，实现从可见帧模仿到空间基础动作闭环控制的进展。