视觉大模型 / VLM

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

VLM-3R：融合指令对齐3D重建的视觉-语言模型

Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Shijie Zhou, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； XMU（厦门大学） ； TAMU（德克萨斯大学阿灵顿分校） ； UCR（加州大学河滨分校） ； UNC（北卡罗来纳大学教堂山分校） ； Meta ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出VLM-3R，通过融合3D重建指令微调，实现单目视频的3D空间辅助与具身推理，提升了视觉-空间推理和时间3D上下文理解的准确性和可扩展性。

Comments Project Page: https://vlm-3r.github.io/

Bridging Time and Space: Decoupled Spatio-Temporal Alignment for Video Grounding

弥合时空：解耦的时空对齐用于视频定位

Xuezhen Tu, Jingyu Wu, Fangyu Kang, Qingpeng Nong, Kaijin Zhang, Chaoyue Niu, Fan Wu

机构 * Shanghai Jiao Tong University（上海交通大学） ； ZTE Corporation（中兴通讯） 纠错

专题命中 VLM训练与架构 ：grounding(title,abstract)；MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Bridge-STG框架，通过解耦时空定位并保持语义连贯性，解决视频定位中时空对齐和视觉token冗余问题，实验表明其在多个基准上达到SOTA性能。

ST-Prune: Training-Free Spatio-Temporal Token Pruning for Vision-Language Models in Autonomous Driving

ST-Prune：面向自动驾驶的视觉-语言模型中无训练的时空令牌修剪

Lin Sha, Haiyun Guo, Tao Wang, Cong Zhang, Min Huang, Jinqiao Wang, Qinghai Miao

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Carizon ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对自动驾驶中多视角相机和多帧视频输入的计算开销问题，ST-Prune提出无训练的时空令牌修剪框架，通过MTP和RSP模块有效压缩时空冗余，实现90%令牌减少下的近无损性能。

Comments 18 pages, 4 figures

PhysMem: Scaling Test-time Physical Memory for Robot Manipulation

PhysMem：为机器人操作扩展测试时的物理内存

Haoyang Li, Yang You, Hao Su, Leonidas Guibas

机构 * Stanford University（斯坦福大学） ； UC San Diego（圣地亚哥大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 PhysMem通过测试时交互学习物理原理，提升机器人在不同环境下的物体操控能力，实验显示其在真实任务和模拟中均优于传统经验检索方法。

Multi-Task Reinforcement Learning for Enhanced Multimodal LLM-as-a-Judge

多任务强化学习用于增强多模态大语言模型作为裁判

Junjie Wu, Xuan Kan, Zihao He, Shunwen Tan, Bo Pan, Kaitai Zhang

机构 * Meta AI ； Hong Kong University of Science and Technology（香港科技大学） ； Emory University（埃默里大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出MT-RL-Judge框架，通过多任务强化学习优化多模态大语言模型作为裁判，提升判断一致性和与人类偏好的相关性，并在分布外任务中展现鲁棒泛化能力。

Comments ACL 2026 Industry Track

How to Teach Large Multimodal Models New Skills

如何向大型多模态模型传授新技能

Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google DeepMind（谷歌DeepMind） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文研究了如何在不丧失原有能力的前提下通过序列微调向大型多模态模型传授新技能，提出两种有效的微调方法以平衡学习与遗忘。

Comments In submission. Code is available at https://github.com/jessemelpolio/LMM_CL

HP-Edit: A Human-Preference Post-Training Framework for Image Editing

HP-Edit：一种用于图像编辑的人类偏好后训练框架

Fan Li, Chonghuinan Wang, Lina Lei, Yuping Qiu, Jiaqi Xu, Jiaxiu Jiang, Xinran Qin, Zhikai Chen, Fenglong Song, Zhixin Wang, Renjing Pei, Wangmeng Zuo

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Nankai University（南开大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出HP-Edit框架和RealPref-50K数据集，通过少量人类偏好评分数据和预训练视觉大语言模型开发自动评估器，提升图像编辑模型对人类偏好的契合度。

Comments Accepted by CVPR2026

Gated Coordination for Efficient Multi-Agent Collaboration in Minecraft Game

门控协调：Minecraft游戏中的高效多智能体协作

HuaDong Jian, Chenghao Li, Haoyu Wang, Jiajia Shuai, Jinyu Guo, Yang Yang, Chaoning Zhang

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)

AI总结 本文提出门控协调机制，通过分离私有状态与公共协调状态，减少通信噪声，提升多智能体在Minecraft中的协作效率与任务完成质量。

CLIPoint3D: Language-Grounded Few-Shot Unsupervised 3D Point Cloud Domain Adaptation

CLIPoint3D: 基于语言的少样本无监督3D点云领域适应

Mainak Singha, Sarthak Mehrotra, Paolo Casari, Subhasis Chaudhuri, Elisa Ricci, Biplab Banerjee

机构 * University of Trento（特伦托大学） ； MDSR Labs Adobe（Adobe MDSR实验室） ； IIT Bombay（印度理工学院班加罗尔分校） ； Fondazione Bruno Kessler（布鲁诺·科斯勒基金会） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出CLIPoint3D，首个基于CLIP的3D点云无监督领域适应框架，通过知识驱动的提示调优和熵引导视图采样策略，实现跨领域3D点云适应，实验表明在PointDA-10和GraspNetPC-10基准上性能提升3-16%。

Comments Accepted in CVPR 2026

REVEAL: Multimodal Vision-Language Alignment of Retinal Morphometry and Clinical Risks for Incident AD and Dementia Prediction

REVEAL：多模态视图-语言对齐的视网膜形态学与临床风险预测

Seowung Leem, Lin Gu, Chenyu You, Kuang Gong, Ruogu Fang

机构 * J. Crayton Pruitt Family Department of Biomedical Engineering, University of Florida（佛罗里达大学J. Crayton Pruitt家族生物医学工程系） ； Research Institute of Electrical Communication, Tohoku University（东北大学电气通信研究所） ； Department of Applied Mathematics & Statistics, Stony Brook University（石溪大学应用数学与统计学系） ； Department of Computer Science, Stony Brook University（石溪大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 REVEAL通过多模态对齐视网膜形态学与临床风险因素，提前8年预测阿尔茨海默病和痴呆症，优于现有模型。

Comments Accepted for publication a MIDL 2026

Lost in Translation: Do LVLM Judges Generalize Across Languages?

迷失在翻译中：大型视觉-语言模型（LVLM）的评判者是否能跨语言泛化？

Md Tahmid Rahman Laskar, Mohammed Saidul Islam, Mir Tafseer Nayeem, Amran Bhuiyan, Mizanur Rahman, Shafiq Joty, Enamul Hoque, Jimmy Huang

机构 * York University（约克大学） ； University of Alberta（阿尔伯塔大学） ； Nanyang Technological University（南洋理工大学） ； Salesforce AI Research（Salesforce AI研究） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 本文提出MM-JudgeBench，首个多语言多模态评判模型评估基准，包含60000+跨25种语言的配对偏好实例，揭示了LVLM评判器在跨语言性能上的显著差异，指出模型大小和架构并非多语言鲁棒性的良好预测因素。

Comments Accepted at ACL 2026 Findings