视觉大模型 / VLM

Can Image Models Imagine Time? ImageTime: A Novel Benchmark for Probing Visual World Modeling Through Spatiotemporal Consistency

图像模型能想象时间吗？ImageTime：通过时空一致性探究视觉世界建模的新基准

Xinrui Wu, Lichen Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出ImageTime基准，通过四关键帧协议（初始状态、动作开始、过渡状态、最终状态）评估图像生成模型在时空一致性上的表现，揭示模型在维持连贯视觉世界状态方面的能力与不足。

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO：遗忘感知正交化优化器

Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

机构 * School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） ； Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出FOGO优化器，通过谱正交化动量更新并利用紧凑码本记忆解决梯度干扰，在类别不平衡、持续学习和大模型微调等场景中提升收敛与知识保留。

HANDOFF: Humanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers

HANDOFF: 通过蒸馏互补教师实现人形机器人任务空间全身控制

Lizhi Yang, Junheng Li, Nehar Poddar, Yiling Hou, Gio Huh, Robert Griffin, Georgia Gkioxari, Aaron Ames

机构 * California Institute of Technology（加州理工学院） ； The Institute for Human & Machine Cognition（人机认知研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出HANDOFF框架，通过多教师KL蒸馏和上下文门控机制，将全身运动跟踪、行走和跌倒恢复三个专家策略融合为混合专家学生策略，实现基于紧凑显式接口的全身控制，在Unitree G1上达到先进的速度跟踪性能并扩展了操作工作空间。

Comments 22 pages, 9 figures, Project page: https://lzyang2000.github.io/HANDOFF/

Enhancing Video Representations with Spatiotemporal-Semantic Residual to Mitigate Hallucinations in Video Large Multimodal Models

增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉

Yuansheng Gao, Jinman Zhao, Tong Zhang, Xingguo Xu, Wenbin Xing, Han Bao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。

Comments Preprint

ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning

ProtoAda: 原型引导的自适应适配器扩展与几何整合用于多模态持续指令微调

Yu-Cheng Shi, Zhen-Hao Xie, Jun-Tao Tang, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出ProtoAda框架，通过格式感知任务原型和几何感知参数整合，解决多模态持续指令微调中任务路由错误和梯度干扰问题。

Modality Alignment across Trees on Heterogeneous Hyperbolic Manifolds

异质双曲流形上的树间模态对齐

Wei Wu, Xiaomeng Fan, Yuwei Wu, Zhi Gao, Pengxiang Li, Yunde Jia, Mehrtash Harandi

机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Electrical and Computer System Engineering, Monash University（电子与计算机系统工程系，墨尔本大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出一种在异质双曲流形上对齐图像和文本树状层次特征的方法，通过交叉注意力提取视觉层次特征、异质流形嵌入及KL距离度量学习中间流形，在开放集分类任务中优于基线。

Comments Published as a conference paper at ICLR 2026

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026), Rio de Janeiro, Brazil, 2026

VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer

VidPrism: 用于图像到视频迁移的异构混合专家模型

Rui Lin, Chuanming Wang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出VidPrism，一种异构时间混合专家框架，通过功能专业化专家、内容感知多速率采样和动态双向融合机制，解决传统MoE中专家同质化问题，在视频识别基准上达到最先进性能。

Comments CVPR2026 camera ready

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/LAMDA-CL/Prism

Not All Tokens Matter Equally: Dynamic In-context Vector Distillation with Decisive-Token Supervision for Long-form Medical Report Generation

并非所有标记都同等重要：基于关键标记监督的动态上下文向量蒸馏用于长医学报告生成

Ning Wu, Rui Liu, Xinkun Lin, Weixing Chen, Jinxi Xiang, Tao Wei, Lina Yao, Mingjie Li

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； University of Technology Sydney（技术大学悉尼分校） ； School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出DIVE框架，通过关键标记监督和状态条件动态引导，解决长文本生成中标记级蒸馏忽略关键标记的问题，在医学报告生成任务上取得最佳性能。

Comments Preprint. 20 pages, 6 figures

$Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

$Δ\mathrm{Energy}$: 优化视觉-语言对齐过程中的能量变化提升OOD检测与OOD泛化

Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出ΔEnergy分数，通过重新对齐视觉-语言模态时的能量变化来同时提升分布外检测和分布外泛化性能，并基于此开发了统一微调框架EBM。

Comments Accepted by NeurIPS2025

Distill to Think, Foresee to Act: Cognitive-Physical Reinforcement Learning for Autonomous Driving

蒸馏思考，预见行动：面向自动驾驶的认知-物理强化学习

Yang Wu, Qiang Meng, Zhaojiang Liu, Youquan Liu, Jian Yang, Jin Xie

机构 * NJU（南京大学） ； SJTU（上海交通大学） ； FDU（福建大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出CoPhy框架，通过蒸馏VLM知识到BEV编码器实现零推理成本的认知能力，并构建自回归BEV世界模型预测未来语义地图以提供可解释的物理沙盒，结合双奖励机制（物理奖励和安全约束、认知奖励和意图对齐）优化驾驶策略，在NAVSIM基准上取得最优结果。

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

Universal Reasoner: 一个单一、可组合的即插即用推理器用于冻结的LLM

Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

机构 * Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology（人工智能研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Universal Reasoner，一种可组合且即插即用的推理模块，能够在冻结的大规模语言模型上提供专门的推理能力，通过共享或对齐的token空间实现弱到强的泛化，实验表明其在数学推理和机器翻译中优于现有微调方法。

Comments ICML 2026

UAM: A Dual-Stream Perspective on Forgetting in VLA Training

UAM：VL A训练中遗忘的双流视角

Jianke Zhang, Yuanfei Luo, Yucheng Hu, Xiaoyu Chen, Yanjiang Guo, Ziyang Liu, Hongbin Xu, Tian Lan, Jianyu Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出UAM模型，通过双流架构解决VL A训练中因单一编码器导致的多模态能力下降问题，展示了通过架构分离而非冻结权重或辅助数据可实现语义保留，并在多种任务中取得高成功率。

ECHO: Efficient Chest X-ray Report Generation with One-step Block Diffusion

ECHO: 通过一步块扩散实现高效的胸部X光报告生成

Lifeng Chen, Tianqi You, Hao Liu, Zhimin Bao, Jile Jiao, Xiao Han, Zhicai Ou, Tao Sun, Xiaofeng Mou, Xiaojie Jin, Yi Xu

机构 * Beijing Jiaotong University（北京交通大学） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出ECHO，一种基于扩散模型的高效视觉-语言模型，用于生成胸部X光报告，通过一步块扩散和响应不对称扩散策略，显著提高了生成效率和文本连贯性，同时在临床准确性上保持良好表现。

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding

重新审视你所见：揭示视觉语义以引导LVLM解码

Beomsik Cho, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文通过分析发现视觉token在幻觉中仍提供有效信息，提出ReVisiT方法通过参考视觉token引导LVLM解码，减少计算成本并提升性能。

Comments ACL 2026 Main Conference (Oral). 30 pages, 10 figures. Code: https://github.com/bscho333/ReVisiT

Agent-Based Post-Hoc Correction of Agricultural Yield Forecasts

基于代理的农业产量预测事后修正

Matthew Beddows, Aiden Durrant, Georgios Leontidis

机构 * School of Natural and Computing Sciences（自然与计算科学学院） ； University of Aberdeen（阿伯丁大学） ； School of Computing Sciences（计算科学学院） ； University of East Anglia（东安格利亚大学） ； Department of Physics and Technology（物理与技术系） ； UiT The Arctic University of Norway（北欧大学（UiT）） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出一种结构化的LLM代理框架，用于事后修正现有模型预测，通过编码农业领域知识提升预测准确性，在草莓和玉米数据集上显著降低MAE和MASE。

Comments 21 pages, 6 figures, 6 tables

Very Efficient Listwise Multimodal Reranking for Long Documents

非常高效的长文档多模态重排序方法

Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

机构 * Magellan Technology Research Institute (MTRI)（马杰拉技术研究院（MTRI）） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出ZipRerank，通过轻量级查询-图像早期交互机制和单次前向传递消除自回归解码，实现高效多模态重排序，实验表明其在MMDocIR基准上性能优异且显著降低LLM推理延迟。

Comments To appear in ICML 2026

HyperTransport: Amortized Conditioning of T2I Generative Models

HyperTransport：T2I生成模型的 amortized 条件控制

Valentino Maiorca, Eleonora Gualdoni, Xavier Suau, Marco Cuturi, Luca Zappella, Pau Rodríguez

机构 * Apple（苹果公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 HyperTransport 通过超网络框架实现对T2I生成模型的amortized条件控制，结合连续可解释强度控制和跨模态条件，提升模型可控性与效率，验证结果在多个测试概念上优于传统方法。

STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation

STARFlow2：连接语言模型与归一化流以实现统一的多模态生成

Ying Shen, Tianrong Chen, Yuan Gao, Yizhe Zhang, Yuyang Wang, Miguel Ángel Bautista, Shuangfei Zhai, Joshua M. Susskind, Jiatao Gu

机构 * Apple（苹果公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出STARFlow2，通过归一化流与预训练视觉语言模型结合，实现高效的多模态生成，采用深度浅层流设计和统一FAE潜在空间，提升生成效率与性能。

Comments 19 pages, 9 figures

VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding

VideoRouter: 为高效长视频理解的查询适应双路由

Kuanwei Lin, Wenhao Zhang, Ge Li

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 VLM训练与架构 ：InternVL(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 VideoRouter通过双路由框架实现高效长视频理解，通过语义路由和图像路由动态分配证据，减少冗余token，提升压缩效率。

TTF: Temporal Token Fusion for Efficient Video-Language Model

TTF: 时空融合用于高效的视频-语言模型

Simin Huo, Ning LI

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出TTF方法，通过利用视频中的时间冗余性，减少视频语言模型的推理成本，保留高精度的同时显著降低视觉token数量。

Comments 14 pages; manuscript submitted to NeurIPS 2026

Learning an Image Editing Model without Image Editing Pairs

无需图像编辑配对学习图像编辑模型

Nupur Kumari, Sheng-Yu Wang, Nanxuan Zhao, Yotam Nitzan, Yuheng Li, Krishna Kumar Singh, Richard Zhang, Eli Shechtman, Jun-Yan Zhu, Xun Huang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出无需配对数据的图像编辑模型训练方法，通过扩散模型解卷积和视觉语言模型反馈实现端到端优化，同时结合分布匹配损失提升视觉真实性。

Comments project page: https://nupurkmr9.github.io/npedit/ ICLR 2026

HP-Edit: A Human-Preference Post-Training Framework for Image Editing

HP-Edit：一种用于图像编辑的人类偏好后训练框架

Fan Li, Chonghuinan Wang, Lina Lei, Yuping Qiu, Jiaqi Xu, Jiaxiu Jiang, Xinran Qin, Zhikai Chen, Fenglong Song, Zhixin Wang, Renjing Pei, Wangmeng Zuo

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Nankai University（南开大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出HP-Edit框架和RealPref-50K数据集，通过少量人类偏好评分数据和预训练视觉大语言模型开发自动评估器，提升图像编辑模型对人类偏好的契合度。

Comments Accepted by CVPR2026

UniEditBench: A Unified and Cost-Effective Benchmark for Image and Video Editing via Distilled MLLMs

UniEditBench: 一种统一且成本效益高的图像和视频编辑基准，通过压缩的多模态大语言模型

Lifan Jiang, Tianrun Wu, Yuhang Pei, Chenyang Wang, Boxi Wu, Deng Cai

机构 * Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 UniEditBench提出统一的图像和视频编辑基准，支持基于重建和指令驱动的方法，通过压缩的多模态大语言模型提供多维评分，减少部署成本并提高评估效率。

BoxTuning: Directly Injecting the Object Box for Multimodal Model Fine-Tuning

BoxTuning：直接注入物体框进行多模态模型微调

Zekun Qian, Ruize Han, Wei Feng

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（深圳理工大学计算机科学与人工智能学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 BoxTuning通过将物体空间时间信息直接注入视觉模态，解决多模态大语言模型在视频问答中物体细粒度定位的不足，显著降低token成本并保持时间分辨率，实验表明其在空间导向任务中优于文本坐标方法。

Gym-Anything: Turn any Software into an Agent Environment

Gym-Anything: 将任意软件转化为智能体环境

Pranjal Aggarwal, Graham Neubig, Sean Welleck

机构 * CMU（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Gym-Anything框架，通过多智能体任务将任意软件转化为交互式计算机使用环境，生成涵盖医疗、天文、工程等领域的10K+长周期任务，提升现实场景下的智能体研究效率。

Mitigating the Reasoning Tax in Vision-Language Fine-Tuning with Input-Adaptive Depth Aggregation

通过输入自适应深度聚合缓解视觉语言微调中的推理税

Yiming Ren, Yujiu Yang, Junjie Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IADA机制，通过输入自适应的跨深度检索提升视觉语言模型的推理能力，实验表明其在参数效率方面优于LoRA微调。

Any4D: Open-Prompt 4D Generation from Natural Language and Images

Any4D: 从自然语言和图像生成开放提示的4D生成

Hao Li, Qiao Sun

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Primitive Embodied World Models，通过限制视频生成时间范围，实现语言与视觉表示的细粒度对齐，降低学习复杂度，提升数据效率，并减少推理延迟，支持复杂任务的组合泛化。

Comments The authors identified issues in the 4D generation pipeline and evaluation that affect result validity. To ensure scientific accuracy, we will revise the methodology and experiments thoroughly before resubmitting. This version should not be cited or relied upon

FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants

FairLLaVA: 大规模视觉-语言助手中的公平性感知参数高效微调

Mahesh Bhosale, Abdul Wasi, Shantam Srivastava, Shifa Latif, Tianyu Luan, Mingchen Gao, David Doermann, Xuan Gong

机构 * University at Buffalo（布法罗大学） ； University of Kashmir（克什米尔大学） ； Accenture（埃森哲） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 VLM训练与架构 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 FairLLaVA通过减少目标属性间的互信息，实现视觉指令微调中的公平性改进，提升医疗影像生成的公平性和自然语言生成质量。

Comments Accepted to CVPR 2026

EVA: Efficient Reinforcement Learning for End-to-End Video Agent

EVA: 为端到端视频代理的高效强化学习

Yaolun Zhang, Ruohui Wang, Jiahao Wang, Yepeng Tang, Xuanyu Zheng, Haonan Duan, Hao Lu, Hanming Deng, Lewei Lu

机构 * SenseTime Research（商汤科技研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 EVA通过迭代总结-计划-行动-反思推理实现先规划后感知，提升长视频理解效率，采用三阶段学习流程和高质量数据集，在六个视频理解基准上取得显著提升。

Comments CVPR2026