视觉大模型 / VLM

EvoTale: Continual Character Customization for Expanding Story Worlds

持久故事世界模拟与连续角色定制

Jinlu Zhang, Qiyun Wang, Baoxiang Du, Jiayi Ji, Jing He, Rongsheng Zhang, Tangjie Lv, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University（厦门大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Fuxi AI Lab, Netease Inc.（福克斯AI实验室，网易公司） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出EverTale，通过统一LoRA模块实现连续角色自定义，引入质量门和区域聚焦采样策略，提升多角色视觉叙事的准确性和一致性。

Exploring Instruction Data Quality for Explainable Image Quality Assessment

探索可解释图像质量评估的指令数据质量

Yunhao Li, Sijing Wu, Jun Jia, Kang Fu, Qi Jia, Yucheng Zhu, Wei Sun, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对可解释图像质量评估任务，提出Q-Selector数据选择框架，仅用10%训练数据就达到全数据微调的102.1%和103.7%性能，证明指令数据存在冗余。

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

通过交叉注意力和门控融合进行多模态矛盾与犹豫识别

Oussama Berhili, Yassine Ouzar, Larbi Boubchir

机构 * University of Paris 8（巴黎第八大学） ； LIASD Laboratory（LIASD实验室） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 为ECCV 2026的ABAW11挑战赛开发多模态框架，用预训练编码器提取多模态特征，建立单模态基线，在此基础上提出含交叉注意力和门控融合的多模态架构，验证集宏F1达0.7394，提升显著。

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026

PatchAlign3D: Local Feature Alignment for Dense 3D Shape Understanding

PatchAlign3D: 本地特征对齐用于密集3D形状理解

Souhail Hadgi, Bingchen Gong, Ramana Sundararaman, Emery Pierson, Lei Li, Peter Wonka, Maks Ovsjanikov

机构 * École polytechnique（巴黎政治学院） ； University of Virginia（弗吉尼亚大学） ； KAUST（王国立阿联酋科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 PatchAlign3D通过点云直接生成语言对齐的片段特征，实现高效零样本3D部分分割，优于传统渲染方法。

Comments CVPR 2026. Project website: https://souhail-hadgi.github.io/patchalign3dsite/

Teaching Video Generators to Remember: Eliciting Dynamic Memory for Out-of-Sight State Evolution

教会视频生成器记忆：为不可见状态演化引出动态记忆

Tianshuo Xu, Yichen Xie, Depu Meng, Chensheng Peng, Quentin Herau, Bo Jiang, Yihan Hu, Wei Zhan

机构 * Applied Intuition（应用直觉） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对视频生成模型在观测中断时状态冻结的问题，提出ReMind框架，通过面向记忆的数据构建、事件感知训练和缓存适配，利用KV缓存机制实现动态记忆，在STEVO-Bench和恢复任务上取得最佳成绩。

Wavelet Phase Diffusion for Structurally and Semantically Consistent Sim-to-Real Translation

用于结构和语义一致的模拟到真实翻译的小波相位扩散

Kaiwen Wang, Frank Bieder, Yinzhe Shen, Carlos Fernandez, Jan-Hendrik Pauls, Omer Sahin Tas

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究模拟到真实翻译中弥合合成与真实域外观差距并保持结构语义一致的问题，提出小波相位扩散方法，通过双树复小波包变换域操作及低频随机化，在未配对数据训练，提升了图像和视频翻译的真实感与一致性。

Comments Project Page: https://kit-mrt.github.io/Wavelet-Phase-Diffusion/

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

智能体真实到模拟：使用视觉语言智能体进行基于物理的世界建模

Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Siyuan Luo, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

机构 * University of British Columbia（英属哥伦比亚大学） ； Johns Hopkins University（约翰·霍普金斯大学） ； National University of Singapore（新加坡国立大学） ； Columbia University（哥伦比亚大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Style3D（无合适对应中文名） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对机器人与物体交互的真实到模拟转换难题，提出智能体真实到模拟框架，利用视觉语言智能体进行广义物理世界建模，能转换真实记录为可模拟孪生体，在多场景评估效果良好，成本低，可用于下游机器人任务。

Comments Authorship change

GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

GeoTrace：用于视频大语言模型的几何感知轨迹令牌压缩

Guohuan Xie, Mengqi Lei, Chuan Shi, Wei Bao, Yue Gao, Siqi Li

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对Video LLMs视觉令牌多致效率受限问题，提出GeoTrace框架，通过CFPA和TCRC分别处理骨架与残差令牌，经实验评估证明该框架在多模型架构和场景下有效，能在大幅减少计算量时保留高比例性能。

Comments Withdrawn by the authors due to an incomplete internal approval process

Show Me Examples: Inferring Visual Concepts from Image Sets

展示示例：从图像集合中推断视觉概念

Nick Stracke, Kolja Bauer, Stefan Andreas Baumann, Miguel Angel Bautista, Josh Susskind, Björn Ommer

机构 * Munich Center for Machine Learning（慕尼黑机器学习中心） ； Apple（苹果公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出VICIS任务评估视觉语言模型从图像集合中推断共享概念的能力，并设计训练框架与架构，使模型能提取概念嵌入并生成与查询一致的新图像。

Comments for code, view https://github.com/CompVis/set-learner

H-Adapter: Pose-Robust Hairstyle Transfer via Attention-Derived, Source-Aligned Hair Masks

H-Adapter: 通过注意力导出的源对齐头发掩码实现姿态鲁棒的发型迁移

Seulgi Jeong, Yunseong Cho, Sanghun Park

机构 * SNOW Corp.（SNOW公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出H-Adapter，利用区域特定损失解耦头发与非头发目标，导出源对齐头发编辑掩码引导扩散修复，实现大姿态差异下的鲁棒发型迁移，在FID、FID_CLIP和CLIP-I指标上取得最优。

Comments Accepted at ECCV 2026. Project page: https://sanghunpark.github.io/hadapter_page/

RhinoVLA Technical Report

RhinoVLA 技术报告

Huixi Technology, :, Chen Zhang, Chenyang Zhou, Guanglei Ding, Guanghui He, Haibin Gao, Jiajia Chen, Jianyong Zhang, Lianyi Yu, Ningyi Xu, Ping Xu, Qingchen Li, Yingjun Hu, Yijia Zhang, Yuxi Liu

机构 * Huixi Intelligence（慧溪智能） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对边缘硬件上VLA模型部署延迟问题，提出RhinoVLA，通过令牌高效骨干、连续动作专家和统一接口实现实时闭环控制，在Huixi R1上达到11.69 Hz推理速度。

GTASA: Ground Truth Annotations for Spatiotemporal Analysis, Evaluation and Training of Video Models

GTASA：用于视频模型空间时间分析、评估和训练的地面真实标注

Nicolae Cudlenco, Mihai Masala, Marius Leordeanu

机构 * Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所） ； National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出GTASA，一种包含多主体视频的标注数据集，通过空间关系图和事件级时间映射，验证了其在视频模型训练和评估中的优势。

FMMC: Harnessing the Power of Foundation Models for Accurate Material Classification

利用基础模型提升材料分类的准确性

Qingran Lin, Fengwei Yang, Chaolun Zhu

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Duke University（杜克大学） ； Waseda University（早稻田大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出一种利用基础模型克服数据限制并提升分类准确性的新框架，通过生成高质量数据集和融合视觉语言模型先验知识，有效提高材料分类性能。

UniVideo: Unified Understanding, Generation, and Editing for Videos

UniVideo：视频的统一理解、生成与编辑

Cong Wei, Quande Liu, Zixuan Ye, Qiulin Wang, Xintao Wang, Pengfei Wan, Kun Gai, Wenhu Chen

机构 * University of Waterloo（多伦多大学） ； Kling Team, Kuaishou Technology（快手技术团队） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 提出UniVideo框架，采用双流设计，结合多模态大语言模型与多模态DiT进行视频生成等任务。统一多种视频任务于单范式，实验表明其性能出色，还支持任务组合与能力迁移，且发布了模型和代码。

Comments Project Website https://congwei1230.github.io/UniVideo/

Ask-to-Clarify: Resolving Instruction Ambiguity through Multi-turn Dialogue

Ask-to-Clarify: 通过多轮对话解决指令歧义

Xingyao Lin, Xinghao Zhu, Tianyi Lu, Guojin Zhong, Sicheng Xie, Hui Zhang, Xipeng Qiu, Zuxuan Wu, Yu-Gang Jiang

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Mechanical Systems Control Lab, UC Berkeley, California, USA（伯克利机械系统控制实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出Ask-to-Clarify框架，通过多轮对话解决指令歧义问题，结合视觉语言模型和扩散模型，采用两阶段知识绝缘策略训练，实现多任务中更高效的协作式具身代理。

Comments Accepted by IROS 2026

CoDoL: Conditional Domain Prompt Learning for Out-of-Distribution Generalization

CoDoL：用于分布外泛化的条件域提示学习

Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

机构 * East China Normal University（东华师范大学） ； Xidian University（西安电子科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The University of Oxford（牛津大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对基于提示的CLIP方法存在的文本描述不准确、视觉语言嵌入对齐有限问题，提出CoDoL方法，利用域信息形成提示，还提出DMN生成输入条件令牌，实验验证其在分布外泛化的有效性。

Comments Accepted to TMLR 2026

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Goku：百万级通用指令视频编辑数据集与基准

Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出首个百万级多任务视频编辑数据集Goku，包含200万高质量指令对齐对，并设计高效数据合成流程和渐进过滤系统，基于此提出双分支模型Goku-Edit及包含1000个测试用例的基准Goku-Bench，在指令遵循上提升8%。

Comments Project Page: https://flying-sky999.github.io/Goku.github.io/

DRM: Diffusion-based Reward Model With Step-wise Guidance

DRM: 基于扩散的奖励模型与逐步引导

Jaxon Zhang, Binxin Yang, Hubery Yin, Chen Li, Jing Lyu

机构 * Peking University（北京大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出基于扩散的奖励模型（DRM），利用预训练扩散模型作为评估骨干，通过逐步评估能力改进强化学习对齐和推理采样，提升图像生成质量。

Evaluating Scene-based In-Situ Item Labeling for Immersive Conversational Recommendation

评估基于场景的原位物品标签用于沉浸式对话推荐

Jiazhou Liang, Yifan Simon Liu, David Guo, Minqi Sun, Yilun Jiang, Scott Sanner

机构 * University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； Vector Institute of Artificial Intelligence（向量人工智能研究所） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对沉浸式对话推荐系统，提出基于显式意图满足和主动信息需求的原位标签分类与评估指标，基准测试显示现有方法在利用场景信息、避免冗余和预测主动需求方面存在局限。

Benchmarking Vision Foundation Models for Domain-Generalizable Face Anti-Spoofing

面向域泛化人脸反欺骗的视觉基础模型基准测试

Mika Feng, Pierre Gallin-Martel, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University, Japan（东北大学信息科学研究生院，日本） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 本文系统评估15种预训练视觉模型在人脸反欺骗域泛化中的表现，发现自监督ViT（尤其是DINOv2+Registers）结合数据增强和注意力损失在MICO协议上达到最优，且计算高效。

Comments 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)

LaTtE-Flow: Layerwise Timestep-Expert Flow-based Transformer

LaTtE-Flow: 基于层间时间步专家流的Transformer

Ying Shen, Zhiyang Xu, Jiuhai Chen, Shizhe Diao, Jiaxin Zhang, Yuguang Yao, Joy Rimchala, Ismini Lourentzou, Lifu Huang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Maryland（马里兰大学） ； Nvidia（英伟达） ； Salesforce AI Research（Salesforce AI研究） ； Intuit AI Research（Intuit AI研究） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出LaTtE-Flow，一种基于预训练视觉语言模型的高效统一架构，通过层间时间步专家流和条件残差注意力机制，实现图像理解与生成，生成速度提升约6倍。

Comments Unified multimodal model, Flow-matching

VISTA: Video Interaction Spatio-Temporal Analysis Benchmark

VISTA：视频交互时空分析基准

Alejandro Aparcedo, Akash Kumar, Aaryan Garg, Dalton Pham, Wen-Kai Chen, Anirudh Bharadwaj, Aman Chadha, Yogesh Rawat

机构 * University of Central Florida（中央佛罗里达大学） ； BITS Pilani（比特斯理工学院） ； Ho Chi Minh City University of Science（胡志明市科学大学） ； Amazon GenAI Project（亚马逊生成人工智能项目） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出VISTA基准，通过分解视频为实体、动作和关系，实现开放集多实体多动作的时空理解评估，揭示传统指标掩盖的偏差。

Comments Accepted to CVPR 2026 Workshop on Pixel-level Video Understanding in the Wild (PVUW)

SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models

SARA: 语义自适应关系对齐用于视频扩散模型

Jiesong Lian, Zixiang Zhou, Ruizhe Zhong, Yuan Zhou, Qinglin Lu, Rui Wang, Long Hu, Yixue Hao, Baoru Huang

机构 * Tencent Hunyuan（腾讯文英） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。

MBench: A Comprehensive Benchmark on Memory Capability for Video World Models

MBench: 视频世界模型记忆能力的综合基准

Shengjun Zhang, Zhang Zhang, Simin Huang, Zhenyu Tang, Hanyang Wang, Chensheng Dai, Min Chen, Yifan Li, Yuxin Li, Yingjie Chen, Hao Liu, Chen Li, Jing Lyu, Yueqi Duan

机构 * Tsinghua University（清华大学） ； WeChat Vision, Tecent Inc.（微信视觉，腾讯公司） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出MBench基准，通过实体一致性、环境一致性和因果一致性三个核心维度及其12个子维度，系统评估视频世界模型的长期记忆能力，并揭示现有方法在长期状态保持上的关键局限。

Comments Project Page: https://peanutup.github.io/MBench-project/

Rich-Media Re-Ranker: A User Satisfaction-Driven LLM Re-ranking Framework for Rich-Media Search

多介质重排序：一种基于用户满意度的LLM重排序框架用于多介质搜索

Zihao Guo, Ligang Zhou, Zeyang Tang, Feicheng Li, Ying Nie, Zhiming Peng, Qingyun Sun, Jianxin Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 本文提出Rich-Media Re-Ranker框架，通过多维细粒度建模提升用户搜索满意度，整合丰富侧信息和视觉信号，通过多任务强化学习增强系统适应性，实验证明其优于现有方法。

Comments Accepted by the Full Research Track of CIKM-2026

jina-embeddings-v5-omni: Geometry-preserving Embeddings via Locked Aligned Towers

jina-embeddings-v5-omni: 通过锁定对齐塔实现几何保持嵌入

Florian Hönicke, Michael Günther, Andreas Koukounas, Mohammad Kalim Akram, Saba Sturua, Han Xiao

机构 * Jina by Elastic（Jina 由 Elastic 公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 本文提出GELATO方法，通过冻结对齐塔实现多模态嵌入，生成统一语义空间，训练效率高且保持文本嵌入一致性。

Comments 11 pages, 9 figures, 5 tables

LLM Agents Can See Code Repositories

LLM智能体能够查看代码仓库

Dongjian Ma, Silin Chen, Yufei Yang, Yuling Shi, Yanfu Yan, Xiaodong Gu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 研究多模态大语言模型在仓库级问题解决中利用视觉表示的效果，发现纯视觉方案降低精度，而结合视觉结构图可减少26%输入token并保持或提升精度。

Comments Accepted by ASE 2026. Our code and data are available at https://github.com/cslsolow/SeeRepo

ReVision : A Post-Hoc, Vision-Based Technique for Replacing Unacceptable Concepts in Image Generation Pipeline

ReVision：一种基于视觉的后处理技术，用于在图像生成管道中替换不可接受的概念

Gurjot Singh, Prabhjot Singh, Aashima Sharma, Maninder Singh, Ryan Ko

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 ReVision是一种无需训练的后处理框架，通过视觉模型检测并替换图像生成中不安全的概念，提升安全性与生成质量。

PrimitiveVLA: Learning Reusable Motion Primitives for Efficient and Generalizable Robotic Manipulation

PrimitiveVLA：学习可复用的运动基元以实现高效且可泛化的机器人操作

Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院） ； Jiangsu Key Laboratory of AI for Industries, Institute of AI for Industries, CAS（江苏人工智能工业重点实验室，人工智能工业研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Cambricon Technologies（寒武科技） ； Intelligent Software Research Center, Institute of Software, CAS（软件研究所智能软件研究中心，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 提出PrimitiveVLA框架，通过将视觉-语言-动作模型从直接指令到控制映射转向以基元为中心的拆解与组装范式，利用多模态规范表示和自动化流水线，提升数据效率并实现零样本泛化。