视觉大模型 / VLM

VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding

VideoChat3：用于高效通用视频理解的全开放视频多模态语言模型

Xinhao Li, Yuhan Zhu, Xiangyu Zeng, Yuhao Dong, Haoning Wu, Zhiqiu Zhang, Yuandong Yang, Changlian Ma, Qingyu Zhang, Yansong Shi, Xinyu Chen, Haoran Chen, Zizheng Huang, Jun Zhang, Kun Ouyang, Lin Sui, Ziang Yan, Yicheng Xu, Chenting Wang, Yinan He, Hongjie Zhang, Yi Wang, Yu Qiao, Yali Wang, Ziwei Liu, Kai Chen, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） 纠错

专题命中 其他VLM ：MLLM(title,abstract)；分类 cs.CV

AI总结 研究针对视频理解开源模型局限，提出VideoChat3。通过I3D-ViT等提升效率，利用可扩展视频数据合成管道生成训练数据集提升泛化性，以4B参数在多基准测试中超越同等或更多参数的开源模型，实现泛化与计算效率平衡。

MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models

MOSAIC：用于高效异构视觉语言模型的自适应层间组合

Yuncheng Yang, Feiyang Ye, Shixian Luo, Yinna Zhu, Lianlei Shan, Wangcai Zhao, Kuo Zhang, Yan Chen, Yong Wu, Yan Xie

机构 * LiAuto Inc.（理想汽车公司） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型中异构结构依赖手工静态混合模式的问题，提出硬件感知搜索方法MOSAIC，通过多目标混合整数规划确定最优配置，并引入两阶段参数恢复过程，提升了模型推理效率且降低训练成本。

Comments 17 pages, 7 figures

Performance of large language models in the optical diagnosis of colorectal polyps

大型语言模型在结直肠息肉光学诊断中的性能

Joshua C. Vences, William T. Tran, Nikko Gimpaya, Catharine M. Walsh, Rishad J. Khan, Robert Bechara, Asher C. Wiggins, Celine N. Rousan, Kaitlyn V. G. L. Morgado, Angie Ibrahim, Kevin H. M. Kuo, Daniel von Renteln, Alexander Hann, Dennis L. Shung, Michael A. Scaffidi, Charles Ménard, Joshua Landy, Samir C. Grover

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究评估Claude Opus 4等5款大型语言模型对结直肠息肉的光学诊断性能，发现其区分息肉亚型的准确率接近专家共识，但灵敏度与特异度未达ESGE标准，需进一步研究方可临床应用。

Comments 22 pages, 1 figure, 5 tables

The World According to a Social Robot -- Augmenting Human-Robot Dialogue With Vision Language Models

社交机器人眼中的世界——用视觉语言模型增强人机对话

Thomas Sievers

机构 * Institute of Information Systems, University of Lübeck（信息系统研究所，吕贝克大学） 纠错

专题命中 其他VLM ：vision language model(title,abstract)

AI总结 研究探讨如何用视觉语言模型增强人机对话，通过将米斯特拉尔人工智能语言模型与胡椒机器人结合用于人机交互对话，并研究视觉信息对响应时间的影响，发现纳入视觉信息可增添对话背景，且使用欧洲托管的语言模型便于实际应用。

Personalized Image Aesthetic Assessment via Preference-rich Sample Mining and Cohort Merging

通过偏好丰富样本挖掘和群组合并进行个性化图像美学评估

Zhichao Yang, Tianjiao Gu, Zhixianhe Zhang, Xiangfei Sheng, Pengfei Chen, Leida Li

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 研究个性化图像美学评估问题，提出基于多模态大语言模型的PRAC方法，通过偏好丰富样本挖掘和美学共鸣群组合并建模个体美学偏好，经实验验证该方法优于现有技术。

Comments The paper has been accepted by ACM MM 2026

SpatialSV: Internalizing Interpretable 3D Spatial Awareness in MLLMs via Task-Oriented Visual Supervision

SpatialSV: 通过任务导向的视觉监督在多模态大语言模型中内化可解释的3D空间感知

Jiayu Tang, Yuchen Zhou, Chao Gou

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院） 纠错

专题命中 其他VLM ：MLLM(summary_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出SpatialSV框架，通过任务导向的视觉监督将MLLM的2D特征提升为显式3D表示（深度图、相机姿态、点云），实现可解释的3D空间感知内化，无需外部工具，并在半监督设置中展现强泛化能力。

Comments Accepted by IJCAI 2026

FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models

FriendBench：人类与多模态大语言模型的二元熟悉度推理基准

Jeffrey M. Girard, Jason Z. Zheng, Jacqueline R. Vertino, Antony D'Avirro, Benjamin Peloquin

机构 * Fluid Concepts Research（流体概念研究机构） 纠错

专题命中 其他VLM ：multimodal large language model(title)；分类 cs.CV、cs.AI

AI总结 该研究推出FriendBench基准，通过20秒二元破冰对话片段推断两人熟悉度，对比7家公司26个模型与人类的表现，发现模型与人类准确率无统计差异但先验倾向不同，且仅人类能从可见行为中获益，同时发布了相关资源。

Comments 15 pages, 3 figures

DynaPix: Can Vision-Language Models Identify the Exact Future?

DynaPix：视觉语言模型能否识别准确的未来？

Thong Nguyen, Vinh-Hien Do, Quynh Vo, Cong-Duy Nguyen, See-Kiong Ng

机构 * Centre for AI Research, VinUniversity（VinUniversity人工智能研究中心） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 其他VLM ：vision-language model(title)；分类 cs.CV

AI总结 研究构建基准DynaPix，发现视觉语言模型能较好将预测与事件关联，但难以锚定时间，经模拟器真实记录训练可改善多数问题。

Comments Work in progress

Illuminating Visual Identity in Universal Multimodal Embeddings

揭示通用多模态嵌入中的视觉身份

Jiawei Cao, Junyi Feng, Jiashen Hua, Ziheng Huang, Bing Deng, Kaijie Wu, Chaochen Gu, Jieping Ye

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 其他VLM ：multimodal large language model(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对通用多模态嵌入缺乏视觉身份判别能力的问题，提出视觉身份判别统一形式化，构建MVEB基准，设计身份感知采样的学习框架，提升了UMEs的身份判别能力。

Comments Accepted to CVPR 2026

MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning

MAG：流形引导的半监督多模态上下文学习

Zirui Cheng, Xun Xu, Tiankai Chen, Fady Rezk, Bowen Zheng, Xiaodong Shi, Shijie Li, Kangkang Lu, Bharadwaj Veeravalli, Nancy F. Chen

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出MAG框架，通过将未标记多模态数据用于半监督传播的演示选择，提升多模态大语言模型的上下文学习性能，在8个基准的标签稀缺场景下优于强基线。

UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling

UniGen-AR：通过自回归建模统一视觉生成

Zhipeng Bao, Zhen Zhu, Nupur Kumari, Anurag Bagchi, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳 - 香槟分校） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究统一视觉生成问题，提出UniGen-AR框架，将通用多模态语言模型与视觉自回归解码器配对，能为多任务生成图像值输出，相比基于扩散的基线，推理延迟低达19倍，确立视觉自回归建模为统一视觉生成的高效主干。

Diverse-Intent Multi-Turn Fashion Image Retrieval

多样化意图的多轮时尚图像检索

Mingqiang Tang, Haokun Wen, Meng Liu, Yupeng Hu, Weili Guan, Xuemeng Song

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究现实世界时尚多轮图像检索问题，提出FashionAM框架直接对齐多模态对话查询与时尚图库嵌入空间，避免文本化，引入DIM-Fashion数据集，实验证明该框架优于现有方法，数据集和代码将公开。

ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships

ReBind：通过具有显式参考关系的结构化指令进行多参考视频编辑

Xinyu Liu, Shihao Li, Weihong Lin, Xinlong Chen, Yang Shi, Yujin Han, Yiyang Cai, Yanghao Wang, Ruibin Yuan, Yuanxing Zhang, Pengfei Wan, Wenhan Luo, Yike Guo

机构 * HKUST（香港科技大学） ； Kling Team（克林团队） ； NJU（南京大学） ； UCAS（中国科学院大学） ； PKU（北京大学） ； HKU（香港大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对多参考图像条件视频编辑中现有方法难以协调多视觉源信息的问题，提出ReBind框架，通过带嵌入参考令牌的语义指令及两阶段渐进方案学习建立显式绑定，实现轻量级适配，在指令质量和性能上表现出色。

Comments Project Page: https://rebind-mrv2v.github.io/

GarmentSketch: Large-scale Sketch-to-Fashion Benchmark

GarmentSketch：大规模草图到时尚基准

Duong-Duy-Khang Bui, Minh-Tan Pham, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 为解决时尚草图到图像合成缺乏大规模配对数据的问题，构建了包含26249对草图-文本描述的GarmentSketch数据集，并基于多模态大模型与人工精炼生成描述，评估了现有生成模型的性能。

Comments ICCCI 2026. Project page: https://khangbdd.github.io/garmentsketch

VizPilot: Automated Onboarding for SVG-based Composite Visualizations using Multimodal LLMs

VizPilot：基于多模态大语言模型的SVG复合可视化自动引导系统

Nishaanthini Gnanavel, Yong Wang

专题命中 其他VLM ：multimodal large language model(abstract,abstract_cn)

AI总结 VizPilot是基于多模态大语言模型的SVG复合可视化自动引导工具，通过双模块实现自动生成交互式引导，经评估可降低创作工作量并减轻用户认知负荷，提升复合可视化可用性。

Comments Accepted by IEEE VIS 2026

Data Selection Through Iterative Self-Filtering for Vision-Language Settings

面向视觉-语言场景的迭代自过滤数据选择

Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

机构 * Mila, Université de Montréal（蒙特利尔大学Mila实验室） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出一种自举式方法，通过迭代训练CLIP模型并自选择改进的数据混合，无需额外数据或预训练模型即可提升下游性能。

Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation

基于几何知识蒸馏的时序锚定组合式相机运动理解

Dazhao Du, Shiyan Du, Jian Liu, Yongjian Yu, Bohai Gu, Tao Han, Hualuo Liu, Eric Liu, Yujia Zhang, Xi Chen, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent（腾讯） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出CamDistill方法，通过几何知识蒸馏实现时序锚定的组合式相机运动理解，推出含4229个片段的CamChoreo基准，提升了相机运动识别的细粒度与效率。

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

保持简洁：用于超长视频理解的多键情景记忆检索

Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

机构 * Yonsei University（延世大学） ； Adobe Research（奥多比研究院） 纠错

专题命中 其他VLM ：MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对超长视频理解的两阶段范式需求，提出MERIT框架，通过多键表示与按需时间扩展实现精准检索，在三个长视频基准数据集上取得最优性能。

Comments Accepted to ECCV 2026 (Oral). Project Page: https://choi-yeeun.github.io/MERIT/

Coherence-Oriented Dream Scene Visualisation

面向连贯性的梦境场景可视化

Azra Açıl, Simon Colton

机构 * School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出DSV系统，通过大型语言模型拆分梦境描述为四部分，结合文本到图像模型生成连贯的四面板图像序列，经DreamBank数据集50次可视化评估，用CLIP等模型指标验证了其质量、保真度与连贯性。

Comments short paper accepted at ICCC 2026

SAGE: Semantic Explainability of Attention-Based Survival Models in Computational Pathology

SAGE：计算病理学中基于注意力的生存模型的语义可解释性

Abdallah Lamane, Abdul Rahman Diab, Ren-Chin Wu, William Lotter

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出SAGE框架，可从ABMIL模型提取全局语义解释，在7个TCGA癌症队列的生存预测中恢复预后特征，揭示癌症特异性生物学，为病理学家解释模型行为提供支持。

Comments Proceedings of the MICCAI Workshop on Interpretability of Machine Intelligence in Medical Image Computing (iMIMIC)

Coverage-Driven Adaptive Keyframe Selection for Video Understanding

面向视频理解的覆盖驱动型自适应关键帧选择

Junyang Zhang, Puhan Luo, Chen Tang, Yuxi Shi, Xiang-Yang Li

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文针对视频理解中LVLM处理大量帧计算开销大的问题，提出无需训练的CSES关键帧选择器，通过覆盖驱动的自适应策略减少需评分和选择的帧数量，同时保持准确率并提升选择速度。

Theia: Large-Scale Multimodal Captioning and Automated Validation of the Incidents1M Dataset for Data-Free Distillation

Theia：用于无数据蒸馏的Incidents1M数据集的大规模多模态字幕生成与自动验证

Simone Giano, Lorenzo Severini, Alessandro Galdelli, Adriano Mancini

机构 * Università Politecnica delle Marche（马尔凯理工大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对灾害领域多模态数据集的缺陷，提出方法构建并自动验证Incidents1M数据集，生成高保真字幕，其语义一致性达78.65/100，为跨模态知识蒸馏提供了可扩展框架。

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

VEGAS：通过注视进行与人类对齐的视频字幕评估

Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； AMD（超威半导体公司） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉语言模型视频字幕忽视观众注意力问题，提出VEGAS无需训练的度量标准，利用注视采样个性化文本，通过拒绝采样选字幕，实验表明其能使字幕更好对齐人类焦点，提升下游检索。

USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning

USE：一种用于测试时提示调整的统一自集成框架

Siru Jiang, Jian Liang, Ran He, Tieniu Tan

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所国家智能机器人实验室及模式识别实验室） ； Nanjing University（南京大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 重新审视测试时提示调整（TPT），揭示其优化可视为从自生成伪标签隐式学习，在此基础上提出统一自集成框架（USE），优化时引入自集成策略，实验表明USE及其自集成策略表现出色。

Comments ICML 2026

On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning

稀疏性-存储-精度权衡在简约激活字典学习中的研究

Zihui Zhao, Yuanbo Tang, Yang Li

机构 * Tsinghua University, Institute of Data and Information（清华大学数据与信息研究院） ； Shenzhen Key Laboratory of Ubiquitous Data Enabling（深圳泛在数据赋能重点实验室） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出简约激活字典学习（PADL）的结构化生成模型解释，推导出稀疏性、存储成本与重建精度之间的权衡关系，并开发出无需手动调参的高效算法，在视觉基准上取得更优性能。

Evaluating and Enhancing Negation Comprehension in Remote Sensing MLLMs

评估与增强遥感多模态大语言模型的否定理解能力

Haochen Han, Jue Wang, Alex Jinpeng Wang, Fangming Liu

机构 * Peng Cheng Laboratory（鹏城实验室） ； Tsinghua University（清华大学） ； Central South University（中南大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出RS-Neg基准评估遥感MLLMs的否定理解，并设计NeFo方法通过测试时学习利用约5%未标注样本显著提升模型性能。

Comments ECCV 2026 Accepted

MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs

MODE: 面向MoE多模态大语言模型的模态分解专家级混合精度量化

Yuanteng Chen, Peisong Wang, Zhilei Liu, Nanxin Zeng, Yuantian Shao, Shiqiang Lang, Tao Liu, Chuangyi Li, Qinghao Hu, Gang Li, Jing Liu, Jian Cheng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对MoE多模态大语言模型在专家重要性估计中存在的跨模态和视觉内偏差，提出模态分解的专家级混合精度量化框架MODE，通过分解选择频率、过滤冗余视觉令牌并评估模态敏感性，在给定预算下分配比特宽度，在W3A16下平均性能损失控制在2.9%以内。

Comments 18 pages, 8 figures

Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use

超越API：探索多模态大语言模型在物理工具使用中的极限

Zhixin Ma, Yutong Zhou, Yongqi Li, Chong-Wah Ngo, Wenjie Li

机构 * Singapore Management University（新加坡管理大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出PhysTool-Bench基准，评估多模态大语言模型在真实场景中识别物理工具并规划使用的能力，发现最强模型仅完成21%任务，揭示感知与规划双重缺陷。

SPACE: Source-free Proxy Anchor Concept Erasure for MLLMs

SPACE: 面向多模态大语言模型的无源代理锚点概念擦除

Zhijing Zhang, Jiaqi Ding, Qianshan Wei, Nan Zhou, Jiaqi Li, Yongliang Wu, Tongxin Zhu, Xiaolin Fang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SPACE框架，首个针对多模态大语言模型的无源机器遗忘方法，通过文本引导的代理锚点选择和双约束语义隔离，在不访问目标数据的情况下擦除概念，并保持模型性能。

MedUAG: Unified Understanding and Generation for Medical Multimodal Models

MedUAG：面向医学多模态模型的统一理解与生成框架

Zijie Meng, Yuncheng Zhang, Hualiang Wang, Yitian Tang, Xiaotang Gai, Chen Shen, Songtao Jiang, Shaosheng Cao, Jian Wu, Xian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Tencent Jarvis Lab（腾讯Jarvis实验室） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI

AI总结 针对医学多模态领域缺乏统一理解生成框架的问题，本文构建了MedUAGCorpus数据集与MedUAGBench基准，开发了MedUAG模型，其在医学理解与生成任务中表现出色，为下一代医学多模态系统奠定基础。