视觉大模型 / VLM

SynPO: Synergizing Descriptiveness and Preference Optimization for Video Detailed Captioning

SynPO：融合描述性和偏好优化的视频详细描述生成

Jisheng Dang, Yizhou Zhang, Hao Ye, Teng Wang, Siming Chen, Huicheng Zheng, Yulan Guo, Jianhuang Lai, Bin Hu

机构 * Sun Yat-Sen University（中山大学） ； Lanzhou University（兰州大学） ； The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SynPO方法，通过偏好学习提升视频描述生成性能，解决直接偏好优化的局限性，提升训练效率20%。

Hoi3DGen: Generating High-Quality Human-Object-Interactions in 3D

Hoi3DGen：生成高质量的人-物交互的3D模型

Agniv Sharma, Xianghui Xie, Tom Fischer, Eddy Ilg, Gerard Pons-Moll

机构 * University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； Max Planck Institute for Informatics（马克斯·普朗克信息学院） ； Technische Universität Nürnberg（纽伦堡技术大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 Hoi3DGen通过多模态大语言模型生成高质量3D人-物交互模型，显著提升交互保真度和3D生成质量，实现文本到3D的高效生成。

K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging

K-MaT: 基于知识的流形传输用于医学影像中的跨模态提示学习

Jiajun Zeng, Shadi Albarqouni

机构 * University of Bonn（波恩大学） ； University Hospital Bonn（波恩大学医院） ； Clinic for Diagnostic and Interventional Radiology（诊断与介入放射科） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 K-MaT通过基于知识的流形传输实现跨模态提示学习，提升医学影像模型在不同模态间的泛化能力。

Tether: Autonomous Functional Play with Correspondence-Driven Trajectory Warping

Tether: 基于对应驱动轨迹扭曲的自主功能性玩耍

William Liang, Sam Wang, Hung-Ju Wang, Osbert Bastani, Yecheng Jason Ma, Dinesh Jayaraman

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Dyna Robotics（Dyna机器人技术） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Tether通过基于对应驱动的轨迹扭曲，实现从少量演示开始的自主多任务玩耍，生成高质量数据集并提升模仿策略性能。

Comments International Conference on Learning Representations (ICLR), 2026. Project website and code: https://tether-research.github.io

Know When to Abstain: Optimal Selective Classification with Likelihood Ratios

知何时退避：基于似然比的最优选择性分类

Alvin Heng, Harold Soh

机构 * Department of Computer Science, National University of Singapore（计算机科学系，国立新加坡大学） ； Smart Systems Institute, National University of Singapore（智能系统研究所，国立新加坡大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于似然比的最优选择性分类方法，通过 Neyman-Pearson 引理统一并改进了选择性分类在协变量偏移下的性能。

VoMP: Predicting Volumetric Mechanical Property Fields

VoMP：预测体积机械属性场

Rishit Dagli, Donglai Xiang, Vismay Modi, Charles Loop, Clement Fuji Tsang, Anka He Chen, Anita Hu, Gavriel State, David I. W. Levin, Maria Shugrina

机构 * NVIDIA ； University of Toronto（多伦多大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 VoMP通过训练几何变换器预测3D物体的体积机械属性场，结合多视角特征和现实世界数据集，实现高精度和高速度的属性估计。

Comments Project Page and hi-res paper: https://research.nvidia.com/labs/sil/projects/vomp

PHyCLIP: $\ell_1$-Product of Hyperbolic Factors Unifies Hierarchy and Compositionality in Vision-Language Representation Learning

PHyCLIP通过$\ell_1$-Product度量结合双曲因子，统一了视觉-语言表示学习中的层次结构与组合性

Daiki Yoshikawa, Takashi Matsubara

机构 * Hokkaido University（北海道大学） ； CyberAgent 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 PHyCLIP通过$\ell_1$-Product度量结合双曲因子，统一了视觉-语言表示学习中的层次结构与组合性。

Comments 24 pages. Codes are available at https://github.com/tksmatsubara/PHyCLIP

Journal ref International Conference on Learning Representations (ICLR), 2026

FlowPortrait: Reinforcement Learning for Audio-Driven Portrait Video Generation

FlowPortrait：基于强化学习的音频驱动肖像视频生成

Weiting Tan, Andy T. Liu, Ming Tu, Xinghua Qu, Philipp Koehn, Lu Lu

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 FlowPortrait通过强化学习框架结合多模态模型和人类对齐评估系统，提升音频驱动肖像视频生成的质量和表现力。

Decoding the Hook: A Multimodal LLM Framework for Analyzing the Hooking Period of Video Ads

解码钩子：一种多模态大语言模型框架用于分析视频广告的钩子阶段

Kunpeng Zhang, Poppy Zhang, Shawndra Hill, Amel Awadelkarim

机构 * University of Marland, College Park（马里兰大学 College Park分校） ； Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出一种多模态大语言模型框架，用于分析视频广告的钩子阶段，通过多策略采样和主题提炼提升广告初期效果分析的准确性与实用性。

Comments 11 pages, 5 figures, 3 tables

How Do Inpainting Artifacts Propagate to Language?

图像修复伪影如何传播到语言？

Pratham Yashwante, Davit Abrahamyan, Shresth Grover, Sukruth Rao

机构 * UC San Diego（圣迭戈大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究图像修复伪影对视觉-语言模型语言生成的影响，通过两阶段诊断方法分析重建保真度与描述质量的关系。

MentalBlackboard: Evaluating Spatial Visualization via Mathematical Transformations

MentalBlackboard: 通过数学变换评估空间可视化能力

Nilay Yilmaz, Maitreya Patel, Naga Sai Abhiram Kusumba, Yixuan He, Yezhou Yang

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 MentalBlackboard通过数学变换评估模型的空间可视化能力，揭示其在预测和规划任务中的局限性。

Simplifying Outcomes of Language Model Component Analyses with ELIA

用ELIA简化语言模型组件分析的结果

Aaron Louis Eidt, Nils Feldhus

机构 * Technische Universität Berlin（柏林技术大学） ； Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫茨研究所） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 ELIA通过交互式界面和AI生成的自然语言解释，简化了语言模型组件分析，帮助非专家理解复杂模型。

Comments EACL 2026 System Demonstrations. GitHub: https://github.com/aaron0eidt/ELIA

Characterizing the Predictive Impact of Modalities with Supervised Latent-Variable Modeling

基于监督潜在变量建模的模态预测影响分析

Divyam Madaan, Sumit Chopra, Kyunghyun Cho

机构 * New York University（纽约大学） ； Grossman School of Medicine（格罗斯曼医学院） ； Genentech（基因泰克） ； CIFAR（加拿大弗雷德里克·班克特研究所） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 PRIMO是一种监督潜在变量插补模型，用于量化多模态学习中缺失模态的预测影响，通过方差度量评估模态对预测的影响。

DeltaSpace: A Semantic-aligned Feature Space for Flexible Text-guided Image Editing

DeltaSpace: 一种语义对齐的特征空间用于灵活的文本引导图像编辑

Yueming Lyu, Kang Zhao, Bo Peng, Huafeng Chen, Yue Jiang, Yingya Zhang, Jing Dong, Caifeng Shan

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 DeltaSpace通过语义对齐的特征空间实现文本引导图像编辑的灵活训练和推理，支持零样本推理和无需文本的训练。

Comments 18 pages. arXiv admin note: text overlap with arXiv:2303.06285

FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding

FreshMem: 基于大脑的频率-空间混合内存用于流视频理解

Kangcong Li, Peng Ye, Lin Zhang, Chao Wang, Huafeng Qin, Tao Chen

机构 * College of Future Information Technology, Fudan University, Shanghai, China（复旦大学未来信息科技学院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 FreshMem通过频率-空间混合内存网络，提升流视频理解的连续感知能力，实现短期保真与长期一致性的平衡。

KeepLoRA: Continual Learning with Residual Gradient Adaptation

KeepLoRA: 基于残差梯度适应的持续学习

Mao-Lin Luo, Zi-Hao Zhou, Yi-Lin Zhang, Yuanyu Wan, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（教育部计算机网络与信息集成重点实验室） ； School of Software Technology, Zhejiang University（浙江大学软件学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 KeepLoRA通过残差梯度适应方法实现持续学习，有效平衡知识保留、任务知识保持和新知识获取，取得最佳性能。

Comments Accepted at ICLR 2026

Multimodal Evaluation of Russian-language Architectures

多模态评估框架MERA Multi对俄语架构的评估

Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev, Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MERA Multi框架，用于评估俄语多模态架构，包含18个新任务和统一的评估方法，旨在解决俄语多模态基准缺失的问题。

Comments EACL main track

Hierarchy-Aware Multimodal Unlearning for Medical AI

层次感知的多模态反遗忘用于医疗AI

Fengli Wu, Vaidehi Patil, Jaehong Yoon, Yue Zhang, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MedForget提出一个层次感知的多模态反遗忘基准和CHIP方法，有效解决医疗数据中层次结构的遗忘问题，同时保持下游效用。

Comments Dataset and Code: https://github.com/fengli-wu/MedForget

Privacy-Preserving in Connected and Autonomous Vehicles Through Vision to Text Transformation

通过视觉到文本转换实现连接和自动驾驶车辆中的隐私保护

Abdolazim Rezaei, Mehdi Sookhak, Ahmad Patooghy, Shahab S. Band, Amir Mosavi

机构 * organization= Department of Computre Science, Texas A\&M University Corpus Christi , addressline= 6300 Ocean Dr , city= Corpus Christi , postcode= 78412 , state= Texas , country= USA ； organization= Department of Information Management, International Graduate School of Artificial Intelligence, National Yunlin University of Science ； organization= Institute of the Information Society, Ludovika University of Public Service , city= Budapest , postcode= 78412 , country= Hungary ； organization= North Carolina A\&T State University , addressline= 601 E Market , city= Greensboro , postcode= 27411 , country= USA 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出利用强化学习和视觉-语言模型，通过视觉到文本转换实现对连接和自动驾驶车辆中敏感视觉信息的隐私保护，提升了隐私保护效果。

VVTRec: Radio Interferometric Reconstruction through Visual and Textual Modality Enrichment

VVTRec: 通过视觉和文本模态增强进行无线电干涉图重建

Kai Cheng, Ruoqi Wang, Qiong Luo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 VVTRec通过融合视觉和文本模态增强，提升无线电干涉图重建的图像质量和准确性。

CORE: Code-based Inverse Self-Training Framework with Graph Expansion for Virtual Agents

CORE: 基于代码的逆向自训练框架与图扩展用于虚拟代理

Keyu Wang, Bingchen Miao, Wendong Bu, Yu Wu, Juncheng Li, Shengyu Zhang, Wenqiao Zhang, Siliang Tang, Jun Xiao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Wuhan University（武汉大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 CORE提出一种基于代码的逆向自训练框架，通过语义代码抽象和策略图扩展，提升虚拟代理的行为多样性和泛化能力。

Comments 19 pages, 12 figures

MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation

MotionPhysics: 通过自然语言引导的模拟学习可学习的运动蒸馏

Miaowei Wang, Jakub Zadrożny, Oisin Mac Aodha, Amir Vaxman

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MotionPhysics通过自然语言引导模拟，利用可学习的运动蒸馏损失实现对3D物体物理参数的自动学习，提升动态模拟的逼真度和效率。

Comments AAAI2026 Accepted

Leveraging Lightweight Entity Extraction for Scalable Event-Based Image Retrieval

利用轻量级实体提取实现可扩展的基于事件的图像检索

Dao Sy Duy Minh, Huynh Trung Kiet, Nguyen Lam Phu Quy, Phu-Hoa Pham, Tran Chi Nguyen

机构 * University of Science - VNUHCM（越南胡志明市科学大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级两阶段检索流程，利用事件中心实体提取结合BM25和BEiT-3模型，实现高效准确的图像检索。

Comments System description paper for EVENTA Grand Challenge Track 2 at ACM Multimedia 2025 (MM '25). Ranked 4th place. 6 pages, 1 figure, 2 tables

Understanding World or Predicting Future? A Comprehensive Survey of World Models

理解世界还是预测未来？世界模型的全面综述

Jingtao Ding, Yunke Zhang, Yu Shang, Jie Feng, Yuheng Zhang, Zefang Zong, Yuan Yuan, Hongyuan Su, Nian Li, Jinghua Piao, Yucheng Deng, Nicholas Sukiennik, Chen Gao, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（电子工程系，信息科学与技术国家研究中心（BNRist），清华大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文综述了世界模型在理解与预测方面的功能，探讨了其在多个领域的应用及未来研究方向。

Comments Extended version of the original ACM CSUR paper, 49 pages, 6 figures, 8 tables

"I Can See Forever!": Evaluating Real-time VideoLLMs for Assisting Individuals with Visual Impairments

我能看到永远！

Ziyi Zhang, Zhen Sun, Zongmin Zhang, Zifan Peng, Yuemeng Zhao, Zichun Wang, Zeren Luo, Ruiting Zuo, Xinlei He

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文评估了实时视频LLMs在帮助视障者日常生活中的有效性，发现GPT-4o在任务成功率方面最高，并提出SafeVid数据集提升风险识别准确率至76%

Comments 17 pages

AI Agents in Engineering Design: A Multi-Agent Framework for Aesthetic and Aerodynamic Car Design

工程设计中的AI代理：一种用于汽车外观和空气动力学设计的多代理框架

Mohamed Elrefaie, Janet Qian, Raina Wu, Qian Chen, Angela Dai, Faez Ahmed

机构 * Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院机械工程系） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院电气工程与计算机科学系） ； Department of Computer Science, Technical University of Munich, Munich, Germany（慕尼黑技术大学计算机科学系） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种多代理框架，利用AI代理提升汽车设计的美学和空气动力学性能，通过自动化任务加速设计流程。

Test-time scaling of diffusions with flow maps

扩散模型测试时间缩放与流映射

Amirmojtaba Sabour, Michael S. Albergo, Carles Domingo-Enrich, Nicholas M. Boffi, Sanja Fidler, Karsten Kreis, Eric Vanden-Eijnden

机构 * NVIDIA（NVIDIA公司） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Harvard University（哈佛大学） ； Kempner Institute（凯姆纳研究所） ； IAIFI（IAIFI机构） ； Microsoft Research（微软研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Courant Institute, New York University（纽约大学应用数学学院） ； ML Lab at Capital Fund Management (CFM)（Capital Fund Management (CFM)机器学习实验室） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过流映射改进扩散模型测试时间性能，通过流映射与速度场关系构建FMTT算法，实现更优奖励上升并支持复杂图像编辑。

Unsupervised Memorability Modeling from Tip-of-the-Tongue Retrieval Queries

从舌尖上的遗忘检索查询中无监督建模可记忆性

Sree Bhattacharyya, Yaman Kumar Singla, Sudhir Yarram, Somesh Kumar Singh, Harini S, James Z. Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Adobe Media and Data Science Research（Adobe媒体与数据科学研究） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出首个大规模无监督数据集，通过舌尖上的遗忘检索查询建模视觉内容的可记忆性，并展示了其在回忆生成和ToT检索任务中的优越表现。

Comments Accepted at WACV 2026

VidComposition: Can MLLMs Analyze Compositions in Compiled Videos?

VidComposition: MLLMs能否分析编译视频中的构成？

Yolo Y. Tang, Junjia Guo, Hang Hua, Susan Liang, Mingqian Feng, Xinyang Li, Rui Mao, Chao Huang, Jing Bi, Zeliang Zhang, Pooyan Fazli, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 VidComposition通过编排视频和电影级注释评估MLLMs对视频构成的理解能力，揭示了当前模型在复杂编译视频分析中的局限性。

Comments Accepted to CVPR 2025

Find Them All: Unveiling MLLMs for Versatile Person Re-identification

找到它们全部：揭示MLLMs用于多功能人物重识别

Jinhao Li, Zijian Chen, Lirong Deng, Guangtao Zhai, Changbo Wang

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究所） ； Macao Polytechnic University（澳门 polytechnic 大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VP-ReID基准，利用MLLMs提升人物重识别的多功能性和有效性，同时揭示其在处理某些模态时的局限性。