视觉大模型 / VLM

Communication-Inspired Tokenization for Structured Image Representations

受通信启发的结构化图像表示分词

Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

机构 * Computer Vision Group, University of Bern, Switzerland（伯恩大学计算机视觉组） ； VITA Lab, EPFL, Switzerland（苏黎世联邦理工学院VITA实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 COMiT通过受通信启发的分词框架，学习结构化离散视觉分词序列，提升图像重建和语义理解能力。

Comments Project website: https://araachie.github.io/comit/

When Digital Twins Meet Large Language Models: Realistic, Interactive, and Editable Simulation for Autonomous Driving

当数字孪生遇见大语言模型：用于自动驾驶的逼真、交互和可编辑的模拟

Tanmay Vilas Samak, Chinmay Vilas Samak, Bing Li, Venkat Krovi

机构 * Department of Automotive Engineering, Clemson University International Center for Automotive Research (CU-ICAR)（汽车工程系，克莱姆森大学国际汽车研究中心（CU-ICAR）） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)

AI总结 本文提出结合数字孪生与大语言模型的框架，实现自动驾驶场景的逼真、交互和可编辑模拟，提升自动驾驶研究的效率和真实性。

Comments Accepted in IEEE Robotics & Automation Magazine (RAM)

A Contrastive Learning Framework Empowered by Attention-based Feature Adaptation for Street-View Image Classification

一种由基于注意力的特征适应增强的对比学习框架用于街景图像分类

Qi You, Yitai Cheng, Zichao Zeng, James Haworth

机构 * SpaceTimeLab（时空实验室） ； University College London（伦敦大学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 CLIP-MHAdapter通过引入基于注意力的特征适应机制，提升街景图像属性分类的准确性和效率

DeCo: Task Decomposition and Skill Composition for Zero-Shot Generalization in Long-Horizon 3D Manipulation

DeCo：用于长周期3D操作零样本泛化任务分解与技能组合

Zixuan Chen, Junhui Yin, Yangtao Chen, Jing Huo, Pinzhuo Tian, Jieqi Shi, Yiwen Hou, Yinchuan Li, Yang Gao

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Huawei Noah’s Ark Lab (AI Lab), China（华为诺亚实验室（AI实验室）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 DeCo通过任务分解与技能组合提升长周期3D操作任务的零样本泛化能力，显著提高多个模型在新任务上的成功率。

Comments RAL 2026

FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging

FlashVID: 通过无训练树状时空标记合并实现高效的视频大语言模型

Ziyang Fan, Keyu Chen, Ruilong Xing, Yulin Li, Li Jiang, Zhuotao Tian

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 FlashVID通过无训练的树状时空标记合并技术，在保留99.1%性能的情况下将视频帧输入提升10倍，实现高效视频大语言模型加速。

Comments Accepted by ICLR 2026 (Oral)

Toward Vision-Language Assistants for Radio Astronomical Source Analysis

迈向射电天文源分析的视觉-语言助手

S. Riggi

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)

AI总结 本文提出radio-llava，一种针对射电天文的视觉-语言助手，通过指令微调提升多任务性能，但发现专用视觉模型仍更优，且微调导致通用任务性能下降。

Comments 5 pages, 3 figures, Proceedings IAU Symposium No. 397, 2025

Lan-grasp: Using Large Language Models for Semantic Object Grasping and Placement

Lan-grasp：利用大语言模型进行语义物体抓取与放置

Reihaneh Mirjalili, Michael Krawez, Yannik Blei, Simone Silenzi, Florian Walter, Wolfram Burgard

机构 * Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（计算机科学与人工智能系，图恩技术大学） ； Department of Engineering ``Enzo Ferrari'' (DIEF), University of Modena and Reggio Emilia（恩佐·费尔拉蒂工程系（DIEF），摩德纳和雷吉奥艾米利亚大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 Lan-grasp利用大语言模型实现更精确的语义抓取与放置，通过结合多种模型提升抓取效果和安全性。

Making Videos Accessible for Blind and Low Vision Users Using a Multimodal Agent Video Player

通过多模态代理视频播放器使视频对视障和低视力用户更加可访问

Adriana Olmos, Anoop K. Sinha, Renelito Delos Santos, Ruben Rodriguez Rodriguez, James A. Landay, Sam S. Sepah, Philip Nelson, Shaun K. Kane

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出一种多模态代理视频播放器，通过多层提示编排为视障和低视力用户带来交互式、可访问的视频体验，增强用户自主性和信任感。

ADx3: A Collaborative Workflow for High-Quality Accessible Audio Description

ADx3：高质量可及音频描述的协作流程

Lana Do, Shasta Ihorn, Charity Pitcher-Cooper, Juvenal Francisco Barajas, Gio Jung, Xuan Duy Anh Nguyen, Sanjay Mirani, Ilmi Yoon

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 ADx3通过整合GenAD、RefineAD和AdaptAD模块，实现高质量可及音频描述的协作流程，提升描述质量和用户交互体验。

A Structured Framework for Evaluating and Enhancing Interpretive Capabilities of Multimodal LLMs in Culturally Situated Tasks

一种评估和增强多模态大语言模型在文化情境任务中解释能力的结构框架

Haorui Yu, Ramon Ruiz-Dolz, Qiufeng Yi

机构 * DJCAD, University of Dundee, United Kingdom（邓迪大学DJCAD部门） ； ARG-tech, SSEN, University of Dundee, United Kingdom（邓迪大学） ； School of Computer Science, University of Birmingham, United Kingdom（伯明翰大学计算机科学学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)

AI总结 本研究提出了一种结构框架，用于评估和增强多模态大语言模型在文化情境任务中生成中国绘画批评的能力，通过量化评价特征和人设引导提示，揭示了VLMs在艺术批评领域的表现与局限。

Comments EMNLP 2025 submission, 10 pages, 6 figures, 5 tables

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 1945-1971, Suzhou, China

MIDI-LLaMA: An Instruction-Following Multimodal LLM for Symbolic Music Understanding

MIDI-LLaMA：一种用于符号音乐理解的指令遵循多模态大语言模型

Meng Yang, Jon McCormack, Maria Teresa Llano, Wanchao Su, Chao Lei

机构 * SensiLab, Monash University, Australia（Monash大学） ； University of Sussex, Brighton, United Kingdom（Sussex大学） ； School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 MIDI-LLaMA通过结合MusicBERT和Llama-3-8B，实现了对符号音乐的指令遵循理解，显著提升了音乐描述和语义对齐能力。

Comments Accepted for publication at International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2026

LEGO-Eval: Towards Fine-Grained Evaluation on Synthesizing 3D Embodied Environments with Tool Augmentation

LEGO-Eval: 向通过工具增强合成3D具身环境的细粒度评估迈进

Gyeom Hwangbo, Hyungjoo Chae, Minseok Kang, Hyeonjong Ju, Soohyun Oh, Jinyoung Yeo

机构 * Yonsei University（延世大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 LEGO-Eval通过工具增强合成3D具身环境，提供细粒度评估框架和基准测试集，提升场景与指令对齐的准确性。

Aligning Agentic World Models via Knowledgeable Experience Learning

通过知识性经验学习对齐代理世界模型

Baochang Ren, Yunzhi Yao, Rui Sun, Shuofei Qiao, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 WorldMind通过知识性经验学习对齐代理世界模型，解决物理模拟中的幻觉问题，实现跨环境的高效迁移。

Comments Ongoing work

A multitask framework for automated interpretation of multi-frame right upper quadrant ultrasound in clinical decision support

多任务框架用于临床决策支持中多帧右上象限超声自动解读

Haiman Guo, Cheng-Yi Li, Yuli Wang, Robin Wang, Yuwei Dai, Qinghai Peng, Danming Cao, Zhusi Zhong, Thao Vu, Linmei Zhao, Chengzhang Zhu, Christopher Tan, Jacob Schick, Stephen Kwak, Farzad Sedaghat, Javad Azadi, James Facciola, Jonathan Feng, Dilek Oncel, Ulrike Hamper, Alex Zhu, Tej Mehta, Melissa Leimkuehler, Cheng Ting Lin, Zhicheng Jiao, Ihab Kamel, Jing Wu, Li Yang, Harrison Bai

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出多任务视觉-语言模型，用于提升右上象限超声波解读的诊断准确性与手术决策支持。

Vidar: Embodied Video Diffusion Model for Generalist Manipulation

Vidar：面向通用操作的具身视频扩散模型

Yao Feng, Hengkai Tan, Xinyi Mao, Chendong Xiang, Guodong Liu, Shuhe Huang, Hang Su, Jun Zhu

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Vidar通过具身视频扩散模型和掩码逆动力学模型，实现了在不同机器人形态上的通用操作，仅需少量人类演示即可超越现有基线。

Universal Dexterous Functional Grasping via Demonstration-Editing Reinforcement Learning

通过演示编辑强化学习实现通用灵巧功能抓取

Chuan Mao, Haoqi Yuan, Ziye Huang, Chaoyi Xu, Kai Ma, Zongqing Lu

机构 * Peking University（北京大学） ； BeingBeyond 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本研究提出DemoFunGrasp，通过演示编辑强化学习实现通用灵巧功能抓取，提升抓取性能和现实泛化能力。

Comments 19 pages

Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos

通过人类视频中的视觉-物理对齐实现空间感知的VLA预训练

Yicheng Feng, Wanpeng Zhang, Ye Wang, Hao Luo, Haoqi Yuan, Sipeng Zheng, Zongqing Lu

机构 * Peking University（北京大学） ； Renmin University of China（中国人民大学） ； BeingBeyond 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)

AI总结 通过人类视频中的视觉-物理对齐实现空间感知的VLA预训练，提升机器人任务的稳健性和通用性。

Extending a Parliamentary Corpus with MPs' Tweets: Automatic Annotation and Evaluation Using MultiParTweet

扩展议会语料库以包含议员的推文：利用MultiParTweet进行自动标注和评估

Mevlüt Bagci, Ali Abusaleh, Daniel Baumartz, Giueseppe Abrami, Maxim Konca, Alexander Mehler

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出MultiParTweet，通过自动标注和人工验证，整合了多语言推文及媒体内容，展示了模型间互为预测性及多模态注释的优越性。

Comments Submitted to LREC 2026

TV2TV: A Unified Framework for Interleaved Language and Video Generation

TV2TV：一种用于交错语言和视频生成的统一框架

Xiaochuang Han, Youssef Emad, Melissa Hall, John Nguyen, Karthik Padthe, Liam Robbins, Amir Bar, Delong Chen, Michal Drozdzal, Maha Elbayad, Yushi Hu, Shang-Wen Li, Sreya Dutta Roy, Jakob Verbeek, XuDong Wang, Marjan Ghazvininejad, Luke Zettlemoyer, Emily Dinan

机构 * Meta FAIR 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 TV2TV通过统一框架实现语言与视频生成的交错过程，提升视频生成的视觉质量和可控性。

Less Is More, but Where? Dynamic Token Compression via LLM-Guided Keyframe Prior

少即是多，但在哪里？通过LLM引导的关键帧先验实现动态令牌压缩

Yulin Li, Haokun Gui, Ziyang Fan, Junjie Wang, Bin Kang, Bin Chen, Zhuotao Tian

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出DyToK方法，通过LLM引导的关键帧先验实现动态令牌压缩，提升视频处理效率和准确性。

Comments Accepted by NeurIPS 2025

Sampling-Based Model Predictive Control for Dexterous Manipulation on a Biomimetic Tendon-Driven Hand

基于采样的模型预测控制在仿生腱驱动手的灵巧操作中的应用

Adrian Hess, Alexander M. Kübler, Benedek Forrai, Mehmet Dogar, Robert K. Katzschmann

机构 * Soft Robotics Lab, Department of Mechanical and Process Engineering, ETH Zurich（苏黎世联邦理工学院机械与过程工程系软机器人实验室） ； School of Computer Science, University of Leeds（利兹大学计算机科学学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)

AI总结 本研究提出利用基于采样的模型预测控制实现仿生腱驱动手的灵巧操作，通过结合视觉语言模型与实时优化器，有效生成接触丰富的行为。

Comments For a video, see https://youtu.be/u4d6v3ohsOI

Journal ref 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

Why does weak-OOD help? A Further Step Towards Understanding Jailbreaking VLMs

Yuxuan Zhou, Yuzhao Peng, Yang Bai, Kuofeng Gao, Yihao Zhang, Yechao Zhang, Xun Chen, Tao Yu, Tao Dai, Shu-Tao Xia

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge

Nimrod Berman, Omkar Joglekar, Eitan Kosman, Dotan Di Castro, Omri Azencot

机构 * Bosch AI Center（博世人工智能中心） ； Ben-Gurion University of the Negev（巴伊兰大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted as a poster at NeurIPS 2025

A Multimodal, Multitask System for Generating E Commerce Text Listings from Images

Nayan Kumar Singh

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 24 pages, 10 figures, 11 tables. Code can be found at: https://github.com/SinghNayanKumar/multimodal-product-lister/

Continuous-Token Diffusion for Speaker-Referenced TTS in Multimodal LLMs

Xinlu He, Swayambhu Nath Ray, Harish Mallidi, Jia-Hong Huang, Ashwin Bellur, Chander Chandak, M. Maruf, Venkatesh Ravichandran

机构 * Worcester Polytechnic Institute（沃斯特理工大学） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

DREAM: Drafting with Refined Target Features and Entropy-Adaptive Cross-Attention Fusion for Multimodal Speculative Decoding

Yunhai Hu, Tianhua Xia, Zining Liu, Rahul Raman, Xingyu Liu, Bo Bao, Eric Sather, Vithursan Thangarasa, Sai Qian Zhang

机构 * Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院） ； Tandon School of Engineering, New York University（纽约大学工程学院） ； Cerebras Systems Inc.（Cerebras Systems公司） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)

Free$^2$Guide: Training-Free Text-to-Video Alignment using Image LVLM

Jaemin Kim, Bryan Sangwoo Kim, Jong Chul Ye

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ICCV 2025 accepted

Template-Based Text-to-Image Alignment for Language Accessibility: A Study on Visualizing Text Simplifications

Belkiss Souayed, Sarah Ebling, Yingqiang Gao

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

Vision-Language Cross-Attention for Real-Time Autonomous Driving

Santosh Patapati, Trisanth Srinivasan, Murari Ambati

机构 * Cyrion Labs（Cyrion实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 5 pages

Goal-Based Vision-Language Driving

Santosh Patapati, Trisanth Srinivasan

机构 * Dept. of HCI（人机交互系） ； Cyrion Labs（Cyrion实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 6 pages