视觉大模型 / VLM

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion：一种统一自回归、扩散和自推测解码的三模式语言模型

Yonggan Fu, Lexington Whalen, Abhinav Garg, Chengyue Wu, Maksim Khadkevich, Nicolai Oswald, Enze Xie, Daniel Egert, Sharath Turuvekere Sreenivas, Shizhe Diao, Chenhan Yu, Ye Yu, Weijia Chen, Sajad Norouzi, Jingyu Liu, Shiyi Lan, Ligeng Zhu, Jin Wang, Jindong Jiang, Morteza Mardani, Mehran Maghoumi, Song Han, Ante Jukić, Nima Tajbakhsh, Jan Kautz, Pavlo Molchanov

机构 * Nemotron-Labs（Nemotron实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 介绍了统一AR、扩散和自推测解码的三模式语言模型Nemotron-Labs-Diffusion，通过联合目标训练，能切换模式。研究表明其目标互补，自推测模式表现优，有长期潜力，该模型家族在精度和速度上优于现有开源模型。

OmniPresent: Generating Coherent Presentation Suites from Scientific Papers

OmniPresent：从科学论文生成连贯的演示文稿套件

Qianli Ma, Jipeng Xiao, Siyu Wang, Zhiheng Tian, Wangyu Feng, Shibo Wang, Chang Guo, Shuochen Chang, Qingyang Liu, Zhipeng Zhang

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 研究如何将静态论文转化为动态媒体，提出OmniPresent框架，采用可渲染HTML表示和自校正循环解决模态冲突，还发布数据集与评估协议，生成的演示文稿套件质量高。

Comments In progress

From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning

从目标到应用：对齐音频自监督学习中的架构偏差

Kele Xu, Yulu Fang, Boda Zhou, Yulin Sun, Qisheng Xu, Qiya Song, Jin Zhang, Cheng Yang, Huaimin Wang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。

ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation

ARP：通过视觉对齐与迭代细化增强机器人操作的量化技能抽象

Yuntian Wang, Zesheng Jia, Yuhui Duan, Qibing Wang, Yang Liu, Song Wang, Siao Liu, Jin Wang

机构 * School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院） ； Key Laboratory of General Artificial Intelligence and Large Models in Provincial Universities, Soochow University（苏州大学省高校通用人工智能与大模型重点实验室） ； College of Mechanical and Electronic Engineering, China Jiliang University（中国计量大学机电工程学院） ； College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； Leju Robotics（乐聚机器人） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出ARP框架，通过视觉-动作对比对齐和迭代残差头细化，解决离散量化技能中的语义弱对齐和精度损失问题，在LIBERO和Meta-World基准上达到最优性能。

Topic-to-Timestamp Alignment by Constrained Evidence Selection

通过约束证据选择的主题到时间戳对齐

Zeynep Yılbırt, Marina Litvak, Michael Färber

机构 * TU Dresden（德累斯顿工业大学） ； SpeechMind GmbH（SpeechMind 公司） ； Shamoon College of Engineering（沙蒙工程学院） ； ScaDS.AI Dresden/Leipzig（ScaDS.AI 德累斯顿/莱比锡） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 针对会议记录中主题到时间戳的对齐问题，提出将时间戳预测重构为约束时间候选选择，通过检索时间戳转录块并选择最佳候选而非生成时间码，显著提升召回率和解析输出数量。

Mind the Privileged-to-Camera Gap: Actor-Centric Sidecar Supervision for Camera-First Open-Loop Waypoint Prediction

注意特权到摄像头的差距：面向摄像头优先开环路径预测的以参与者为中心的侧车监督

Feeza Khan Khanzada, Jaerock Kwon

机构 * University of Michigan-Dearborn（密歇根大学迪尔伯恩分校） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 针对摄像头优先开环路径预测中缺乏对道路参与者显式监督的问题，提出侧车监督方法，利用模拟器生成的参与者标签（如相关性、短时运动）训练模型，在部署时无需额外输入，最终将终点位移误差降低32.6%。

The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs

错误的正确：量化和定位大语言模型中的失调对齐

Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen

机构 * University of Michigan（密歇根大学） ； University of Cambridge（剑桥大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文提出VETO基准和失调对齐率（MAR）指标，发现所有LLM在刻板印象相关问题上均存在非平凡的失调对齐，且人类为0%，机制分析表明对齐诱导的线索会放大该现象。

Prior over Evidence: Stereotype-Driven Diagnosis in LLM-Based L2 Pronunciation Feedback

先验优于证据：基于LLM的二语发音反馈中的刻板印象驱动诊断

Rong Wang, Kun Sun

机构 * University of Tuebingen（蒂宾根大学） ； Tongji University（同济大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究测试了LLM在二语发音反馈中是否基于语音证据而非预训练先验进行诊断，发现评分准确性与推理脱钩，音素级反馈收敛于固定困难音素集，且声学证据仅在直接探测目标维度时改善评分。

Comments 12 pages, 2 figures

M$^3$Exam: Benchmarking Multimodal Memory for Realistic User-Agent Interactions

M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准

Zhengjun Huang, Wenxuan Liu, Zhoujin Tian, Wei Chen, Junle Chen, Yuqian Wu, Fangyuan Zhang, Qintian Guo, Xiaofang Zhou

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。

LLM-Guided Evolution for Medical Decision Pipelines

LLM引导的医疗决策流程进化

Ivan Sviridov, Artem Oskin, Ivan Panin, Iaroslav Bespalov, Dmitry Dylov, Ivan Oseledets, Aleksandr Nesterov

机构 * Sber AI Lab（Sber AI实验室） ； AIRI 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)

AI总结 提出LLM引导的MAP-Elites进化方法，无需微调即可优化医疗决策流程，在分诊、咨询和图像分类任务中超越手工设计基线。

PPE-Bench: A Benchmark for Evaluating MLLM Unlearning under Private-Public Entanglement

PPE-Bench：用于评估公私纠缠下MLLM遗忘能力的基准测试

Xianren Zhang, Delvin Ce Zhang, Dongwon Lee, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 其他VLM ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现有MLLM遗忘基准测试的局限性，提出PPE-Bench基准测试，包含公私纠缠图像，引入两种方法在遗忘中保护公共信息，实验发现现有方法能减少隐私泄露，但常损害相邻公共信息。

Comments 17 Pages

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

ViPo-MLLM：用于无注释手语翻译的视觉-姿势多模态大语言模型

Ahmed Abul Hasanaath, Bicheng Xu, Mir Rayat Imtiaz Hossain, Leonid Sigal, Hamzah Luqman

机构 * King Fahd University of Petroleum and Minerals（国王法赫德石油矿物大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 其他VLM ：MLLM(title,title_cn)；分类 cs.CV、cs.AI

AI总结 研究尝试无注释手语翻译，提出ViPo-MLLM框架结合时空RGB和人体姿势特征，用专用编码器与交叉模态注意力，经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果，验证了机制有效性。

Multimodal Knowledge Edit-Scoped Generalization for Online Recursive MLLM Editing

多模态知识编辑范围泛化用于在线递归MLLM编辑

Siyuan Li, Youyuan Zhang, Ruitong Liu, Junxi Wang, Jing Li

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Peking University（北京大学） ； Fudan University（复旦大学） 纠错

专题命中 其他VLM ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对在线多模态知识编辑中编辑范围难以控制的问题，提出ScopeEdit方法，通过模态局部吸收分支和证据门控共享泛化分支实现范围分离的在线编辑，在保持可靠性的同时提升跨模态泛化与无关输入隔离。

CBX-Bench: A Human-Aligned MLLM Council for Benchmarking Concept Bottleneck Model Explanations

CBX-Bench：用于评估概念瓶颈模型解释的人类对齐多模态大语言模型委员会

Yusuf Meric Karadag, Gulay Oklan, Seref Baris Cagliyan, Umut Ozdemir, Emre Akbas

专题命中 其他VLM ：MLLM(title,summary_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究开发了人类对齐的多模态大语言模型（MLLM）委员会，构建了CBX-Bench基准，实现了概念瓶颈模型（CBM）解释的可扩展定量评估，其在人类偏好排名上的恢复率达70%以上。

Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

探索与弥合未学习多模态大语言模型中的知识缺口

Junxiang You, Junkai Chen, Yuhao He, Ruiqi Liu, Zhetao Guo, Shu Wu

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对未学习多模态大语言模型存在的知识缺口问题，提出带锚定正则化的选择性保护方法，在保障未学习安全性的同时大幅恢复模型响应质量。

When Recovery Matters: The Blind Spot of Surrogate Privacy in MLLM Editing

当恢复至关重要时：MLLM编辑中替代隐私的盲点

Siyuan Xu, Yibing Liu, Peilin Chen, Yung-Hui LI, Shiqi Wang, Sam Kwong

机构 * City University of Hong Kong（香港城市大学） ； Hon Hai Research Institute（鸿海研究院） ； Lingnan University（岭南大学） 纠错

专题命中 其他VLM ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大模型编辑中的隐私风险，提出首个面向恢复的替代隐私保护编辑基准SPPE，涵盖36个细粒度隐私类别和65个编辑指令，并设计可编辑性评估与替代到源编辑恢复两个任务及对应方法。

Is Our Benchmark Enough? An Analysis of Continual Learning for MLLMs

我们的基准测试足够吗？多模态大语言模型持续学习分析

Van-Tuan Tran, Shruthi Gowda, Merim Dzaferagic, Marco Ruffini

机构 * School of Computer Science and Statistics, Trinity College Dublin（都柏林圣三一学院计算机科学与统计学院） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文质疑MR-LoRA方法对MLLM路由器的依赖，提出无训练无重放的简单原型路由方法RePRo，并指出共享专家无益，揭示MLLM-CL基准的任务高度可分离和固定顺序导致评估偏差，从而提出新基准设计。

Comments ICML 2026 Workshop "Continual Adaptation at Scale: Towards Sustainable AI"

Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners

分解、比较与决策：多模态大语言模型是隐式少样本学习者

Yunhan Wang, Eshika Khandelwal, Edson Araujo, Walid Bousselham, Nina Shvetsova, Hilde Kuehne

机构 * Tuebingen AI Center, University of Tuebingen（图宾根大学图宾根人工智能中心） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DeCoDe方法，通过将少样本分类分解为成对图像比较，利用现有多模态大语言模型（MLLM）的logit作为相似度分数，无需额外训练即可实现强少样本分类，在多个基准上显著超越现有方法。

RecoReward: Recommender-Guided Multimodal Description Generation for Recommendation

RecoReward：用于推荐的推荐器引导多模态描述生成

Guohong Mu, Yueyang Liu, Jiangxia Cao, Changxin Lao, Zijie Zhuang, Yuhui Zhang, Jiaqi Feng, Ruochen Yang, Shuang Yang, Zhaojie Liu, Qibin Hou

专题命中 其他VLM ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)

AI总结 研究针对多模态推荐中传统方法不足，提出RecoReward，训练时用行为衍生奖励，保留仅内容推理。在直播推荐中利用用户历史等估计亲和力，通过推荐器亲和力分数提供反馈，实验表明该方法能提升MLLM性能，利于下游推荐且保留内容服务。

Comments 16 pages, 4 figures

Group Preference Collapse in Personalized Multimodal Large Language Models

个性化多模态大语言模型中的群体偏好崩溃

Fan Lyu, Wenqi Zhang, Joost van de Weijer

机构 * Computer Vision Center, Universitat Autònoma de Barcelona（计算机视觉中心，巴塞罗那自治大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究个性化多模态大语言模型中群体偏好崩溃问题，提出PrefMoE框架，它分离配置文件信息与偏好表示，分解偏好，保留个性化残差并通过单独路径路由因素，实验表明该框架能改善偏好敏感个性化并减少偏好崩溃。

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

前所未见：基于一致视频源数据集的真正零样本组合图像检索基准测试

Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 针对现有零样本组合图像检索数据集存在参考与目标图像不相关、非真正零样本的问题，提出ZeroSight基准，包含来自视频的一致参考-目标对和训练无关的MLLM驱动方法SC4CIR，通过三重对称一致性检查识别难负样本，实验表明现有方法性能被高估。

Vision-Language Models are Fragile Multilingual Associators

视觉-语言模型是脆弱的多语言关联器

Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

机构 * Manipal University Jaipur（斋浦尔马尼帕尔大学） ； University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校） ； University of Salford（索尔福德大学） ； University of Manchester（曼彻斯特大学） ； Indian Statistical Institute Kolkata（印度统计研究所加尔各答分所） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型的多语言关联稳定性问题，构建M²BIND基准，发现其跨语系/文字时会出现绑定崩溃，关系密切语言则表现较好，表明多语言部署的VLMs关联质量存疑。

Comments Preprint (under review). Project Page: https://ritabrata04.github.io/m2bind/

Auditing Medical Vision-Language Models on Chest Radiographs: Estimating Reference Agreement Across Institutions

胸部X光医学视觉语言模型审计：估算跨机构参考一致性

Pengyang Yu, Yiou Wang, Zhongping Dong, Sahraoui Dhelim, Chun-Mei Feng, M. Tahar Kechadi

机构 * University College Dublin（都柏林大学学院） ； School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院） ； The Third Affiliated Hospital of Southern Medical University（南方医科大学第三附属医院） ； Dublin City University（都柏林城市大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 该研究通过评估三个生成式视觉语言模型在胸部X光数据上的表现，估算跨机构参考一致性，发现无法推荐默认估算器，且参考一致性需按站点和接口重新评估。

Comments 10 pages, 3 figures, 3 tables

SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

SAB-LVLM: 面向大型视觉-语言模型的重要性感知二值化

Qi Lyu, Jiahua Dong, Baichen Liu, Xudong Wang, Mingfei Han, Yulun Zhang, Fahad Shahbaz Khan, Salman Khan, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems（机器人学国家重点实验室） ； Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出SAB-LVLM方法，通过构建空间重要性图与模态引导整合策略，实现跨层跨模态权重重要性感知的二值化，在约1比特压缩下优于现有二值化方法。

The Professor: Multi-Teacher Unsupervised Prompt Distillation for Vision-Language Models

The Professor: 面向视觉语言模型的多教师无监督提示蒸馏

Ahmad Algadhi, Ahmed Alzuhair, Omar Alkhulaif, Muzammil Behzad

机构 * King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出多教师提示蒸馏方法TheProfessor，融合领域微调教师和零样本教师，在四个数据集上平均HM提升1.77点，尤其对域偏移数据集效果显著。

An Investigation of Translationese in the Generations of Multilingual Large Language Models

多语言大语言模型生成文本中的翻译腔研究

Maria Valentini, Téa Wright, Julisa Granados, Eliana Colunga, Katharina von der Wense

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） ； University of California Berkeley（加州大学伯克利分校） ； Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)

AI总结 本文探究多语言大语言模型生成文本是否存在翻译腔，对比直接翻译的翻译腔差异，通过多种方法评估MLLM生成文本的翻译腔特征。

Comments Accepted to COLM 2026

HATS: A Human-Agent Teleoperation System for Multi-Arm Data Collection

HATS：用于多臂数据收集的人-智能体遥操作系统

Zesen Lin, Jian-Jian Jiang, Haoming Cen, Xiao-Ming Wu, Dandan Zhang, Wei-Shi Zheng

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Nanyang Technological University（南洋理工大学） ； Imperial College London（帝国理工学院） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)

AI总结 提出HATS系统，由单操作员借助MLLM智能体控制两主臂和两辅助臂，实现高效多臂数据收集，性能媲美双人专家团队。

Backdoor Learning in Language Models and Vision-Language Models

语言模型与视觉-语言模型中的后门学习

Weimin Lyu

机构 * Stony Brook University（石溪大学） ； The Graduate School（研究生院） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本论文针对NLP与VLMs面临的后门攻击安全威胁，研究了后门攻击的分析、检测与设计，并开发了适用于临床医学影像的多模态表示方法，助力可信AI与高效多模态学习。

Comments Ph.D. dissertation

ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making

ComplexityWorld：面向可验证视觉决策的视觉语言模型基准测试

Ningxin Pan, Hanyu Li, Yehui Tang

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究推出COMPLEXITYWORLD基准测试VLMs在可验证视觉决策任务上的表现，发现多数模型在直接推理下验证器接受率不足40%，且存在视觉到决策的瓶颈。

ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models

ArtECulture：评测多模态大语言模型中的文化条件视觉情感理解

Xiaolin Chen, Xuemeng Song, Wenhao Shi, Xianjing Han, Mong-Li Lee, Wynne Hsu

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 针对现有视觉情感理解方法忽略文化差异的问题，提出ArtECulture基准与检索增强型文化条件情感理解框架，评估多模态大语言模型在该任务上的表现并验证框架的提升效果。