视觉大模型 / VLM

DriveMind: A Dual Visual Language Model-based Reinforcement Learning Framework for Autonomous Driving

DriveMind: 一种基于双视觉语言模型的强化学习框架，用于自动驾驶

Dawood Wasif, Terrence J. Moore, Chandan K. Reddy, Frederica Free-Nelson, Seunghyun Yoon, Hyuk Lim, Dan Dongseong Kim, Jin-Hee Cho

专题命中 VLM训练与架构 ：visual language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 DriveMind结合对比视觉语言模型和动态提示生成，实现自动驾驶的语义奖励框架，提升适应性和安全性，实测性能优于基线4%以上。

Comments Submitted to IEEE Transactions on Intelligent Vehicles (T-IV)

Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

医学视觉-语言模型的视觉对齐以实现基于基础的放射学报告生成

Sarosij Bose, Ravi K. Rajendran, Biplob Debnath, Konstantinos Karydis, Amit K. Roy-Chowdhury, Srimat Chakradhar

机构 * NEC Laboratories America（NEC美洲实验室） ； University of California, Riverside（加州大学河滨分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出VALOR方法，通过临床指导文本推理和自监督视觉推理解决医学报告生成中的视觉幻觉问题，提升生成质量与临床准确性。

ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation

ID-Crafter：基于视觉语言模型的在线强化学习多主体视频生成框架

Panwang Pan, Jingjing Zhao, Yuchen Lin, Chenguo Lin, Chenxin Li, Hengyu Liu, Tingting Shen, Yadong MU

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。

Comments Project page: https://angericky.github.io/ID-Crafter, Code: https://github.com/paulpanwang/IDCrafter

Journal ref CVPR 2026

VLM4Rec: Multimodal Semantic Representation for Recommendation with Large Vision-Language Models

VLM4Rec：基于大视觉-语言模型的多模态语义表示推荐系统

Ty Valencia, Burak Barlas, Varun Singhal, Ruchir Bhatia, Wei Yang

机构 * University of Southern California（南加州大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 VLM4Rec通过语义对齐而非直接特征融合，提升多模态推荐性能，实验显示其优于原始视觉特征和融合方法。

Comments 13 pages, 4 figures, 1 table

Test-Time Attention Purification for Backdoored Large Vision Language Models

针对受污染的大视觉语言模型的测试时间注意力净化

Zhifang Zhang, Bojun Yang, Shuo He, Weitong Chen, Wei Emma Zhang, Olaf Maennel, Lei Feng, Miao Xu

机构 * University of Queensland（昆士兰大学） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出CleanSight，一种无需训练的测试时间防御方法，通过检测和净化异常的视觉-文本注意力分布来对抗后门攻击，显著优于现有基于像素的净化方法。

Cost-Efficient Multimodal LLM Inference via Cross-Tier GPU Heterogeneity

通过跨层级GPU异构性实现高效的多模态大语言模型推理

Donglin Yu

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过跨层级GPU异构性优化多模态大语言模型推理，减少跨设备传输复杂度，提升吞吐量并降低部署成本。

Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

叙事编织者：迈向多模态可控的长程视觉一致性

Zhengjian Yao, Yongzhi Li, Xinyuan Gao, Quan Chen, Peng Jiang, Yanye Lu

机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 Narrative Weaver通过整合精细控制、自动叙事规划和长程一致性，解决生成AI中多模态可控、长程且一致的视觉内容生成问题，提出首个综合解决方案并构建首个电商广告视频脚本数据集。

Comments Accepted by CVPR2026

MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction

MovieTeller: 借助工具的电影概要与ID一致的渐进抽象

Yizhi Li, Xiaohan Chen, Miao Jiang, Wentao Tang, Gaoang Wang

机构 * Central Universities（中央高校） ； National Natural Science Foundation of China（中国国家自然科学基金委员会） ； Research Fund for International Scientists of National Natural Science Foundation of China（中国国家自然科学基金委员会国际科学家研究基金） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 MovieTeller通过工具增强的渐进抽象生成电影概要，解决传统VLM在长视频摘要中的身份一致性和叙事连贯性问题，提升事实准确性与一致性。

Comments 6 pages, CSCWD 2026

Altered Thoughts, Altered Actions: Probing Chain-of-Thought Vulnerabilities in VLA Robotic Manipulation

改变的思维，改变的行为：探测VLA机器人操作中的链式思维漏洞

Tuan Duong Trinh, Naveed Akhtar, Basim Azam

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨VLA模型中链式思维的脆弱性，发现仅篡改推理轨迹中的物体名称即可显著降低任务成功率，而其他篡改方式影响较小，表明动作解码器依赖实体引用完整性而非推理质量。

OARS: Process-Aware Online Alignment for Generative Real-World Image Super-Resolution

OARS：面向生成真实世界图像超分辨率的在线对齐

Shijie Zhao, Xuanyu Zhang, Bin Chen, Weiqi Li, Qunliang Xing, Kexin Zhang, Yan Wang, Junlin Li, Li Zhang, Jian Zhang, Tianfan Xue

机构 * ByteDance Inc.（字节跳动公司） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 OARS通过过程感知的在线对齐框架，结合COMPASS奖励模型，在线优化图像超分辨率模型，实现感知与保真度的平衡，提升真实世界图像超分辨率性能。

Comments Super-Resolution, Reinforcement Learning

Beyond Dense Futures: World Models as Structured Planners for Robotic Manipulation

超越密集未来：世界模型作为机器人操作的结构化规划器

Minghao Jin, Mozheng Liao, Mingfei Han, Zhihui Li, Xiaojun Chang

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出StructVLA，通过结构化规划器提升机器人操作的可靠性，采用稀疏结构帧替代密集预测，实现视觉规划与运动控制的结合，实验显示在多个环境中的高成功率。

OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation

OpenVision 3: 一种用于理解和生成的统一视觉编码器家族

Letian Zhang, Sucheng Ren, Yanqing Liu, Xianhang Li, Zeyu Wang, Yuyin Zhou, Huaxiu Yao, Zeyu Zheng, Weili Nie, Guilin Liu, Zhiding Yu, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； JHU（约翰霍普金斯大学） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.AI

AI总结 本文提出OpenVision 3，通过统一视觉表示实现图像理解和生成。核心架构将VAE压缩的图像潜在特征输入ViT编码器，同时训练其输出以支持重建和语义学习，从而在共享潜在空间中实现良好泛化。