视觉大模型 / VLM

Evaluating Image Editing with LLMs: A Comprehensive Benchmark and Intermediate-Layer Probing Approach

基于大语言模型的图像编辑评估：一个全面的基准和中间层探针方法

Shiqi Gao, Zitong Xu, Kang Fu, Huiyu Duan, Xiongkuo Min, Jia wang

机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（图像通信与网络工程研究所，上海交通大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出TIEdit基准和EditProbe方法，通过5120张编辑图像和专家评分，评估文本引导图像编辑方法的感知质量、对齐性和内容保真度，同时利用大语言模型中间层探针提升评估准确性。

TorR: Towards Brain-Inspired Task-Oriented Reasoning via Cache-Oriented Algorithm-Architecture Co-design

TorR: 向基于大脑的面向任务推理迈进：通过面向缓存的算法-架构联合设计

Hyunwoo Oh, SungHeon Jeong, Suyeon Jang, Hanning Chen, Sanggeon Yun, Tamoghno Das, Mohsen Imani

机构 * Department of Computer Science, University of California, Irvine（加州大学尔湾分校计算机科学系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

AI总结 TorR通过将CLIP式的密集对齐替换为超维(HDC)关联推理，实现了高效的实时推理。在算法层面引入部分相似性重用，在架构层面设计了可扩展的位切内存和轻量控制器，以满足实时性需求，同时在能耗和精度上优于现有基线。

Comments Accepted to DAC 2026

Mitigating Premature Discretization with Progressive Quantization for Robust Vector Tokenization

通过渐进量化缓解早期内离散化以实现鲁棒的向量标记化

Wenhao Zhao, Qiran Zou, Zhouhan Lin, Dianbo Liu

机构 * National University of Singapore, Singapore（新加坡国立大学） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本文提出渐进量化方法，通过引入量化难度动态作为VQ训练的关键维度，有效引导代码本向扩展良好的流形发展，提升了多模态模型的生成性能和生物序列建模能力。

Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels

DoRA的扩展：通过因子范数和融合内核进行高秩适应

Alexandra Zelenin, Alexandra Zhuravlyova

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文提出通过因子范数和融合内核实现高秩适应，减少内存占用并提升计算效率，适用于大规模视觉-语言模型。

Comments 30 pages, 15 figures, 15 tables, including appendices. Code and data at https://github.com/sockeye44/dorafactors

Parameter-efficient Prompt Tuning and Hierarchical Textual Guidance for Few-shot Whole Slide Image Classification

高效参数提示调优与层次文本引导在少样本整张滑片图像分类中的应用

Jayanie Bogahawatte, Sachith Seneviratne, Saman Halgamuge

机构 * AI, Optimization and Pattern Recognition Research Group（人工智能、优化与模式识别研究组） ； Dept. of Mechanical Eng., University of Melbourne, Australia（墨尔本大学机械工程系，澳大利亚） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出高效参数提示调优和层次文本引导方法，以解决少样本整张滑片图像分类中的计算成本和信息损失问题，实验显示在乳腺、肺癌和卵巢癌数据集上均取得显著提升。

Comments Accepted for publication at CVPR 2026 Workshop on Medical Reasoning with Vision Language Foundation Models (Med-Reasoner)

ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding

ParallelVLM: 无损视频-大语言模型加速与视觉对齐感知并行推测解码

Quan Kong, Yuhao Shen, Yicheng Ji, Huan Li, Cong Wang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

AI总结 ParallelVLM通过并行化阶段和无偏验证器引导剪枝策略，有效提升视频理解任务的解码效率，实现3.36倍的加速效果。

SkinCLIP-VL: Consistency-Aware Vision-Language Learning for Multimodal Skin Cancer Diagnosis

SkinCLIP-VL: 一种面向多模态皮肤癌诊断的一致性感知视觉-语言学习框架

Zhixiang Lu, Shijie Xu, Kaicheng Yan, Xuyue Cai, Chong Zhang, Yulong Li, Angelos Stefanidis, Anh Nguyen, Jionglong Su

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SkinCLIP-VL，通过冻结感知与自适应推理范式，结合CLIP编码器与轻量量化Qwen2.5-VL，引入一致性聚焦对齐损失，实现高效皮肤癌诊断，优于13B参数基线模型，参数更少且临床信任度更高。

Comments Accepted by 2026 IEEE International Conference on Multimedia and Expo (ICME 2026)

VSD-MOT: End-to-End Multi-Object Tracking in Low-Quality Video Scenes Guided by Visual Semantic Distillation

VSD-MOT: 低质量视频场景中基于视觉语义蒸馏的端到端多目标跟踪

Jun Du

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VSD-MOT框架，通过视觉语义蒸馏提升低质量视频中多目标跟踪性能，设计双约束语义蒸馏和动态语义权重调节模块，实验证明其在低质量场景和常规场景中的有效性。

AE-LLM: Adaptive Efficiency Optimization for Large Language Models

AE-LLM：面向大语言模型的自适应效率优化

Kaito Tanaka, Masato Ito, Yuji Nishimura, Keisuke Matsuda, Aya Nakayama

机构 * SANNO University（SANNO大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文提出AE-LLM框架，通过自适应选择和组合最优效率技术，提升大语言模型在不同部署场景下的效率，实验显示在15种模型和10种任务中，效率提升达2.8倍，精度保持在基线1.2%以内。

Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance

多模态持续指令微调与动态梯度指导

Songze Li, Mingyu Gao, Tonghua Su, Xu-Yao Zhang, Zhongjie Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济发展实验室） ； Chongqing Research Institute of HIT（重庆哈工大研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出通过几何参数空间方向向量近似缺失梯度，结合有限回放缓冲区和伯努利采样策略，有效缓解多模态持续指令微调中的灾难性遗忘问题。

CurveStream: Boosting Streaming Video Understanding in MLLMs via Curvature-Aware Hierarchical Visual Memory Management

CurveStream: 通过曲率感知的层次视觉记忆管理提升MLLMs在流媒体视频理解中的性能

Chao Wang, Xudong Tan, Jianjian Cao, Kangcong Li, Tao Chen

机构 * College of Future Information Technology, Fudan University（未来信息科技学院，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 CurveStream通过曲率感知的层次视觉记忆管理框架，在流媒体视频理解中实现显著性能提升，实验表明其在多个基准测试中均优于现有方法，达到新状态-of-the-art结果。

Pedestrian Crossing Intent Prediction via Psychological Features and Transformer Fusion

通过心理特征和Transformer融合进行行人过街意图预测

Sima Ashayer, Hoang H. Nguyen, Yu Liang, Mina Sartipi

机构 * The University of Tennessee at Chattanooga（田纳西大学查塔努加分校） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 本文提出一种轻量级社交感知架构，通过融合四种行为流实现行人意图预测，采用高效Transformer结构和不确定性量化方法，在PSI 1.0和PSI 2.0数据集上取得优异性能。

Comments Accepted to IEEE Intelligent Vehicles Symposium (IV) 2026. 8 pages, 3 figures

SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing

SAMA：用于指令引导视频编辑的因子化语义锚定与运动对齐

Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang, Qi Zhang, Jing Wang, Fan Chen, Hui Zhang, Haocheng Feng, Yu Lu, Hang Zhou, Chun Yuan, Jingdong Wang

机构 * Baidu（百度） ； Tsinghua University（清华大学） ； City University of Hong Kong（香港城市大学） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 SAMA通过因子化语义锚定和运动对齐方法，在无需外部先验知识的情况下实现精确语义修改与运动保真的平衡，展示了强大的零样本视频编辑能力。

Comments 24 pages, 12 figures

Image2Garment: Simulation-ready Garment Generation from a Single Image

Image2Garment: 从单张图像生成可模拟的服装

Selim Emir Can, Jan Ackermann, Kiyohiro Nakayama, Ruofan Liu, Tong Wu, Yang Zheng, Hugo Bertiche, Menglei Chai, Thabo Beeler, Gordon Wetzstein

机构 * Stanford University（斯坦福大学） ； Google（谷歌） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种框架，通过微调视觉语言模型获取材料属性，再训练轻量预测模型生成物理参数，实现从单张图像生成可模拟的服装。

Comments Project Page: https://image2garment.github.io/

LaDe: Unified Multi-Layered Graphic Media Generation and Decomposition

LaDe：统一的多层图形媒体生成与分解

Vlad-Constantin Lungu-Stan, Ionut Mironica, Mariana-Iuliana Georgescu

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 LaDe通过结合LLM提示扩展器、4D RoPE位置编码的潜在扩散变换器和RGBA VAE，实现灵活的多层媒体设计生成与分解，提升文本到多层媒体设计的对齐能力。

Comments 18 pages (main + supp)

FineViT: Progressively Unlocking Fine-Grained Perception with Dense Recaptions

FineViT: 通过密集描述逐步解锁细粒度感知

Peisen Zhao, Xiaopeng Zhang, Mingxing Xu, Ruoyu Sun, Zewei Du, Dunzheng Wang, Guanghao Zheng, Haohang Xu, Zhibo Zhang, Yuhang Zhang, Yi Ai, Lin Liu, Qi Tian

机构 * Huawei Inc.（华为公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 FineViT通过密集描述逐步训练，提升细粒度视觉感知能力，在长上下文检索中表现优异，超越现有多模态视觉编码器。

Graph-Native Cognitive Memory for AI Agents: Formal Belief Revision Semantics for Versioned Memory Architectures

面向AI代理的图原认知记忆：版本化记忆架构的正式信念修订语义

Young Bin Park

机构 * Kumiho Inc.（科米霍公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出Kumiho架构，结合正式信念修订语义，实现统一的图原记忆系统，通过双重存储模型和混合检索方式，在LoCoMo和LoCoMo-Plus基准测试中取得显著性能提升。

Comments 56 pages, 1 figure

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

MLLMs关注什么以及依赖什么：解释自回归标记生成

Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Laiyuan Wang, Hua Zhang, Xiaochun Cao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； College of Computing and Data Science, NTU（NTU 计算与数据科学学院） ； Huawei（华为） ； School of Flexible Electronics, SYSU（SYSU 灵活电子学院） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（Sun Yat-sen 大学深圳校区计算机科学与技术学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出EAGLE框架，通过轻量级黑盒方法解释MLLMs的自回归标记生成，量化语言先验和感知证据的影响，提升模型可解释性。

Comments Accepted to CVPR 2026

FlowComposer: Composable Flows for Compositional Zero-Shot Learning

FlowComposer: 用于组合零样本学习的可组合流

Zhenqi He, Lin Li, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出FlowComposer，通过学习两个基础流将视觉特征传输到属性和对象文本嵌入，并引入可学习的Composer显式融合速度场以生成组合流，有效解决组合零样本学习中的隐式组合构造和特征纠缠问题。

Comments Accepted to CVPR2026

UAVBench and UAVIT-1M: Benchmarking and Enhancing MLLMs for Low-Altitude UAV Vision-Language Understanding

UAVBench 和 UAVIT-1M：用于低空无人机视觉-语言理解的LLM基准测试与增强

Yang Zhan, Yuan Yuan

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出UAVBench和UAVIT-1M，用于评估和提升LLM在低空无人机视觉-语言任务中的能力，通过大规模数据集和基准测试揭示开源LLM在低空视觉内容生成上的不足，并通过微调提升性能。

Narrow Fine-Tuning Erodes Safety Alignment in Vision-Language Agents

细粒度微调会削弱视觉语言代理的安全对齐

Idhant Gulati, Shivam Raval

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 研究发现细粒度微调在有害数据集上会导致广泛的任务和模态对齐偏差，且单模态安全基准可能低估视觉语言模型的对齐退化。

Comments 25 pages, 14 figures, Published at the Lifelong Agent Workshop at ICLR 2026

Delving into Spectral Clustering with Vision-Language Representations

深入探讨基于视觉-语言表示的谱聚类

Bo Peng, Yuanwei Hu, Bo Liu, Ling Chen, Jie Lu, Zhen Fang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出基于预训练视觉语言模型的神经切线核谱聚类方法，通过跨模态对齐提升图像聚类性能，实验表明在16个基准数据集上显著优于现有方法。

Comments ICLR26

EcoAlign: An Economically Rational Framework for Efficient LVLM Alignment

EcoAlign：一种经济理性框架，用于高效LVLM对齐

Ruoxi Cheng, Haoxuan Ma, Teng Ma, Hongyi Zhang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出EcoAlign框架，通过经济理性搜索提升LVLM对齐效率，在安全、效用和成本间取得平衡，实验表明其在计算成本更低的情况下性能更优。

Retrieval-augmented Decoding for Improving Truthfulness in Open-ended Generation

基于检索的解码方法用于提升开放式生成中的真实性

Manh Nguyen, Sunil Gupta, Hung Le

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出Retrieval-Augmented Decoding方法，通过构建紧凑的参考 grounding 空间，在推理过程中利用检索到的上下文信息调整模型logits，提升生成文本的真实性。

Comments updated experiments and presentation

FlowAD: Ego-Scene Interactive Modeling for Autonomous Driving

FlowAD: 无人驾驶中的自体场景交互建模

Mingzhe Guo, Yixiang Yang, Chuanrong Han, Rufeng Zhang, Shirui Li, Ji Wan, Zhipeng Zhang

机构 * AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院AutoLab） ； Baidu Inc（百度公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出FlowAD框架，通过自体场景交互建模提升自动驾驶性能，利用场景流建模动态变化，结合新颖的FCP指标评估场景理解能力，实验表明其在碰撞率和驾驶评分上均优于现有方法。

Resource Rational Contractualism Should Guide AI Alignment

资源理性契约主义应指导AI对齐

Sydney Levine, Matija Franklin, Tan Zhi-Xuan, Secil Yanik Guyot, Lionel Wong, Daniel Kilov, Yejin Choi, Joshua B. Tenenbaum, Noah Goodman, Seth Lazar, Iason Gabriel

机构 * Harvard（哈佛大学） ； MIT（麻省理工学院） ； Google Deepmind（谷歌DeepMind） ； Australian National University（澳大利亚国立大学） ； Stanford Psychology Department（斯坦福心理学系） ； Stanford（斯坦福大学） ； Computer Science Department（计算机科学系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出资源理性契约主义框架，通过认知启发式方法提升AI决策效率与适应性，解决大规模契约达成成本高问题。

Comments 24 pages, 10 figures

Journal ref International Association for Safe and Ethical AI, 2026

OARS: Process-Aware Online Alignment for Generative Real-World Image Super-Resolution

OARS：面向生成真实世界图像超分辨率的在线对齐

Shijie Zhao, Xuanyu Zhang, Bin Chen, Weiqi Li, Qunliang Xing, Kexin Zhang, Yan Wang, Junlin Li, Li Zhang, Jian Zhang, Tianfan Xue

机构 * ByteDance Inc.（字节跳动公司） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 OARS通过过程感知的在线对齐框架，结合COMPASS奖励模型，在线优化图像超分辨率模型，实现感知与保真度的平衡，提升真实世界图像超分辨率性能。

Comments Super-Resolution, Reinforcement Learning

Beyond Dense Futures: World Models as Structured Planners for Robotic Manipulation

超越密集未来：世界模型作为机器人操作的结构化规划器

Minghao Jin, Mozheng Liao, Mingfei Han, Zhihui Li, Xiaojun Chang

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出StructVLA，通过结构化规划器提升机器人操作的可靠性，采用稀疏结构帧替代密集预测，实现视觉规划与运动控制的结合，实验显示在多个环境中的高成功率。

OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation

OpenVision 3: 一种用于理解和生成的统一视觉编码器家族

Letian Zhang, Sucheng Ren, Yanqing Liu, Xianhang Li, Zeyu Wang, Yuyin Zhou, Huaxiu Yao, Zeyu Zheng, Weili Nie, Guilin Liu, Zhiding Yu, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； JHU（约翰霍普金斯大学） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.AI

AI总结 本文提出OpenVision 3，通过统一视觉表示实现图像理解和生成。核心架构将VAE压缩的图像潜在特征输入ViT编码器，同时训练其输出以支持重建和语义学习，从而在共享潜在空间中实现良好泛化。

EvoTok: A Unified Image Tokenizer via Residual Latent Evolution for Visual Understanding and Generation

EvoTok：通过残差潜在进化实现统一的图像分词器用于视觉理解和生成

Yan Li, Ning Liao, Xiangyu Zhao, Shaofeng Zhang, Xiaoxing Wang, Yifan Yang, Junchi Yan, Xue Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 EvoTok通过残差潜在进化统一图像理解和生成，实现高效视觉表征建模。