视觉大模型 / VLM

Curvature-Guided Mixing for MLLM Adaptation

曲率引导混合用于MLLM适配

Jinglong Yang, Jiaxuan He, Wenjian Huang, Zhan Zhuang, Jianguo Zhang

机构 * Research Institute of Trustworthy Autonomous Systems and Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学可信自主系统研究院与计算机科学与工程系） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；LLaVA(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出曲率引导混合（CGM）框架，通过二阶Hessian近似推导最优软混合比，以及硬混合变体CGM†，在LLaVA-1.5和Qwen2.5VL上改善任务专化与通用知识保持的权衡。

Comments Accepted to ECCV 2026

Steering Vision-Language Models with Joint Sparse Autoencoders

用联合稀疏自编码器引导视觉-语言模型

Huizhen Shu, Xuying Li, Hongxu Lin, Wenjie Sun, Hui Li

机构 * yunshanai（云山AI） ； HKUST(Guangzhou)（香港科技大学（广州）） ； Zidongtaichu（紫东太初） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出联合稀疏自编码器（JSAE），通过显式对齐约束联合分解视觉和语言激活，得到可解释的跨模态特征，并在LLaVA等模型上验证了层依赖的干预效果。

Comments 19pages,10 figures

fARfetch: Enabling Collocated AR-HRC in Large Visually Diverse Environments with VLM-Driven AR Content Adaptation

fARfetch: 利用VLM驱动的AR内容适配实现大型视觉多样环境中的协同人机协作

Christian Fronk, Hanting Ye, David Hunt, Miroslav Pajic, Maria Gorlatova

机构 * Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV

AI总结 提出fARfetch系统，通过共享语义环境映射、上下文微缩世界表示和VLM驱动的AR视图管理，在大型室外环境中保持AR内容可读性，实验表明任务完成时间减少66%，工作负荷显著降低。

Comments Accepted to the 2026 IEEE International Conference on Robot and Human Interactive Communication (RO-MAN). Author accepted manuscript

Privacy-Aware Visual Language Models

隐私感知的视觉语言模型

Laurens Samson, Nimrod Barazani, Sennay Ghebreab, Yuki M. Asano

机构 * Socially-Intelligent Artificial Systems Group, University of Amsterdam（智能社会人工智能系统组，阿姆斯特丹大学） ； University of Amsterdam（阿姆斯特丹大学） ； Fundamental AI Lab, University of Technology Nuremberg（基础人工智能实验室，纽伦堡技术大学） 纠错

专题命中 VLM训练与架构 ：visual language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对视觉语言模型隐私理解不足的问题，构建高质量基准数据集PrivBench和指令微调数据集PrivTune，通过少量样本微调显著提升隐私敏感性，性能超越GPT-4。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding

面向高效流式视频理解的动态固定预算记忆库

Baiyang Song, Yuli Lin, Qiong Wu, Tao Chen, Jun Peng, Xiao Chen, Yiyi Zhou, Rongrong Ji

机构 * Xiamen University（厦门大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出无训练方法CausalMem，通过在线语义基动态更新记忆库，在有限预算下最大化流式视频信息量，实现20倍视觉令牌压缩和82MB存储。

ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization

ForensicsTok: 面向图像篡改定位的法医引导分词建模

Lei Xu, Haowei Wang, Shen Chen, Taiping Yao, Bin Li, Changsheng Chen

机构 * Shenzhen University（深圳大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shenzhen MSU-BIT University（深圳北理莫斯科大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出ForensicsTok，将图像篡改定位重构为自回归序列生成任务，通过Token Splatting解码器和分层专家融合模块，直接生成空间定位的令牌序列，避免中间监督，在六个基准上超越现有MLLM方法并略优于强法医基线。

Comments 16 pages, 4 figures, 8 tables

GroundSet: A Cadastral-Grounded Dataset for Spatial Understanding with Vector Data

GroundSet: 基于地籍数据的空间理解向量数据集

Roger Ferrod, Maël Lecene, Krishna Sapkota, George Leifman, Vered Silverman, Genady Beryozkin, Sylvain Lobry

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大模型在遥感精细空间理解上的不足，提出基于地籍矢量数据的大规模数据集，含510k高分辨率图像和380万标注对象，通过指令微调基准验证，标准架构可掌握细粒度空间定位。

MedLayBench-V: A Large-Scale Benchmark for Expert-Lay Semantic Alignment in Medical Vision Language Models

MedLayBench-V：面向医学视觉语言模型中专家与普通人语义对齐的大规模基准

Han Jang, Junhyeok Lee, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔国立大学） ； Seoul National University College of Medicine（首尔国立大学医学院） ； Department of Radiology, Seoul National University Hospital（首尔国立大学医院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔国立大学医院健康人工智能研究所） ； The Advanced Imaging and Computational Neuroimaging (AICON) Laboratory（先进影像与计算神经影像实验室） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)

AI总结 提出首个大规模多模态基准MedLayBench-V，通过结构化概念基础精炼管道实现专家-普通人语义对齐，用于训练和评估能弥合医患沟通鸿沟的医学视觉语言模型。

Comments Findings of ACL 2026. 9 pages, 5 figures, 11 tables, plus appendix

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 18375-18394

ASSCG: Just-Right Gating over Chattering for Fast-Slow LLM Planning in Autonomous Driving

ASSCG：自动驾驶中快慢LLM规划的恰到好处门控

Sining Ang, Yuan Chen, Liu Haiyan, Xuanyao Mao, Jason Bao, Xuliang, Bingchuan Sun, Yan Wang

机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Department of Automation, University of Science and Technology of China（中国科学技术大学自动化系） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Lenovo Group Limited（联想集团） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出自适应慢系统控制门（ASSCG），通过帧级查询/缓存/丢弃决策优化快慢规划器调用，结合RWKV骨干网络和GRPO风格强化学习，在nuPlan和NAVSIM上分别提升性能并降低延迟。

DRM: Diffusion-based Reward Model With Step-wise Guidance

DRM: 基于扩散的奖励模型与逐步引导

Jaxon Zhang, Binxin Yang, Hubery Yin, Chen Li, Jing Lyu

机构 * Peking University（北京大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出基于扩散的奖励模型（DRM），利用预训练扩散模型作为评估骨干，通过逐步评估能力改进强化学习对齐和推理采样，提升图像生成质量。

Evaluating Scene-based In-Situ Item Labeling for Immersive Conversational Recommendation

评估基于场景的原位物品标签用于沉浸式对话推荐

Jiazhou Liang, Yifan Simon Liu, David Guo, Minqi Sun, Yilun Jiang, Scott Sanner

机构 * University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； Vector Institute of Artificial Intelligence（向量人工智能研究所） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对沉浸式对话推荐系统，提出基于显式意图满足和主动信息需求的原位标签分类与评估指标，基准测试显示现有方法在利用场景信息、避免冗余和预测主动需求方面存在局限。

ZeroWBC: Learning Natural Whole-Body Humanoid Interaction from Human Egocentric Data

ZeroWBC: 从人类自我中心数据学习自然全身人形交互

Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； TeleAI, China Telecom（TeleAI，中国电信） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出ZeroWBC框架，利用人类自我中心视频和同步全身运动数据，通过生成-跟踪方法实现无遥操作的人形机器人全身交互控制。