视觉大模型 / VLM

Clustering and Token Denoising for Faster and More Robust VLMs

用于更快、更鲁棒的视觉语言模型（VLM）的聚类与令牌去噪

Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

机构 * Université Paris-Saclay（巴黎-萨克雷大学） ； Univ. Rennes（雷恩大学） ； Vsora（沃索拉公司） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本研究提出无需训练的ClustRS算法，通过聚类与残差收缩剪枝VLM的视觉令牌，在基准测试中实现显著性能提升，为高效抗噪VLM部署提供新方案。

Evidence-Gated Task and Motion Planning with Vision-Language Models

基于视觉语言模型的证据门控任务与运动规划

Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

机构 * Waseda University（早稻田大学） ； Flinders University（弗林德斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对机器人执行自然语言指令长时操纵任务时的部分可观测问题，提出 EAFG 框架，通过视觉证据获取与可行性门控提升食谱完成率并减少无效操纵尝试。

From Street View Imagery to Street Quality Indicators: Vision Language Inference for the Suburban 15-minute City

从街景图像到街道质量指标：面向郊区15分钟城市的视觉语言推理

Joan Perez, Giovanni Fusco

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文以法国尼斯东北部郊区为研究对象，采用开源的SAGAI工作流，利用视觉语言模型从街景图像评估街景质量，发现理想街景仅存在于部分郊区区域，证明了VLM可支持郊区城市诊断，助力循证规划。

Comments 16 pages, 4 figures

Projector Is All You Train

仅训练投影器就足够

Nyx Iskandar, Saathvik Selvan, Slater Victoroff

机构 * Ramen VR（拉面VR公司） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 该研究探究多模态大语言模型适配新模态是否需微调主干，经实验发现仅训练投影器即可实现强多模态性能，还能避免联合训练导致的语言模型能力漂移，且训练样本吞吐量约为联合训练的两倍，通过多类基准验证了结论。

DPC-Net: Dual-Prior Collaborative Network for All-in-One Image Restoration

DPC-Net：用于一体化图像修复的双先验协同网络

Zhaokun He, Kangbiao Shi, Axi Niu, Jian Jin, Peng Wu, Wei Dong, Qingsen Yan

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对一体化图像修复现有方法的结构扭曲与语义不一致问题，提出双先验协同网络DPC-Net，联合利用退化-语义耦合与低层视觉先验，在多基准上实现优于现有最优方法的修复性能。

What Matters for Latent Actions in Robot Learning

机器人学习中隐式动作的关键影响因素

Xizhou Bu, Qingda Hu, Lei Zhou, Lingfeng Zhang, Yingbo Tang, Zihao Liu, Xinyi Tao, Zhiqiang Ma, Qingqiu Huang, Chufeng Tang, Hongbo Wang, Jing Zhang, Jiayi Ma, Hangjun Ye, Wei Li, Xiaoshuai Hao

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Guangdong Provincial Key Laboratory of Computility Microelectronics, Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术研究院计算机微科学与技术学院、广东省计算微电子重点实验室） ； School of Aeronautics and Astronautics, Sichuan University（四川大学航空航天学院） ； Suzhou Evans Intelligent Technology Co., Ltd.（苏州伊文斯智能科技有限公司） ； Morphi Intelligence Technology Co., Ltd.（墨飞智能科技有限公司） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Xiaomi EV（小米汽车） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本研究通过统一框架整合代表性隐式动作模型，系统探究41种设计选择，发现用隐式动作微调视觉语言模型主干可为下游机器人操纵策略学习提供更强初始化。

Comments Project page: this https URL (https://carldegio.github.io/latent_action.github.io)

EATR-Stereo: Embodiment-Aware Token Routing of Paired Stereo Evidence for Humanoid Vision-Language-Action Control

EATR-Stereo：面向人形机器人视觉-语言-动作控制的具身感知配对立体证据路由

Songwei Wu, Rui Zhao, Fan Yang, Zhongqiang Nie, Zhiduo Jiang, Wandong Sun, Yuwei Li, Jian Hu, Yang Liu, Hong Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract,abstract_cn)

AI总结 EATR-Stereo是具身感知的令牌路由框架，在冻结预训练VLA模型的前提下，通过选择性路由配对立体证据，提升了人形机器人长时程视觉-语言-动作控制的任务成功率。

Comments 8 pages, 5 figures

DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

DIFFCZSL：基于扩散表示正则化的组合零样本学习

Hangyu Tian, Zhenqi He, Yanghao Wang, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 DIFFCZSL将预训练扩散模型的生成先验注入基于CLIP的组合零样本学习流程，通过对比对齐提升性能，在两类设置下均优于强基线，凸显了扩散表示与视觉-语言模型的互补优势。

Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment

基于增强型视觉-语言对齐的临床可信医学图像描述生成研究

Yunseo Lee, Hyun Jun Kim, Heeseung Shin, Changwon Lim

机构 * Chung-Ang University（中央大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究针对医学图像描述生成的临床可信性问题，提出分离训练与推理对齐的框架，结合多编码器、辅助学习及MedPAIR-SCST方法，通过选择与强化学习对齐提升临床一致性，在数据受限场景下改善医学图像描述的可信度。

Comments 10 pages, 2 figures, 7 tables. Preprint submitted to IEEE for possible publication

Holtercare-Bench: A Multimodal Benchmark for Evaluating Long-Term Dynamic ECG Analysis

Holtercare-Bench：用于评估长期动态心电图分析的多模态基准

Yihan Xie, Hanwen Cui, Runze Ye, Juekai Lin, Haoyang Wang, Jinhao Mao, Bo Zhang, Wenqiao Zhang, Xiaogang Guo, Jun Xiao, Lei Zhang

机构 * Zhejiang University（浙江大学） ； Beijing Institute of Technology（北京理工大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

Hallucination as a Feature, not a Defect: Evaluating a multi-agent architecture to transform speculative language-model outputs into testable scientific hypotheses

幻觉作为特征而非缺陷：评估一种将推测性语言模型输出转化为可检验科学假说的多智能体架构

Nicolas Rodriguez-Alvarez (IES Parquesol, Valladolid, Spain)

机构 * IES Parquesol（帕尔奎索尔学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 该研究提出基于Rust的多智能体架构，通过生成与评估智能体的认识论摩擦循环将LLM的推测性输出转化为可检验假说，实验显示该架构在需经受严格约束时更具优势，且各架构在原创性等维度的平衡表现不同。

Comments 25 pages. Bilingual: full English version followed by the complete Spanish version. Includes an exploratory paired baseline and ablation study (6 conditions). Code and data: this https URL (https://doi.org/10.5281/zenodo.20649714)