视觉大模型 / VLM

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

超越多样性：将视觉令牌剪枝视为子空间重建以实现高效视觉语言模型

Jaeyeon Lee, Shunjie Wen, Dong-Wan Choi

机构 * Inha University（延世大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出SPARE方法，将令牌剪枝重构为子空间重建问题，通过迭代选择投影残差大的令牌进行剪枝，并引入反相关性机制保留上下文信息，在LLaVA上剪枝94%令牌仍保持95%性能。

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

小视觉语言模型知道自己何时出错但无法表达：在现实图像退化下对陈述置信度与内部置信度的双模型研究

M M Asif Ferdous

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 研究小型视觉语言模型在现实图像退化下陈述置信度与内部置信度的差异，通过评估两个模型在六种退化情况及三种严重程度下的表现，发现内部概率是更好的延迟信号，严重低光时两种信号都不可信。

Comments 15 pages, 4 figures

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

RadSight：迈向感知可靠的多模态放射学图像理解

Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对医学多模态大语言模型视觉解释可靠性低的问题，引入Perception-Bench基准分析问题。提出基于双2D/3D编码器架构的RadSight模型，经渐进课程学习训练，在多维度评估中优于现有模型，凸显低级视觉感知对可靠临床理解的关键作用。

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

智能体真实到模拟：使用视觉语言智能体进行基于物理的世界建模

Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Siyuan Luo, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

机构 * University of British Columbia（英属哥伦比亚大学） ； Johns Hopkins University（约翰·霍普金斯大学） ； National University of Singapore（新加坡国立大学） ； Columbia University（哥伦比亚大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Style3D（无合适对应中文名） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对机器人与物体交互的真实到模拟转换难题，提出智能体真实到模拟框架，利用视觉语言智能体进行广义物理世界建模，能转换真实记录为可模拟孪生体，在多场景评估效果良好，成本低，可用于下游机器人任务。

Comments Authorship change

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

TextSLIP：用于医学报告生成的文本自监督CLIP

Haoyu Jiang, Ziping Cong

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。

Comments 9 pages

Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

像素换程序？关于将源代码作为文本和图像的输入令牌计费的跨供应商案例研究

Ronak Bhalgami

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究将源代码作为文本和图像时商业API如何计费，通过可重复案例研究，涵盖五种编程语言、多种源长度及多个模型别名，得出不同模型的图像与文本比率及收支平衡行为差异，还发布了重现研究所需的资料。

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯大语言模型部） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量，发现语言和多模态目标扩展行为不同，推导效率前沿，还表明原生多模态预训练能促进跨模态转移，为扩展多模态基础模型奠定基础。