视觉大模型 / VLM

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

界定诚实大视觉-语言模型的知识边界

Junru Song, Yimeng Hu, Yijing Chen, Huining Li, Qian Li, Lizhen Cui, Yuntao Du

机构 * Shandong University（山东大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出系统框架提升VLM在面对未知问题时的拒绝能力，通过构建'视觉-不知'数据集并采用监督微调与偏好优化方法，提升事实准确率至67.3%，并在医疗等领域实现泛化。

Efficient, VRAM-Constrained xLM Inference on Clients

高效、受限于VRAM的xLM客户端推断

Aditya Ukarande, Deep Shekhar, Marc Blackstein, Ram Rangan

机构 * Microsoft Corporation（微软公司） ； NVIDIA Corporation（英伟达公司） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision language model(abstract)；分类 cs.LG

AI总结 本文提出pipelined sharding技术，通过CPU-GPU混合调度优化xLM在客户端的高效推断，提升TTFT和TPS性能，适用于LLM和VLM。

Comments Accepted at MLSys 2026 (Industry Track). 17 pages, 7 figures, 9 tables. Code and artifacts available at: https://github.com/deepshnv/pipeshard-mlsys26-ae

ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

ReGATE：通过减少令牌数在MLLMs中实现更快更好的学习

Chaoyu Li, Yogesh Kulkarni, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 ReGATE通过参考引导的自适应令牌消除方法加速MLLM训练，减少计算量同时保持模型准确性，在多个基准测试中表现出色。

Comments ACL 2026. Project page: https://people-robots.github.io/regate

SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness

SpatialFusion：赋予统一图像生成内在三维几何意识

Haiyi Qiu, Kaihang Pan, Jiacheng Li, Juncheng Li, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； HiThink Research（HiThink研究院） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出SpatialFusion框架，通过引入混合变压器增强MLLM的三维几何建模能力，并利用深度适配器将显式几何约束注入扩散模型，提升空间感知任务性能。

Grounding Generative Planners in Verifiable Logic: A Hybrid Architecture for Trustworthy Embodied AI

基于可验证逻辑的生成规划器：一种可信具身AI的混合架构

Feiyu Wu, Xu Zheng, Yue Qu, Zhuocheng Wang, Zicheng Feng, Hui Li

机构 * School of Cyber Engineering, Xidian University（电子科技大学信息工程学院） 纠错

专题命中 VLM训练与架构 ：grounding(title)；分类 cs.AI、cs.LG

AI总结 本文提出VIRF框架，通过逻辑导师与LLM的对话机制实现主动协作，提升具身AI的安全性与可靠性，实验显示其在家庭安全任务中表现优异。

Comments Accepted to ICLR 2026. Project page. https://openreview.net/forum?id=wb05ver1k8&noteId=v1Ax8CwI71

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions

Prox-E：基于原始抽象的细粒度3D形状编辑

Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, Hadar Averbuch-Elor

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出Prox-E，一种无需训练的框架，通过显式的原始几何抽象实现细粒度3D控制，有效平衡身份保持、形状质量和指令忠实度。

Comments Accepted to SIGGRAPH 2026. Project page: https://etaisella.github.io/Prox-E/

Star-Fusion: A Multi-modal Transformer Architecture for Discrete Celestial Orientation via Spherical Topology

星融合：一种多模态变换器架构，通过球面拓扑实现离散天体定向

May Hammad, Menatallh Hammad

机构 * Department of Aerospace Informatics, Julius-Maximilians-Universität Würzburg（航空航天信息学系，乌尔姆-马克斯-普朗克大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Star-Fusion架构，通过球面拓扑分类解决天体定向问题，采用球面K-means聚类和多模态融合策略，实现高精度和高效定位。

Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning

面向拓扑的表示对齐用于半监督视觉-语言学习

Junwon You, Mihyun Jang, Sangwoo Mo, Jae-Hun Jung

机构 * KAIST（韩国科学技术院） ； POSTECH 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出ToMA框架，通过持久同调识别拓扑显著边，利用跨模态对应关系对齐多模态表示，提升视觉-语言学习在遥感和时尚检索中的性能。

Comments 30 pages, 10 figures, 24 tables

DepthPilot: From Controllability to Interpretability in Colonoscopy Video Generation

DepthPilot：从可控性到可解释性在结肠镜视频生成中

Junhu Fu, Ke Chen, Weidong Guo, Shuyu Liang, Jie Xu, Chen Ma, Kehao Wang, Shengli Lin, Zeju Li, Yuanyuan Wang, Yi Guo, Shuo Li

机构 * College of Biomedical Engineering, Fudan University, Shanghai 200433, China（复旦大学生物医学工程学院） ； Key Laboratory of Medical Imaging Computing and Computer Assisted Intervention of Shanghai, Shanghai 200032, China（上海医学影像计算与计算机辅助干预重点实验室） ； Endoscopy Research Institute, Zhongshan Hospital, Fudan University, Shanghai 200032, China（复旦大学中山医院内窥镜研究所） ； Shanghai Collaborative Innovation Center of Endoscopy, Shanghai 200032, China（上海内窥镜协同创新中心） ； Department of Biomedical Engineering, Case Western Reserve University, Cleveland, OH 44106, USA（凯斯西储大学生物医学工程系） ； Department of Computer and Data Science, Case Western Reserve University, Cleveland, OH 44106, USA（凯斯西储大学计算机与数据科学系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DepthPilot框架，通过几何对齐策略和自适应样条去噪模块，实现结肠镜视频生成的可控性与可解释性，取得高FID分数和临床评估领先成果。

ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers

ViTaPEs: 视觉触觉位置编码用于多模态转换器中的跨模态对齐

Fotios Lygerakis, Ozan Özdenizci, Elmar Rückert

机构 * Chair of Cyber-Physical Systems（感知系统教授席位） ； Institute of Machine Learning and Neural Computation（机器学习与神经计算研究所） ； Technical University of Leoben（莱比锡技术大学） ； Graz University of Technology（格拉茨技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 ViTaPEs通过两阶段位置注入学习任务无关的视觉触觉表示，提升多模态对齐性能，实验证明其在多种任务和领域中的优越表现。

State Beyond Appearance: Diagnosing and Improving State Consistency in Dial-Based Measurement Reading

超越外观：诊断并改进基于指针的测量读数中的状态一致性

Yuanze Hu, Gen Li, Yuqin Lan, Qingchen Yu, Zhichao Yang, Junwei Jing, Zhaoxin Fan, Xiaotie Deng

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（未来区块链与隐私计算北京先进创新中心） ； Beihang University（北航） ； Fudan University（复旦大学） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文研究了多模态大语言模型在指针式测量读数任务中的表现问题，发现现有模型在状态一致性上存在缺陷，提出TriSCA框架以提升状态一致性。

VLN-Cache: Enabling Token Caching for VLN Models with Visual/Semantic Dynamics Awareness

VLN-Cache: 通过视觉/语义动态感知实现VLN模型的令牌缓存

Zihao Zheng, Zhihao Mao, Xingyue Zhou, Jiayu Chen, Maoliang Li, Xinhao Sun, Hailong Zou, Zhaobo Zhang, Xuanzhe Liu, Donggang Cao, Hong Mei, Xiang Chen

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学系） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文提出VLN-Cache框架，通过视觉动态感知和语义动态感知解决VLN模型中因视角和语义变化导致的缓存失效问题，实验显示在R2R-CE模拟基准上实现1.52倍的速度提升。