视觉大模型 / VLM

FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning

FastMMoE：通过动态专家激活和路由感知的标记剪枝加速多模态大语言模型

Guoyang Xia, Yifeng Ding, Fengfa Li, Lei Ren, Wei Chen, Fangxiang Feng, Xiaojie Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Li Auto（利亚自动化） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出FastMMoE，一种无需训练的加速框架，通过动态专家激活和路由感知标记剪枝，显著降低计算量并保持性能，优于现有基线方法。

ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models

ZOO-Prune：基于零阶梯度估计的训练自由token剪枝方法用于视觉-语言模型

Youngeun Kim, Youjia Zhang, Huiling Liu, Aecheon Jung, Sunwoo Lee, Sungeun Hong

机构 * Amazon（亚马逊公司） ； Sungkyunkwan University（成均馆大学） ； Inha University（inha大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出ZOO-Prune方法，通过零阶梯度估计在视觉-语言模型中实现无需训练的token剪枝，实验表明其在剪枝94.4%token的同时保持精度，并提升推理效率2.3倍。

CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning

CycleCap: 通过自监督循环一致性微调提升VLMs的描述性能

Marios Krestenitis, Christos Tzelepis, Konstantinos Ioannidis, Stefanos Vrochidis, Ioannis Kompatsiaris, Georgios Tzimiropoulos, Shaogang Gong, Ioannis Patras

机构 * Queen Mary, University of London（伦敦大学玛丽女王学院） ； Centre for Research and Technology Hellas（希腊研究中心） ； City St George’s, University of London（伦敦大学圣乔治学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出CycleCap，通过自监督循环一致性训练提升VLMs的图像描述性能，利用GRPO优化策略，基于重建图像与原始图像相似性作为奖励信号，无需标注数据即可提高描述准确性。

WorldAgents: Can Foundation Image Models be Agents for 3D World Models?

WorldAgents: 2D基础图像模型是否能作为3D世界模型的智能体？

Ziya Erkoç, Angela Dai, Matthias Nießner

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文探讨2D基础图像模型是否具备3D世界生成能力，提出多智能体架构实现3D世界合成，通过实验验证2D模型能生成一致且逼真的3D世界。

Comments Webpage: https://ziyaerkoc.com/worldagents/ Video: https://www.youtube.com/watch?v=Mj2FqqhurdI

Vision-Language Attribute Disentanglement and Reinforcement for Lifelong Person Re-Identification

视觉-语言属性解耦与强化用于终身人物重识别

Kunlun Xu, Haotong Cheng, Jiangmeng Li, Xu Zou, Jiahuan Zhou

机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（北京大学王轩计算机技术研究院，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan, China（华中科技大学人工智能与自动化学院，武汉，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出VLADR方法，通过视觉-语言属性解耦与强化提升跨域知识迁移，增强抗遗忘与泛化能力，实验表明在抗遗忘和泛化能力上优于现有方法。

Comments Accepted by CVPR 2026

On the Cone Effect and Modality Gap in Medical Vision-Language Embeddings

关于医学视觉-语言嵌入中的锥效应与模态间隙

David Restrepo, Miguel L Martins, Chenwei Wu, Luis Filipe Nakayama, Diego M Lopez, Stergios Christodoulidis, Maria Vakalopoulou, Enzo Ferrante

机构 * CentraleSupélec, Université Paris-Saclay, France（中央理工巴黎高等学院，巴黎萨克雷大学，法国） ； University of Porto, Portugal（葡萄牙波尔图大学） ； University of Michigan, USA（美国密歇根大学） ； Federal University of São Paulo, Brazil（巴西圣保罗联邦大学） ； Universidad del Cauca, Colombia（哥伦比亚考卡大学） ； Universidad de Buenos Aires, Argentina（阿根廷布宜诺斯艾利斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 本文研究了视觉语言模型中的锥效应及其对多模态性能的影响，通过轻量级机制调控模态间隙，发现医学数据集对间隙调节更敏感，但过度消除间隙并非最优，任务相关分离更佳。

LumosX: Relate Any Identities with Their Attributes for Personalized Video Generation

LumosX：通过身份与属性的关系实现个性化视频生成

Jiazheng Xing, Fei Du, Hangjie Yuan, Pengwei Liu, Hongbin Xu, Hai Ci, Ruigang Niu, Weihua Chen, Fan Wang, Yong Liu

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里云达摩院） ； Hupan Lab（虎斑实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 LumosX通过结合身份与属性关系，提升多主体个性化视频生成的精细度和一致性，采用数据与模型双改进策略，构建了全面的基准测试平台。

Comments ICLR 2026 Camera Ready Version. Code and Models: https://jiazheng-xing.github.io/lumosx-home/

Enhancing Alignment for Unified Multimodal Models via Semantically-Grounded Supervision

通过语义引导监督增强统一多模态模型的对齐

Jiyeong Kim, Yerim So, Hyesong Choi, Uiwon Hwang, Dongbo Min

机构 * Ewha Womans University（成均馆大学） ； Soongsil University（顺天大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Semantically-Grounded Supervision方法，通过构建视觉接地图和语义引导的破坏输入，解决统一多模态模型中的粒度不匹配和监督冗余问题，提升生成质量和跨模态对齐。

Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance

多模态持续指令微调与动态梯度指导

Songze Li, Mingyu Gao, Tonghua Su, Xu-Yao Zhang, Zhongjie Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济发展实验室） ； Chongqing Research Institute of HIT（重庆哈工大研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出通过几何参数空间方向向量近似缺失梯度，结合有限回放缓冲区和伯努利采样策略，有效缓解多模态持续指令微调中的灾难性遗忘问题。

CurveStream: Boosting Streaming Video Understanding in MLLMs via Curvature-Aware Hierarchical Visual Memory Management

CurveStream: 通过曲率感知的层次视觉记忆管理提升MLLMs在流媒体视频理解中的性能

Chao Wang, Xudong Tan, Jianjian Cao, Kangcong Li, Tao Chen

机构 * College of Future Information Technology, Fudan University（未来信息科技学院，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 CurveStream通过曲率感知的层次视觉记忆管理框架，在流媒体视频理解中实现显著性能提升，实验表明其在多个基准测试中均优于现有方法，达到新状态-of-the-art结果。

Pedestrian Crossing Intent Prediction via Psychological Features and Transformer Fusion

通过心理特征和Transformer融合进行行人过街意图预测

Sima Ashayer, Hoang H. Nguyen, Yu Liang, Mina Sartipi

机构 * The University of Tennessee at Chattanooga（田纳西大学查塔努加分校） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 本文提出一种轻量级社交感知架构，通过融合四种行为流实现行人意图预测，采用高效Transformer结构和不确定性量化方法，在PSI 1.0和PSI 2.0数据集上取得优异性能。

Comments Accepted to IEEE Intelligent Vehicles Symposium (IV) 2026. 8 pages, 3 figures

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

既非此处亦非彼处：多语言编码器中混合语言文本的跨语言表示动态

Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

机构 * Indian Institute of Science Education and Research（印度科学教育与研究学院） ； Microsoft Corporation（微软公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究探讨多语言编码器对混合语言文本的内部表示，发现标准模型在英语和印地语间表现良好，但混合文本与任一语言连接松散。通过训练混合数据可提升英语混合文本对齐，但损害英语-印地语对齐。引入三语后训练目标，使混合文本表示更接近构成语言，提升跨语言理解。

Comments 24 pages