视觉大模型 / VLM

SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

Yuanyang Yin, Yaqi Zhao, Yajie Zhang, Yuanxing Zhang, Ke Lin, Jiahao Wang, Xin Tao, Pengfei Wan, Wentao Zhang, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

MoPEQ: Mixture of Mixed Precision Quantized Experts

Krishna Teja Chitty-Venkata, Jie Ye, Murali Emani

机构 * Argonne National Laboratory（阿贡国家实验室） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

Comments Accepted by ICCV Bivision Workshop 2025

Why Do MLLMs Struggle with Spatial Understanding? A Systematic Analysis from Data to Architecture

Wanyue Zhang, Yibin Huang, Yangbin Xu, JingJing Huang, Helu Zhi, Shuo Ren, Wang Xu, Jiajun Zhang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

Comments The benchmark MulSeT is available at https://huggingface.co/datasets/WanyueZhang/MulSeT

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

机构 * University of California Santa Cruz（加州大学圣克鲁兹分校） ； Apple（苹果公司） ； University of California Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

MeVe: A Modular System for Memory Verification and Effective Context Control in Language Models

Andreas Ottem

机构 * Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

Comments 16 pages, 7 figures, held online presentation at NLPA 2025

Generative Frame Sampler for Long Video Understanding

Linli Yao, Haoning Wu, Kun Ouyang, Yuanxing Zhang, Caiming Xiong, Bei Chen, Xu Sun, Junnan Li

机构 * National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机学院，北京大学） ； Peking University（北京大学） ； Salesforce Research（Salesforce 研究） ； Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

Comments ACL 2025 Findings. Code: https://github.com/yaolinli/GenS

LightVLM: Acceleraing Large Multimodal Models with Pyramid Token Merging and KV Cache Compression

Lianyu Hu, Fanhua Shang, Wei Feng, Liang Wan

机构 * College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments EMNLP2025 Findings

MMG-Vid: Maximizing Marginal Gains at Segment-level and Token-level for Efficient Video LLMs

Junpeng Ma, Qizhe Zhang, Ming Lu, Zhibin Wang, Qiang Zhou, Jun Song, Shanghang Zhang

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

Comments 10 pages, 3 figures

Image-guided topic modeling for interpretable privacy classification

Alina Elena Baia, Andrea Cavallaro

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

Comments Paper accepted at the eXCV Workshop at ECCV 2024. Supplementary material included. Code available at https://github.com/idiap/itm

MotionFlux: Efficient Text-Guided Motion Generation through Rectified Flow Matching and Preference Alignment

Zhiting Gao, Dan Song, Diqiong Jiang, Chao Xue, An-An Liu

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

Comments 11 pages, 5 figures

OwlCap: Harmonizing Motion-Detail for Video Captioning via HMD-270K and Caption Set Equivalence Reward

Chunlin Zhong, Qiuxia Hou, Zhangjun Zhou, Shuang Hao, Haonan Lu, Yanhao Zhang, He Tang, Xiang Bai

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Comments 9 pages, 6figures

OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Jianwen Jiang, Weihong Zeng, Zerong Zheng, Jiaqi Yang, Chao Liang, Wang Liao, Han Liang, Yuan Zhang, Mingyuan Gao

机构 * Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

Comments Homepage: https://omnihuman-lab.github.io/v1_5/

Waver: Wave Your Way to Lifelike Video Generation

Yifu Zhang, Hao Yang, Yuqi Zhang, Yifei Hu, Fengda Zhu, Chuang Lin, Xiaofeng Mei, Yi Jiang, Bingyue Peng, Zehuan Yuan

机构 * Bytedance Waver Team（字节跳动Waver团队） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Align 3D Representation and Text Embedding for 3D Content Personalization

Qi Song, Ziyuan Luo, Ka Chun Cheung, Simon See, Renjie Wan

机构 * Department of Computer Science（计算机科学系） ； Hong Kong Baptist University（香港 Baptist 大学） ； NVIDIA AI Technology Center（NVIDIA AI 技术中心） ； NVIDIA 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

HPSv3: Towards Wide-Spectrum Human Preference Score

Yuhang Ma, Yunhao Shui, Xiaoshi Wu, Keqiang Sun, Hongsheng Li

机构 * Mizzen AI ； CUHK MMLab（香港大学MMLab） ； King’s College London（伦敦国王学院） ； Shanghai Jiaotong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； CPII, InnoHK（创新香港科技促进会） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

Comments ICCV2025

MoEcho: Exploiting Side-Channel Attacks to Compromise User Privacy in Mixture-of-Experts LLMs

Ruyi Ding, Tianhong Xu, Xinyi Shen, Aidong Adam Ding, Yunsi Fei

机构 * Louisiana State University（路易斯安那州立大学） ； Northeastern University（东北大学） ； Yale University（耶鲁大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.AI

Comments This paper will appear in CCS 2025

Benchmarking Vector, Graph and Hybrid Retrieval Augmented Generation (RAG) Pipelines for Open Radio Access Networks (ORAN)

Sarat Ahmad, Zeinab Nezami, Maryam Hafeez, Syed Ali Raza Zaidi

机构 * School of Electronic and Electrical Engineering（电子与电气工程学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

Multi-Rationale Explainable Object Recognition via Contrastive Conditional Inference

Ali Rasekh, Sepehr Kazemi Ranjbar, Simon Gottschalk

机构 * Leibniz University Hannover（汉诺威莱布尼茨大学） ； L3S Research Center（L3S研究中心） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Federated Cross-Modal Style-Aware Prompt Generation

Suraj Prasad, Navyansh Mahla, Sunny Gupta, Amit Sethi

机构 * Indian Institute of Technology Bombay（印度理工学院孟买学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Planner-Refiner: Dynamic Space-Time Refinement for Vision-Language Alignment in Videos

Tuyen Tran, Thao Minh Le, Quang-Hung Le, Truyen Tran

机构 * Applied Artificial Intelligence Institute, Deakin University, Australia（应用人工智能研究所，德金大学，澳大利亚） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

Comments Accepted for publication at ECAI 2025

Common Data Properties Limit Object-Attribute Binding in CLIP

Bijay Gurung, David T. Hoffmann, Thomas Brox

机构 * University of Freiburg（弗赖堡大学） ； deepset 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments accepted at GCPR 2025

Mastering Collaborative Multi-modal Data Selection: A Focus on Informativeness, Uniqueness, and Representativeness

Qifan Yu, Zhebei Shen, Zhongqi Yue, Yang Wu, Bosheng Qin, Wenqiao Zhang, Yunfei Li, Juncheng Li, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Comments ICCV 2025 Highlight

ViCToR: Improving Visual Comprehension via Token Reconstruction for Pretraining LMMs

Yin Xie, Kaicheng Yang, Peirou Liang, Xiang An, Yongle Zhao, Yumeng Wang, Ziyong Feng, Roy Miles, Ismail Elezi, Jiankang Deng

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

Comments 10 pages, 6 figures, 5 tables

StyleTailor: Towards Personalized Fashion Styling via Hierarchical Negative Feedback

Hongbo Ma, Fei Shen, Hongbin Xu, Xiaoce Wang, Gang Xu, Jinkai Zheng, Liangqiong Qu, Ming Li

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments 24pages, 5 figures

Multiple Stochastic Prompt Tuning for Few-shot Adaptation under Extreme Domain Shift

Debarshi Brahma, Soma Biswas

机构 * Indian Institute of Science（印度科学研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Pose-RFT: Enhancing MLLMs for 3D Pose Generation via Hybrid Action Reinforcement Fine-Tuning

Bao Li, Xiaomei Zhang, Miao Xu, Zhaoxin Fan, Xiangyu Zhu, Zhen Lei

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） ； CAIR, HKISI, CAS（中国科学院自动化研究所） ； Beihang University（北京航空航天大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning

Jialu Zhou, Dianxi Shi, Shaowu Yang, Xinyu Wei, Mingyue Yang, Leqian Li, Mengzhu Wang, Chunping Qiu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

More Is Better: A MoE-Based Emotion Recognition Framework with Human Preference Alignment

Jun Xie, Yingjian Zhu, Feng Chen, Zhenghao Zhang, Xiaohui Fan, Hongzhu Yi, Xinming Wang, Chen Yu, Yue Bi, Zhaoran Zhao, Xiongjun Guan, Zhepeng Wang

机构 * Lenovo Research（联想研究） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Beijing Jiaotong University（北京交通大学） ； Shandong University（山东大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

RoboTron-Sim: Improving Real-World Driving via Simulated Hard-Case

Baihui Xiao, Chengjian Feng, Zhijian Huang, Feng yan, Yujie Zhong, Lin Ma

机构 * Meituan（美团） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

Comments ICCV 2025

Do Recommender Systems Really Leverage Multimodal Content? A Comprehensive Analysis on Multimodal Representations for Recommendation

Claudio Pomo, Matteo Attimonelli, Danilo Danese, Fedelucio Narducci, Tommaso Di Noia

机构 * Sapienza University of Rome（罗马大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

Comments Accepted as Full Research Papers at CIKM 2025