视觉大模型 / VLM

ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting

ESsEN: 在低资源环境下训练紧凑的判别视觉-语言变换器

Clayton Fields, Casey Kennington

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ESsEN模型，通过双塔编码器结构和传统卷积网络，实现低资源环境下高效视觉-语言模型训练，实验表明其参数量仅为其他模型的分数，性能优异。

Towards Robust Text-to-Image Person Retrieval: Multi-View Reformulation for Semantic Compensation

面向鲁棒的文本到图像人物检索：多视图重新公式化用于语义补偿

Chao Yuan, Yujian Zhao, Haoxuan Xu, Guanglin Niu

机构 * Beihang University（北航） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出基于大语言模型的语义补偿框架，通过多视图语义重新公式化和特征补偿提升跨模态表示一致性，解决文本到图像检索中的表达漂移问题，实验表明其在三个数据集上表现优异。

Geometry-Guided 3D Visual Token Pruning for Video-Language Models

基于几何的3D视觉标记修剪用于视频-语言模型

Han Li, Zehao Huang, Jiahui Fu, Naiyan Wang, Si Liu

机构 * Beihang University（北京航空航天大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Geo3DPruner框架，通过几何感知全局注意力建模跨帧相关性，并采用两阶段修剪过程，保留90%的视觉标记同时保持90%原始性能，优于现有文本引导和视觉引导修剪方法。

Comments Accepted by CVPR 2026

Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts

具有文化意识的幽默标题生成：跨文化多模态幽默生成

Run Xu, Lu Li, Rongzhao Zhang, Jie Xu

机构 * Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出一种多模态幽默生成任务，通过文化意识标题生成模型在不同文化背景下生成幽默标题，改进了文化背景下的图像相关性、语境适配性和幽默质量。

BioVLM: Routing Prompts, Not Parameters, for Cross-Modality Generalization in Biomedical VLMs

BioVLM：通过路由提示而非参数实现生物医学VLMs的跨模态泛化

Mainak Singha, Tanisha Gupta, Ankit Jha, Muhammad Haris Khan, Sayantani Ghosh, Biplab Banerjee

机构 * University of Trento（特伦托大学） ； Carnegie Mellon University（卡内基梅隆大学） ； LNMIIT Jaipur（贾伊普尔 LNMIIT） ； MBZUAI ； Sunandan Divatia School of Science（Sunandan Divatia 科学学院） ； IIT Bombay（博伊斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 BioVLM通过动态提示选择和提示银行学习，提升跨域泛化能力，无需大量骨干网络微调，在11个MedMNIST+2D数据集上取得新突破。

Comments Accepted in ACL Findings 2026

Data Selection for Multi-turn Dialogue Instruction Tuning

多轮对话指令微调的数据选择

Bo Li, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； School of Computer Science, Peking University（北京大学计算机学院） ； PKU-CMCC(Hubei) Joint Research Lab for LLM Industrial Applications（北京大学-湖北CMCC大模型工业应用联合实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出MDS框架，通过全局覆盖和局部结构阶段选择多轮对话数据，提升指令微调效果，优于现有方法并在多个基准测试中表现最佳。

Comments Github: https://github.com/WisdomShell/MDS Project: https://wisdomshell.github.io/MDS/

Journal ref Findings of ACL 2026

PoliLegalLM: A Technical Report on a Large Language Model for Political and Legal Affairs

PoliLegalLM：政治与法律领域大型语言模型的技术报告

Yuting Huang, Yinghao Hu, Qian Xiao, Wenlin Zhong, Yiquan Wu, Taishi Zhou, Moke Chen, Changlong Sun, Kun Kuang, Fei Wu

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Zhejiang University（浙江大学） ； Zhejiang Zhengfa Xinxi Guanli Zhongxin（浙江正法信息警务中心） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文提出PoliLegalLM，通过统一训练框架提升法律知识和推理能力，针对法律领域挑战实现高性能表现。

Bridging Coarse and Fine Recognition: A Hybrid Approach for Open-Ended Multi-Granularity Object Recognition in Interactive Educational Games

弥合粗粒与细粒识别：一种混合方法用于交互教育游戏中的开放多粒度物体识别

Hanling Yi, Feng Lin, Mao Luo, Yifan Yang, Xiaotian Yu, Rong Xiao

机构 * Intellifusion Inc.（Intellifusion公司） 纠错

专题命中 其他VLM ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HyMOR混合框架，结合MLLM和CLIP模型，解决开放多粒度物体识别中的粗粒与细粒任务差距问题，通过TBO数据集实验验证其在多模态内容生成和互动学习中的有效性。

Rethinking Post-Unlearning Behavior of Large Vision-Language Models

重新思考大型视觉-语言模型的后反遗忘行为

Minsung Kim, Nakyeong Yang, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出新的反遗忘任务和PUBG方法，旨在生成隐私保护且信息丰富的后反遗忘响应，解决现有方法导致的退化、幻觉或过度拒绝问题。

Comments 11 pages

When Seeing Overrides Knowing: Disentangling Knowledge Conflicts in Vision-Language Models

当感知超越认知：在视觉-语言模型中解构知识冲突

Francesco Ortu, Zhijing Jin, Diego Doimo, Alberto Cazzaniga

机构 * University of Trieste（特里este大学） ； AREA Science Park（AREAS科学公园） ； MPI ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究视觉-语言模型如何解决跨模态冲突，通过引入WHOOPS-AHA!数据集，发现特定注意力头可调节模型对内部知识或视觉信息的偏好，提升冲突解决的精确度。

Comments ACL 2026 (Main)

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

降低现代多模态大语言模型流水线的峰值内存使用

Junwan Kim, Hyunkyung Bae

机构 * New York University（纽约大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种顺序输入压缩机制，在预填充阶段通过结构感知的键值缓存压缩，降低多模态大语言模型的峰值内存使用，同时保持生成性能。

Comments ACL 2026

From Heads to Neurons: Causal Attribution and Steering in Multi-Task Vision-Language Models

从头到神经元：多任务视觉-语言模型中的因果归因与操控

Qidong Wang, Junjie Hu, Ming Jiang

机构 * Tongji University（同济大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出HONES框架，通过任务相关的注意力头来评估神经元的因果贡献，改进多任务视觉-语言模型中神经元的归因与操控，提升模型性能。

Comments ACL 2026 Findings

Pref-GRPO: Pairwise Preference Reward-based GRPO for Stable Text-to-Image Reinforcement Learning

Pref-GRPO：基于偏好奖励的GRPO用于稳定文本到图像强化学习

Yibin Wang, Zhimin Li, Yuhang Zang, Yujie Zhou, Jiazi Bu, Chunyu Wang, Qinglin Lu, Cheng Jin, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Hunyuan, Tencent（腾讯文脉） ； Shanghai AI Lab（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出Pref-GRPO方法，通过偏好奖励机制提升文本到图像生成的稳定性，同时引入UniGenBench基准测试评估模型性能。

Comments Project Page: https://codegoat24.github.io/UnifiedReward/Pref-GRPO

Compressing then Matching: An Efficient Pre-training Paradigm for Multimodal Embedding

压缩后再匹配：一种高效的多模态嵌入预训练范式

Da Li, Yuxiao Luo, Keping Bi, Jiafeng Guo, Wei Yuan, Biao Yang, Yan Wang, Fan Yang, Tingting Gao, Guorui Zhou

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出CoMa，一种高效的多模态嵌入预训练方法，通过压缩预训练阶段提升对比学习效率，实现多模态嵌入模型的高效优化。

Comments ACL2026

TextTIGER: Text-based Intelligent Generation with Entity Prompt Refinement for Text-to-Image Generation

TextTIGER：基于实体提示精炼的文本智能生成用于文本到图像生成

Shintaro Ozaki, Tomoyuki Jinno, Kazuki Hayashi, Yusuke Sakai, Jingun Kwon, Hidetaka Kamigaito, Katsuhiko Hayashi, Manabu Okumura, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技術研究所） ； The University of Tokyo（东京大学） ； Chungnam National University（Chungnam国立大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 TextTIGER通过增强外部信息和大语言模型总结，优化实体描述以提升文本到图像生成性能，实验表明其在多种评估指标上优于仅使用描述的提示方法。

Comments Under review

RA-RRG: Multimodal Retrieval-Augmented Radiology Report Generation with Key Phrase Extraction

RA-RRG：结合关键短语提取的多模态检索增强放射学报告生成

Jonggwon Park, Byungmu Yoon, Soobum Kim, Kyoyun Choi

机构 * DEEPNOID Inc.（DEEPNOID公司） ； Department of Artificial Intelligence and Data Science, Sejong University（Sejong大学人工智能与数据科学系） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 RA-RRG通过结合多模态检索与大语言模型生成放射学报告，减少幻觉和计算需求，实验显示在CheXbert指标上优于现有模型。

Comments ACL 2026, Findings of the Association for Computational Linguistics

Generalizable Prompt Tuning for Audio-Language Models via Semantic Expansion

通过语义扩展实现音频-语言模型的通用提示微调

Jaehyuk Jang, Wonjun Lee, Kangwook Ko, Changick Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出SEPT框架，通过引入语义扩展损失提升音频-语言模型提示微调的泛化能力，增强嵌入空间语义结构，改进基到新泛化和跨数据集迁移。

Comments ACL 2026 findings

Estimating Commonsense Plausibility through Semantic Shifts

通过语义转变估计常识可信度

Wanqing Cui, Wei Huang, Keping Bi, Jiafeng Guo, Xueqi Cheng

机构 * CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院网络数据科学与技术重点实验室，计算技术研究所，中国科学院，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出ComPaSS框架，通过测量在添加常识信息时的语义变化来量化常识可信度，验证了判别方法在细粒度常识评估中的优势，并展示了视觉语言模型在结合ComPaSS后的优越性能。

Privacy-Preserving Product-Quantized Approximate Nearest Neighbor Search Framework for Large-scale Datasets via A Hybrid of Fully Homomorphic Encryption and Trusted Execution Environment

面向大规模数据集的隐私保护产品量化近邻搜索框架：通过全同态加密和可信执行环境的混合方案

Shozo Saeki, Minoru Kawahara, Hirohisa Aman

专题命中 其他VLM ：visual language model(abstract)

AI总结 本文提出PPPQ-ANN框架，结合全同态加密和可信执行环境，优化大规模数据集的隐私保护近邻搜索，实现快速数据库生成和高吞吐量检索。

Comments 15 pages, 4 figures

When More Words Say Less: Decoupling Length and Specificity in Image Description Evaluation

当更多词语说更少：在图像描述评估中解耦长度与特异性

Rhea Kapur, Robert Hawkins, Elisa Kreiss

机构 * Stanford University（斯坦福大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文提出通过对比集定义描述特异性，验证人们更偏好信息密集的描述，无论长度如何，且长度分配影响特异性差异。