视觉大模型 / VLM - arXivDaily 专题

2604.20366 2026-04-23 cs.CV 89%

Mitigating Hallucinations in Large Vision-Language Models without Performance Degradation

在不降低性能的情况下缓解大型视觉-语言模型的幻觉

Xingyu Zhu, Junfeng Fang, Shuo Wang, Beier Zhu, Zhicai Wang, Yonghui Yang, Xiangnan He

机构 * MoE Key Lab of BIPC（BIPC摩尔实验室）； University of Science and Technology of China（中国科学技术大学）； National University of Singapore（新加坡国立大学）

专题命中 VLM训练与架构：LLaVA(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV

AI总结本文提出MPD框架，通过语义感知组件解耦和可解释参数更新，有效减少幻觉并保持生成能力，实验显示在LLaVA-Bench和MME上减少23.4%幻觉同时保持97.4%的生成能力。

Comments ACL 2026 (Oral)

2604.19966 2026-04-23 cs.CV cs.AI cs.LG cs.RO 88%

DistortBench: Benchmarking Vision Language Models on Image Distortion Identification

DistortBench：用于图像失真识别的视觉语言模型基准测试

Divyanshu Goyal, Akhil Eppa, Vanya Bannihatti Kumar

机构 * Adobe Inc.（Adobe公司）

专题命中 VLM训练与架构：VLM(summary_cn,abstract_cn)；vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结本文提出DistortBench，一个用于评估视觉语言模型图像失真识别能力的基准测试，包含13500道四选一问题，涵盖27种失真类型及不同严重程度，评估18种模型，揭示当前VLM在低级感知上的不足。

2604.19839 2026-04-23 cs.CV cs.AI 86%

Environmental Understanding Vision-Language Model for Embodied Agent

面向具身智能体的环境理解视觉-语言模型

Jinsik Bang, Jaeyeon Bae, Donggyu Lee, Siyeol Jung, Taehwan Kim

机构 * UNIST（全南国立大学）

专题命中 VLM训练与架构：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结本文提出EUEA框架，通过细调四项核心技能提升具身智能体的环境理解能力，结合恢复步骤和GRPO阶段提升任务执行效果，实验显示在ALFRED任务中性能显著优于行为克隆基线。

Comments CVPR Findings 2026, Project Page: https://eu-ea.github.io

2509.25844 2026-04-23 cs.CL cs.HC 85%

Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations

相信而不看：为视觉语言模型解释提供质量评分

Keyu He, Tejas Srinivasan, Brihi Joshi, Xiang Ren, Jesse Thomason, Swabha Swayamdipta

机构 * University of Southern California（南加州大学）； Carnegie Mellon University（卡内基梅隆大学）

专题命中 VLM训练与架构：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结本文提出通过两种质量评分函数评估视觉语言模型解释的视觉忠实度和对比性，以减少对模型预测的过度依赖，实验显示质量评分能显著提升用户判断准确性。

2601.14044 2026-04-23 cs.CV 84%

Weather-R1: Logically Consistent Reinforcement Fine-Tuning for Multimodal Reasoning in Meteorology

Weather-R1: 逻辑一致的强化微调用于气象中的多模态推理

Kaiyu Wu, Pucheng Han, Hualong Zhang, Naigeng Wu, Keze Wang

机构 * Sun Yat-sen University（中山大学）； Guangdong Meteorological Observatory（广东省气象局）

专题命中 VLM训练与架构：VLM(summary_cn,abstract)；vision language model(abstract)；分类 cs.CV

AI总结本文提出Weather-R1，首个具备逻辑忠实性的气象多模态推理VLM，通过逻辑一致性奖励解决强化微调中的自相矛盾推理问题，并在WeatherQA基准上提升9.8个百分点。

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2026, pp. 4851-4855

2604.12652 2026-04-23 cs.CV cs.AI 84%

PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

PromptEcho：基于视觉语言模型的无标注奖励用于文本到图像强化学习

Jinlong Liu, Wanggui He, Peng Zhang, Mushui Liu, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团）； Zhejiang University（浙江大学）

专题命中 VLM训练与架构：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 PromptEcho通过冻结的视觉语言模型计算token级交叉熵损失，无需标注或训练奖励模型，提升文本到图像模型的提示跟随能力，实验显示在多个基准上取得显著提升。

2604.14980 2026-04-23 cs.AI cs.CL cs.HC 83%

Hybrid Decision Making via Conformal VLM-generated Guidance

通过符合性VLM生成的指导实现混合决策

Debodeep Banerjee, Burcu Sayin, Stefano Teso, Andrea Passerini

机构 * University of Pisa（帕尔米斯大学）； DISI, University of Trento（特伦托大学DISI研究所）； CIMEC, University of Trento（特伦托大学CIMEC研究所）

专题命中 VLM训练与架构：VLM(title,title_cn)；分类 cs.AI

AI总结本文提出ConfGuide方法，通过符合性风险控制生成简洁精准的指导，提升多标签医学诊断任务中的决策质量。

2503.23733 2026-04-23 cs.CL cs.CV 79%

AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization

AdaMMS: 为异构多模态大语言模型设计的模型融合方法

Yiyang Du, Xiaochen Wang, Chi Chen, Jiabo Ye, Yiru Wang, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Zhifang Sui, Maosong Sun, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University（计算机科学与技术系，人工智能研究院，清华大学）； Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学）； State Key Laboratory of Multimedia Information Processing, Peking University（多媒体信息处理国家重点实验室，北京大学）； School of Software Microelectronics, Peking University（软件微电子学院，北京大学）； Institute of Intelligent Computing, Alibaba Group（智能计算研究院，阿里巴巴集团）； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国）； Jiangsu Collaborative Innovation Center for Language Competence, Jiangsu, China（江苏省语言能力协同创新中心，江苏，中国）； ModelTC Open Source Organization, Beijing, China（ModelTC开源组织，北京，中国）

专题命中 VLM训练与架构：multimodal large language model(title,abstract)；分类 cs.CV

AI总结本文提出AdaMMS，一种针对异构多模态大语言模型的模型融合方法，通过映射、融合和搜索三个步骤解决异构模型融合难题，无需标注数据即可在视觉语言基准测试中超越现有方法。

Comments CVPR 2025

2603.07474 2026-04-23 cs.CL cs.AI 77%

Cross-Modal Taxonomic Generalization in (Vision-) Language Models

跨模态分类泛化在（视觉-）语言模型中

Tianyang Xu, Marcelo Sandoval-Castaneda, Karen Livescu, Greg Shakhnarovich, Kanishka Misra

机构 * Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）； The University of Texas at Austin（德克萨斯大学奥斯汀分校）

专题命中 VLM训练与架构：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结研究探讨了语言模型在无显性证据情况下通过跨模态泛化恢复超范畴知识的能力，发现语言模型能基于语言线索实现泛化。

Comments ACL 2026 (main conference)

2604.20135 2026-04-23 cs.CL cs.IR 75%

AFMRL: Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning in E-commerce

AFMRL: 基于属性增强的电商细粒度多模态表示学习

Biao Zhang, Lixin Chen, Bin Zhang, Zongwei Wang, Tong Liu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）

专题命中 VLM训练与架构：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结本文提出AFMRL，通过属性生成任务提升电商细粒度多模态表示学习，结合属性引导对比学习和检索感知属性强化，实现更精准的相似商品检索。

Comments Accepted by ACL 2026

2604.20511 2026-04-23 cs.LG cs.AI cs.CL cs.CV cs.CY 67%

CHASM: Unveiling Covert Advertisements on Chinese Social Media

CHASM：揭示中国社交媒体上的隐蔽广告

Jingyi Zheng, Tianyi Hu, Yule Liu, Zhen Sun, Zongmin Zhang, Zifan Peng, Wenhan Dong, Xinlei He

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））

专题命中 VLM训练与架构：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结本文提出CHASM数据集，用于评估多模态大语言模型在检测社交媒体隐蔽广告的能力，揭示当前模型在识别隐蔽广告中的不足及改进方向。

Comments NeuIPS 2025 (Datasets and Benchmarks Track)

2604.20429 2026-04-23 cs.CV 57%

Fast-then-Fine: A Two-Stage Framework with Multi-Granular Representation for Cross-Modal Retrieval in Remote Sensing

快速-精细：一种用于遥感跨模态检索的两阶段框架，具有多粒度表示

Xi Chen, Xu Chen, Xiangyang Jia, Xu Zhang, Shuquan Wei, Wei Wang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院）； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）

专题命中 VLM训练与架构：vision-language model(abstract)；分类 cs.CV

AI总结本文提出一种两阶段框架，通过多粒度表示提升遥感跨模态检索效率与精度，采用文本无关召回和文本引导重排序阶段，减少计算资源消耗。

2604.19857 2026-04-23 cs.LG cs.CL 57%

Rethinking Reinforcement Fine-Tuning in LVLM: Convergence, Reward Decomposition, and Generalization

重新思考LVLM中的强化微调：收敛性、奖励分解与泛化

Carter Adams, Rafael Oliveira, Gabriel Almeida, Sofia Torres

机构 * Federal University of Bahia（巴伊亚联邦大学）

专题命中 VLM训练与架构：vision-language model(abstract)；分类 cs.LG

AI总结本文提出TA-MDP框架，分析强化微调中奖励结构对GRPO收敛性的影响，并推导奖励分解定理和泛化界限，揭示工具增强策略在分布外迁移中的有效性。

2604.19386 2026-04-23 cs.CV 57%

Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval

Air-Know: 基于仲裁校准的知识内化鲁棒网络用于组合图像检索

Zhiheng Fu, Yupeng Hu, Qianyun Yang, Shiqi Zhang, Zhiwei Chen, Zixu Li

机构 * Shandong University（山东大学）

专题命中 VLM训练与架构：multimodal large language model(abstract)；分类 cs.CV

AI总结针对组合图像检索中噪声三元组对应问题，Air-Know提出专家-代理-分流解耦范式，通过外部先验仲裁、专家知识内化和双流协调模块，提升鲁棒性和检索性能。

Comments Accepted by CVPR 2026

2509.03740 2026-04-23 cs.CV cs.CL 57%

CLIP-SVD: Efficient and Interpretable Vision-Language Adaptation via Singular Values

CLIP-SVD：通过奇异值实现高效且可解释的视觉-语言适应

Taha Koleilat, Hassan Rivaz, Yiming Xiao

机构 * Department of Electrical & Computer Engineering, Concordia University（康科迪亚大学电气与计算机工程系）； Department of Computer Science & Software Engineering, Concordia University（康科迪亚大学计算机科学与软件工程系）