视觉大模型 / VLM - arXivDaily 专题

2606.03376 2026-06-04 cs.CV cs.AI cs.CL cs.LG 82%

P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization

P²-DPO：通过校准直接偏好优化在感知处理中锚定幻觉

Ruipeng Zhang, Zhihao Li, Haozhang Yuan, C. L. Philip Chen, Tong Zhang

机构 * Guangdong Provincial Key Laboratory of Computational AI Models and Cognitive Intelligence, School of Computer Science & Engineering, South China University of Technology（广东省计算人工智能模型与认知智能重点实验室，计算机科学与工程学院，华南理工大学）； Pazhou Lab, Guangzhou, China（琶洲实验室，广州，中国）； Engineering Research Center of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human, Guangzhou, China（教育部健康智能感知与并行数字人工程研究中心，广州，中国）

专题命中幻觉与鲁棒性：grounding(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结针对大型视觉语言模型中的幻觉问题，提出P²-DPO训练范式，通过模型自生成偏好对和校准损失，直接优化感知瓶颈和视觉鲁棒性，无需昂贵人工反馈。

2511.00801 2026-06-04 cs.CV cs.MM 70%

Med-Banana: Learning Quality-Controlled Medical Image Editing from Success-and-Failure Trajectories

Med-Banana：从成功与失败轨迹中学习质量可控的医学图像编辑

Zhihui Chen, Qingyuan Lei, Kai He, Yanrui Du, Mengling Feng

机构 * National University of Singapore（新加坡国立大学）； The Chinese University of Hong Kong（香港中文大学）； Harbin Institute of Technology（哈尔滨工业大学）

专题命中幻觉与鲁棒性：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结提出Med-Banana框架，通过收集成功与失败编辑轨迹数据集Med-Banana-80K，联合训练编辑器、验证器和优化器，实现质量可控的医学图像编辑。

2512.14177 2026-06-04 cs.CV 57%

Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes

利用语义高斯过程改进LVLM中的语义不确定性量化

Joseph Hoche, Andrei Bursuc, David Brellmann, Gilles Louppe, Pavel Izmailov, Angela Yao, Gianni Franchi

机构 * AMIAD, Pôle Recherche, Palaiseau（AMIAD研究部，Palaiseau）； valeo.ai ； Safran Tech ； University of Liège（利耶大学）； New York University（纽约大学）； National University of Singapore（新加坡国立大学）； ENSTA Paris（巴黎ENSTA）

专题命中幻觉与鲁棒性：vision-language model(abstract)；分类 cs.CV

AI总结提出语义高斯过程不确定性（SGPU）框架，通过分析答案嵌入的几何结构来量化语义不确定性，避免脆弱的聚类方法，在多个模型和数据集上实现了最先进的校准和判别性能。

2506.10912 2026-06-04 cs.AI cs.CL 57%

Breaking Bad Molecules: Are MLLMs Ready for Structure-Level Molecular Detoxification?

Breaking Bad Molecules: MLLMs 是否准备好进行结构级分子解毒？

Fei Lin, Ziyang Gong, Cong Wang, Tengchao Zhang, Yonglin Tian, Yining Jiang, Ji Dai, Chao Guo, Xiaotong Yu, Xue Yang, Gen Luo, Fei-Yue Wang

机构 * Department of Engineering Science, Macau University of Science and Technology, Macau, China（澳门科学技术大学工程科学系）； School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机科学学院）； Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所）； School of Pharmacy, Macau University of Science and Technology, Macau, China（澳门科学技术大学药学院）； Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo, China（宁波大学电气与计算机科学学院）； State Key Laboratory of Biopharmaceutical Preparation and Delivery, Institute of Process Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院生物制药制备与递送国家重点实验室）； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China（上海交通大学自动化与智能感知学院）； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室）

专题命中幻觉与鲁棒性：multimodal large language model(abstract)；分类 cs.AI

AI总结本文提出 ToxiMol 基准任务，利用多模态大语言模型进行分子毒性修复，并构建数据集、提示流程和自动评估框架 ToxiEval，实验表明当前模型虽面临挑战但展现出毒性理解与结构编辑的潜力。

2606.04596 2026-06-04 cs.CL 50%

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs

多视频摘要中位置偏差的系统评估：基于多模态大语言模型

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心）； International Center of Future Science, Jilin University（未来科学国际中心）

专题命中幻觉与鲁棒性：multimodal large language model(abstract)

AI总结本研究系统评估了多模态大语言模型在多视频摘要任务中的位置偏差，通过构建基准和三种互补指标揭示了领域与模型依赖的偏差特性，并分析了提示级缓解方法。

1. 幻觉与鲁棒性 5 篇

P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization

Med-Banana: Learning Quality-Controlled Medical Image Editing from Success-and-Failure Trajectories

Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes

Breaking Bad Molecules: Are MLLMs Ready for Structure-Level Molecular Detoxification?

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs