视觉大模型 / VLM

Rethinking Ground Truth: A Case Study on Human Label Variation in MLLM Benchmarking

重新审视真实标签：在大语言模型基准测试中的人类标签变异案例研究

Tomas Ruiz, Tanalp Agustoslu, Carsten Schwemmer

机构 * Bavarian Research Institute for Digital Transformation（巴伐利亚数字转型研究所） 纠错

专题命中 其他VLM ：MLLM(title,abstract)；multimodal large language model(abstract)

AI总结 研究探讨了人类标注差异对大语言模型基准测试的影响，发现大模型在高一致性子集表现最佳，但在高分歧情况下表现不佳，表明参数数量不决定对模糊性和主观性的敏感度。

Comments 6 pages, 3 tables, 1 figure

Journal ref 2025 IEEE International Conference on Big Data (BigData), 2025

ACT as Human: Multimodal Large Language Model Data Annotation with Critical Thinking

ACT作为人类：多模态大语言模型数据标注中的批判性思维

Lequan Lin, Dai Shi, Andi Han, Feng Chen, Qiuzheng Chen, Jiawen Li, Zhaoyang Li, Jiyuan Li, Zhenbang Sun, Junbin Gao

机构 * University of Sydney（悉尼大学） ； University of Cambridge（剑桥大学） ； Riken AIP（理化学研究所AIP分所） ； University of Adelaide（阿德莱德大学） ； ByteDance Australia（字节跳动澳大利亚） 纠错

专题命中 其他VLM ：multimodal large language model(title)；分类 cs.LG

AI总结 本文提出ACT标注框架，利用大语言模型作为评判者提高标注效率，通过批判性思维识别潜在错误，减少人工成本，提升标注质量。

Comments NeurIPS 2025