TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios
TSHA:用于可信安全危害评估场景的视觉语言模型基准
机构 * City University of Hong Kong(香港城市大学) ; East China Normal University(华东师范大学) ; University of Western Australia(西澳大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; Shanghai Development Center of Computer Software Technology(上海计算机软件技术开发中心) ; Zhejiang Gongshang University(浙江工商大学)
专题命中 安全评测 :safety(title,abstract);trustworthy(title,abstract_cn);分类 cs.AI
AI总结 本文提出TSHA基准,通过81809个精心挑选的训练样本和1707个挑战性测试样本,评估视觉语言模型在复杂家庭安全场景中的鲁棒性和泛化能力,发现现有模型在安全危害评估中存在显著不足。