AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
AISPA:面向大语言模型应用的以用户为中心的系统提示审计框架
机构 * Stanford University(斯坦福大学) ; CMU(卡内基梅隆大学) ; UT Austin(德克萨斯大学奥斯汀分校) ; University of Toronto(多伦多大学) ; UCSB(加利福尼亚大学圣巴巴拉分校) ; WashU(华盛顿大学) ; OSU(俄亥俄州立大学) ; UCSC(加利福尼亚大学圣克鲁兹分校) ; Northwestern University(西北大学) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; KAUST(阿卜杜拉国王科技大学) ; MIT(麻省理工学院) ; University of Oxford(牛津大学) ; Institute for Decentralized AI(去中心化人工智能研究所)
AI总结 本文提出以用户为中心的AISPA框架,审计88款商业AI产品的3249条系统提示指令,发现其设计差异大、保护指令范围浅、长度增长但仍存问题指令,凸显系统提示需更高透明度与监督。