大模型对齐与安全

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

PersonaTeaming: 支持基于人设的生成AI红队测试

Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Apple（苹果公司） 纠错

专题命中 红队测试 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出PersonaTeaming方法，通过整合人设提升红队测试的自动化与人机协作能力，实验显示其在攻击成功率和提示多样性方面优于现有方法，并通过用户界面促进人机协同创新。

AutoRedTrader: Autonomous Red Teaming of Trading Agents through Synthetic Misinformation Injection

AutoRedTrader: 通过合成虚假信息注入实现交易代理的自主红队测试

Zhiwei Liu, Yangyang Yu, Yupeng Cao, Yuechen Jiang, Haohang Li, Zhuoran Lu, Yuyan Wang, Yixiang Zheng, Xiaorui Guo, Calvin Yixiang Cheng, Sophia Ananiadou

专题命中 红队测试 ：red teaming(title)

AI总结 本文提出AutoRedTrader框架，通过行为偏差操控、微小文本扰动和重写策略生成金融领域虚假信息，评估其对交易代理的影响及历史市场证据的稳定性。

Comments Work in progress