大模型对齐与安全

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

PixJail：面向文本到图像越狱评估的自演化论文到流水线复现

Leyi Sheng, Han Sun, Zhen Sun, Yuntao Yue, Jinlin Wu, Xinlei He, Jiaheng Wei

机构 * The Hong Kong University of Technology and Science (Guangzhou)（香港科技与应用科技大学（广州）） ； East China Normal University（华东师范大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Wuhan University（武汉大学） ； Institute of Deep Perception Technology, JITRI（视觉感知技术研究院，JITRI） ； CAIR, Hong Kong Institute of Science and Innovation (HKISI)（创新科技研究院，香港科学与创新研究院（HKISI）） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出PixJail框架，通过自演化论文到流水线代理，自动构建攻击模块和可运行评估流水线，忠实复现原始实验结果，平均误差仅2.1%。

Distributed Quality-Diversity Search for Toxicity in Large Language Models

大型语言模型中毒性检测的分布式质量-多样性搜索

Onkar Shelar, Travis Desell

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)

AI总结 提出ToxSearch-S方法，通过增量式物种形成和MPI并行化，在有限预算下实现与基线相当的峰值毒性，同时降低累积搜索压力，并利用分布式计算显著加速搜索。

Comments 40 pages, 10 figures, preprint

Reinforcement Learning Towards Broadly and Persistently Beneficial Models

强化学习迈向广泛且持久有益的模型

Akshay V. Jagadeesh, Rahul K. Arora, Khaled Saab, Ali Malik, Mikhail Trofimov, Foivos Tsimpourlas, Johannes Heidecke, Karan Singhal

机构 * OpenAI 纠错

专题命中 越狱攻击 ：alignment(abstract,comments)；分类 cs.CL、cs.AI

AI总结 通过真实领域中的有益行为强化学习，模型在超过80%的分布外基准上表现提升，并展现出跨领域对齐泛化与对抗攻击的持久性。

Comments Blog: https://alignment.openai.com/beneficial-rl/