大模型对齐与安全

Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety

在自毁之前检查自己：选择性退出提升LLM智能体安全性

Vamshi Krishna Bonagiri, Ponnurangam Kumaragurum, Khanh Nguyen, Benjamin Plaut

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL

AI总结 提出让LLM智能体在不确定时主动退出，通过ToolEmu框架在12个模型上评估，发现该方法在几乎不降低有用性的情况下显著提升安全性。

Comments Reliable ML and Regulatable ML workshops, Neurips 2025

Bridging Mechanistic Interpretability and Prompt Engineering with Gradient Ascent for Interpretable Persona Control

通过梯度上升实现可解释人格控制与提示工程的桥梁

Harshvardhan Saini, Yiming Tang, Dianbo Liu

机构 * Department of Computer Science（计算机科学系） ； Indian Institute of Technology (ISM), Dhanbad（印度理工学院（ISM），丹巴德） ； National University of Singapore（新加坡国立大学） ； CIFAR Fellow（CIFAR研究员） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 本文提出RESGA和SAEGA方法，利用梯度上升优化随机初始化提示，以实现与识别的人格方向更一致的表示，有效控制LLM中的人格行为。