大模型对齐与安全

Why Safety Probes Catch Liars But Miss Fanatics

为何安全探针会识破骗子却无法识别狂热分子

Kristiyan Haralambiev

机构 * Independent Research（独立研究） 纠错

专题命中 偏好对齐 ：safety(title)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究安全探针在检测欺骗性对齐AI系统时的局限性，发现当模型相信有害行为是正当的而非隐藏时，探针无法检测到这种一致性偏差，揭示了探针逃避现象的形成机制。

Comments 18 pages, 4 figures, 14 tables

Fluent Alignment with Disfluent Judges: Post-training for Lower-resource Languages

流畅对齐与不流畅评判：低资源语言的后训练方法

David Samuel, Lilja Øvrelid, Erik Velldal, Andrey Kutuzov

机构 * Language Technology Group, University of Oslo（奥斯陆大学语言技术组） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.CL、cs.AI

AI总结 本文提出一种低资源语言的后训练方法，通过不流畅评判模型保持语言模型的流畅性，通过挪威语案例研究验证了基于策略的训练方法在无需额外数据时的有效性。

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models

Nemotron-Cascade：基于级联强化学习的通用推理模型规模化

Boxin Wang, Chankyu Lee, Nayeon Lee, Sheng-Chieh Lin, Wenliang Dai, Yang Chen, Yangyi Chen, Zhuolin Yang, Zihan Liu, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

机构 * NVIDIA（英伟达） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出级联域强化学习（Cascade RL）方法，开发出Nemotron-Cascade模型，可在指令和深度思考模式间切换，性能不逊于纯思考模型，同时提升推理能力并保持跨领域基准性能。

Comments We publicly release the Nemotron-Cascade models and the full collection of training data at: https://huggingface.co/collections/nvidia/nemotron-cascade