大模型对齐与安全

PREFINE: Preference-Based Implicit Reward and Cost Fine-Tuning for Safety Alignment

PREFINE: 基于偏好的隐式奖励和成本微调以实现安全对齐

Richa Verma, Bavish Kulur, Sanjay Chawla, Balaraman Ravindran

机构 * TCS Research, \ of CSE, IIT Madras India ； Department of Computing Science, \ of Alberta Canada ； Qatar Computing Research Institute, \ Bin Khalifa University Qatar ； Department of Data Science \& AI, Wadhwani School of Data Science \& AI, IIT Madras India ； TCS Research, \ of CSE, IIT Madras ； Department of Computing Science, \ of Alberta ； Qatar Computing Research Institute, \ Bin Khalifa University ； Department of Data Science \& AI, Wadhwani School of Data Science \& AI, IIT Madras 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)

AI总结 该研究提出PREFINE方法，通过基于偏好的隐式奖励和成本微调，在连续控制环境中实现安全策略对齐，通过微调预训练强化学习策略以生成低成本行为同时保持高奖励。

Comments Accepted at AAMAS 2026 as a full paper

Towards Context-Invariant Safety Alignment for Large Language Models

面向大语言模型的上下文不变安全对齐

Yixu Wang, Yang Yao, Xin Wang, Yifeng Gao, Yan Teng, Xingjun Ma, Yingchun Wang

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种上下文不变的安全对齐方法，通过引入锚点不变正则化（AIR）来提升模型在不同上下文中的鲁棒性，从而增强安全约束对对抗性框架的抵抗力。

Comments ICML 2026

Spectral Souping: A Unified Framework for Online Preference Alignment

谱汤：一种在线偏好对齐的统一框架

Yinlam Chow, Guy Tennenholtz, Ted Yun, James Harrison, Arthur Gretton, Andre Barreto, Bo Dai

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出了一种统一的在线偏好对齐框架Spectral Souping，通过发现LLM中的通用谱表示，实现了高效的模型合并，从而在不需昂贵在线重训练的情况下快速适应个体用户偏好。

QwenSafe: Multimodal Content Rating Description Identification via Preference-Aligned VLMs

QwenSafe: 通过偏好对齐的视觉语言模型实现多模态内容评级描述识别

Dishanika Denipitiyage, Aruna Seneviratne, Suranga Seneviratne

机构 * University of Sydney（悉尼大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)

AI总结 本文提出QwenSafe，一种通过联合推理应用元数据和截图来自动识别苹果定义的内容评级描述（CRDs）的视觉语言模型，通过引入metadata2CRD数据构建管道和直接偏好优化（DPO）提升模型预测准确性，实验结果显示QwenSafe在二元CRD分类中显著优于现有模型。

How Much Online RL is Enough? Informative Rollouts for Offline Preference Optimization in RLVR

在线强化学习需要多少？用于RLVR中离线偏好优化的信息性回放

Richa Verma, Balaraman Ravindran

机构 * TCS Research Department of CSE（TCS计算机科学系研究部） ； IIT Madras（印度理工学院马德拉斯分校） ； Department of Data Science & AI（数据科学与人工智能系） ； Wadhwani School of Data Science & AI（Wadhwani数据科学与人工智能学院） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出G2D方法，通过短时GRPO预热、构建静态偏好数据集和离线DPO微调，以较低的计算成本实现优于GRPO的性能，强调偏好数据信息性而非数量的重要性。

Bayesian Preference Learning for Test-Time Steerable Reward Models

基于测试时间可调节的贝叶斯偏好学习的奖励模型

Jiwoo Hong, Shao Tang, Zhipeng Wang

机构 * LinkedIn Corporation（LinkedIn公司） ； Nubank 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种新的贝叶斯奖励建模目标，即变分上下文奖励建模（ICRM），通过上下文偏好演示实现测试时间可调节性，从而适应未见过的偏好分布，提高了奖励模型的准确性和鲁棒性。

Comments Preprint