大模型对齐与安全

Steering Frozen LLMs: Adaptive Social Alignment via Online Prompt Routing

引导冻结的大型语言模型：通过在线提示路由实现适应性社会对齐

Zeyu Zhang, Xiangxiang Dai, Ziyi Han, Xutong Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

AI总结 本文提出CCLUB框架，通过系统提示路由实现适应性社会对齐，解决部署时静态策略无法应对动态安全规范的问题，实验显示其在累积奖励和子最优差距上优于基线方法。

Via Negativa for AI Alignment: Why Negative Constraints Are Structurally Superior to Positive Preferences

通过否定来实现AI对齐：为什么否定约束在结构上优于积极偏好

Quan Cheng

机构 * Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；harmlessness(abstract)；分类 cs.AI

AI总结 本文探讨了通过否定约束而非积极偏好进行AI对齐的结构优势，提出基于波普尔的证伪逻辑，指出否定信号方法在避免趋炎附势和提升效果上的有效性。

Comments 9 pages, position paper

LibraGen: Playing a Balance Game in Subject-Driven Video Generation

LibraGen：在以主题驱动的视频生成中进行平衡游戏

Jiahao Zhu, Shanshan Lao, Lijie Liu, Gen Li, Tianhao Qi, Wei Han, Bingchuan Li, Fangfang Liu, Zhuowei Chen, Tianxiang Ma, Qian HE, Yi Zhou, Xiaohua Xie

机构 * Pazhou Laboratory (Huangpu)（黄埔实验室（ Pazhou）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 LibraGen通过平衡视频生成基础模型的内在先验与主题到视频能力，提出了一种新的框架，采用质量优先策略和动态分类器自由引导方案，提升生成效果。

CHARM: Calibrating Reward Models With Chatbot Arena Scores

CHARM：通过聊天机器人竞技场分数校准奖励模型

Xiao Zhu, Chenmien Tan, Pinzhen Chen, Rico Sennrich, Huiming Wang, Yanlin Zhang, Hanxu Hu

机构 * Alibaba Group（阿里巴巴集团） ； Queen’s University Belfast（贝尔法斯特女王大学） ； University of Zurich（苏黎世大学） ； Singapore University of Technology（新加坡科技设计大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CHARM方法，通过利用Chatbot Arena的Elo分数校准奖励模型，减少模型偏好偏差，提升奖励模型的准确性和公平性。

Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning

Diffusion-DRF：免费、丰富且可微的奖励用于视频扩散微调

Yifan Wang, Yanyu Li, Gordon Guocheng Qian, Sergey Tulyakov, Yun Fu, Anil Kag

机构 * Northeastern University（东北大学） ； Snap Inc.（Snap公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出Diffusion-DRF框架，通过多维问题和密集VQA解释查询生成丰富反馈，实现稳定奖励微调，无需偏好数据集。

Comments Webpage: https://snap-research.github.io/diffusion-drf/

Small Talk, Big Impact? LLM-based Conversational Agents to Mitigate Passive Fatigue in Conditional Automated Driving

小声谈，大影响？基于LLM的对话代理用于缓解条件自动化驾驶中的被动疲劳

Lewis Cockram, Yueteng Yu, Jorge Pardo, Xiaomeng Li, Andry Rakotonirainy, Jonny Kuo, Sebastien Demmel, Mike Lenné, Ronald Schroeter

专题命中 偏好对齐 ：safety(abstract)

AI总结 本文研究了基于LLM的对话代理在条件自动化驾驶中缓解被动疲劳的效果，通过实验证明该代理能提升驾驶员警觉性，并揭示了用户对代理的偏好特征。

Comments Preview version of CHI '26 Conference on Human Factors in Computing Systems