大模型对齐与安全

The Art of (Mis)alignment: How Fine-Tuning Methods Effectively Misalign and Realign LLMs in Post-Training

对齐的艺术：细调方法如何有效地对齐和重新对齐训练后的LLM

Rui Zhang, Hongwei Li, Yun Shen, Xinyue Shen, Wenbo Jiang, Guowen Xu, Yang Liu, Michael Backes, Yang Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Flexera ； CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；safety(abstract)；分类 cs.CL

AI总结 研究探讨细调方法在对齐和重新对齐LLM中的效果，揭示攻击与防御间的机制不对称，发现ORPO在对齐方面最有效，DPO在重新对齐中表现优异但牺牲了模型实用性，同时发现模型特定的抗性及多轮对抗动态的残留效应。

Comments Accepted by ACL Findings 2026

Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs

学习协商：多智能体协商以实现大语言模型中的集体价值对齐

Panatchakorn Anantaprayoon, Nataliia Babina, Nima Asgharbeygi, Jad Tarifi

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于多智能体协商的对齐框架，通过集体代理（CA）目标提升大语言模型的集体价值对齐能力，并改进冲突解决能力，实验表明其在冲突解决性能上有显著提升。

Comments To appear in LREC 2026 2nd DELITE Workshop

ProMedical: Hierarchical Fine-Grained Criteria Modeling for Medical LLM Alignment via Explicit Injection

ProMedical：通过显式注入实现医疗大语言模型对齐的分层细粒度标准建模

He Geng, Yangmin Huang, Lixian Lai, Qianyun Du, Hui Chu, Zhiyang He, Jiaxue Hu, Xiaodong Tao

机构 * Xunfei Healthcare Technology Co., Ltd.（讯飞医疗科技有限公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出ProMedical框架，通过显式注入细粒度临床标准，提升医疗大语言模型对齐效果，实验表明在安全性和准确性上均优于现有模型。

Comments ACL 2026

PIKA: Expert-Level Synthetic Datasets for Post-Training Alignment from Scratch

PIKA：从零开始的专家级合成数据集用于训练后对齐

Shangjian Yin, Shining Liang, Wenbiao Ding, Yuli Qian, Zhouxing Shi, Hongzhi Li, Yutao Xie

机构 * University of California, Riverside（加州大学河滨分校） ； Microsoft AI（微软人工智能） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 PIKA通过高效的数据集提升对齐效果，仅用3万例超越大规模数据集，在AlpacaEval 2.0等基准测试中表现优异，且提供高质量偏好优化数据，降低数据需求，促进资源受限研究。

Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization

片段作为手臂：多臂老虎机引导的长上下文LLM偏好优化采样

Shaohua Duan, Pengcheng Huang, Xinze Li, Zhenghao Liu, Xiaoyuan Yi, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Microsoft Research Asia, China（微软亚洲研究院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学计算机科学与技术系及人工智能研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LongMab框架，利用多臂老虎机策略从长上下文中选择最有信息量的片段，生成高质量多样化的响应，用于直接偏好优化训练，提升长上下文推理能力。

Comments 17 pages

ReRec: Reasoning-Augmented LLM-based Recommendation Assistant via Reinforcement Fine-tuning

ReRec：通过强化微调增强的LLM推荐助手

Jiani Huang, Shijie Wang, Liangbo Ning, Wenqi Fan, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 ReRec通过强化微调框架提升LLM在复杂推荐任务中的推理能力，引入双重图增强奖励塑造、推理感知优势估计和在线课程调度器，实验证明其优于现有基线模型。

Comments Accepted by ACL 2026