大模型对齐与安全

Guardians and Offenders: A Survey on Harmful Content Generation and Safety Mitigation of LLM

守护者与违规者：大语言模型有害内容生成与安全缓解研究综述

Chi Zhang, Changjia Zhu, Junjie Xiong, Xiaoran Xu, Lingyao Li, Yao Liu, Zhuo Lu

机构 * University of South Florida（佛罗里达州立大学） ； Missouri University of Science and Technology（密苏里科技大学） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；RLHF(abstract,abstract_cn)；alignment(abstract)；jailbreak(abstract)

AI总结 综述大语言模型在内容创作中带来的风险与挑战，系统回顾相关研究，提出危害与防御统一分类法，分析越狱策略，评估缓解措施，指出评估局限，明确未来研究方向以推动语言技术稳健且符合伦理发展。

The Possibility of Artificial Intelligence Becoming a Subject and the Alignment Problem

人工智能成为主体的可能性及对齐问题

Till Mossakowski, Helena Esther Grass

机构 * Institute of computer science, Osnabrück University（奥斯纳布吕克大学计算机科学学院） ； Institute of philosophy, Oldenburg University（奥尔登堡大学哲学学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文探讨AGI可能成为独立主体的可能性，提出通过支持自主性的养育方式替代传统控制策略，强调人类与AGI的协作共存与共进化。

Reason4Rec: Deliberative User Preference Alignment of Large Language Models for Recommendation

Reason4Rec：用于推荐的大语言模型的审慎用户偏好对齐

Yi Fang, Wenjie Wang, Yang Zhang, Fengbin Zhu, Qifan Wang, Fuli Feng, Xiangnan He

专题命中 偏好对齐 ：alignment(title,abstract)

AI总结 研究旨在开发更可靠的推荐LLMs，引入“审慎推荐”任务并提出“推理驱动的推荐器”框架，利用语言化用户反馈增强推理能力，经实验验证该框架能提升预测准确性和推理质量。

Comments Accepted to IEEE TKDE

Towards Robust Reinforcement Learning for Small-Scale Language Model Agents

迈向用于小规模语言模型智能体的稳健强化学习

Md Rezwanul Haque, Md. Milon Islam, Fakhri Karray

机构 * University of Waterloo（滑铁卢大学） ； Khulna University of Engineering & Technology（库尔纳工程技术大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究小规模语言模型强化学习不稳定问题，识别出三种失败模式，提出容量余量假设，采用合并并重新初始化适配器技术等方法，所提系统稳定收敛，提升偏好胜率，优于指令调整基线且减少训练数据。

Comments Proceedings of the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Bellevue, WA, USA

Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization

数据更少，对齐更好：用于偏好优化的数据中心多评估器一致性方法

Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Siheng Wang, Haoyan Xu, Yuqi Li, Chenhao Wei, Zhengdao Li, Rongchao Zhang, Guang Yang, Yidong Wang, Junhao Dong

机构 * University of Southern California（南加州大学） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； City College of New York, CUNY（纽约市立大学城市学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.AI

AI总结 研究聚焦偏好优化，提出DMAPO方法，从目标策略生成候选响应，经多评估器评估、校正后保留高一致性示例。实验表明该方法数据效率高，能提升模型在MT - Bench等指标上的表现，且改变评估器或准则对下游性能影响小。

Comments 19 pages

Inverse RL Helps Align AI by Imitating Humans

逆强化学习通过模仿人类帮助对齐人工智能

Michał Wiliński, Liu Leqi, Chirag Nagpal

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 研究语言模型对齐问题，受逆强化学习启发提出PARED方法，通过恢复示范的隐式奖励来改进基础策略，无需特定任务偏好注释，经实验验证其有效性及可用于上下文对齐。

Artificial Epanorthosis: Why large language models overuse a classical rhetorical figure, and how to mitigate it

人工矫正：为什么大语言模型过度使用一种古典修辞格，以及如何缓解这一问题

Federico Boggia

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型过度使用矫正格修辞格的问题，基于模型与人类修辞风格差异及相关分类，提出用矫正格指数评分，通过测量发现校准错误，给出以LoRA适配器为中心的缓解技术、指令及适配器效果，强调校准到人类比率而非消除的重要性。

Comments 18 pages, 7 tables. v2: corrections to the classical sources (Quintilian, Cicero) and to several cited figures, and Appendix B corpus statistics aligned to the delivered dataset; measurements, results and conclusions unchanged. Data, code, and the trained LoRA adapter: https://federicoboggia.binatomy.com/pubblicazioni/

Contrastive Weak-to-strong Generalization

对比性弱到强泛化

Houcheng Jiang, Junfeng Fang, Jiaxin Wu, Tianyu Zhang, Chen Gao, Xiang Wang, Xiangnan He, Yang Deng

机构 * ustc（中国科学技术大学） ； nus（新加坡国立大学） ； zgc（中关村学院） ； smu（新加坡管理学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对弱到强泛化中弱模型输出噪声和偏差问题，利用隐式奖励与对比解码的联系，提出ConG框架，通过对比解码生成高质量样本，实现可靠能力转移等，经实证验证其有效性和通用性，推动了弱到强泛化及通向通用人工智能。

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

基于大语言模型的跨域序列推荐的锐度感知模型融合与显著性恢复

Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 研究基于大语言模型的跨域序列推荐中的问题，提出SharpRec框架，包含锐度感知几何对齐和偏好显著性激活模块，有效解决跨域知识冲突和性能饱和问题，实验证明其性能优于现有基准。

Comments Published in Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '26). 12 pages, 6 figures, 4 tables. Code available at https://github.com/muyiahhh/SharpRec

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD '26), August 9-13, 2026, Jeju Island, Republic of Korea, ACM, 2026

$M^2PO$: Multi-Perspective Multi-Pair Preference Optimization for Machine Translation

$M^2PO$：用于机器翻译的多视角多对偏好优化

Hao Wang, Linlong Xu, Heng Liu, Yangyang Liu, Xiaohu Zhao, Bo Zeng, Liangying Shao, Yichen Dong, Xinwei Wu, Jiang Zhou, Tianyu Dong, xiangxiang Zeng, Longyue Wang, Weihua Luo

机构 * Alibaba International Digital Commerce（阿里巴巴国际数字商业） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 研究针对机器翻译中主流方法受误导性奖励信号影响的问题，提出$M^2PO$框架，通过双视角机制和多对目标优化偏好，实验证明该框架能使模型性能提升，超越开源基线并接近专有模型。