大模型对齐与安全

Three Models of RLHF Annotation: Extension, Evidence, and Authority

三种RLHF注释模型：扩展、证据与权威

Steve Coyne

机构 * University of Toronto（多伦多大学） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文探讨RLHF注释的三种模型：扩展、证据与权威，分析其对注释流程设计的影响，并提出应根据不同维度选择适配的模型。

Comments 17 pages. Accepted to ACM FAccT '26, June 25-28, Montreal

Thinking About Thinking: Evaluating Reasoning in Post-Trained Language Models

思考中的思考：评估后训练语言模型的推理能力

Pratham Singla, Shivank Garg, Ayush Singh, Ishan Garg, Ketan Suhaas Saichandran

机构 * Indian Institute of Technology Roorkee（印度理工学院罗奥克学院） ； Boston University（波士顿大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估后训练语言模型的推理能力，通过三个核心能力评估其意识、泛化和推理与输出的对齐情况，发现强化学习模型在意识和泛化上优于SFT模型，但推理与输出对齐较差。

Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation

弥合语言鸿沟：大型语言模型在机器翻译中的应用综述

Baban Gain, Dibyanayan Bandyopadhyay, Asif Ekbal, Trilok Nath Singh

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； IIT Patna（印度理工学院帕纳布） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了大型语言模型在机器翻译中的应用，探讨了提示方法、参数高效微调、合成数据生成等技术，分析了低资源翻译中的挑战与对策，以及文档级和语篇级翻译方法的发展。

When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient

当错误可能有益：对策略梯度中不完美奖励的分类

Shuning Shang, Hubert Strauss, Stanley Wei, Sanjeev Arora, Noam Razin

机构 * Some Institute（某些研究所） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文探讨了在策略梯度方法中，不完美奖励的错误并非全然有害，通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响，提出了改进人类反馈强化学习和可验证奖励设计的实用方法。

Comments Code available at https://github.com/princeton-pli/imperfect-rewards

Intrinsic Mutual Information as a Modulator for Preference Optimization

内在互信息作为偏好优化的调节器

Peng Liao, Peijia Zheng, Lingbo Li, Shangsong Liang, Lin Chen

机构 * Sun Yat-sen University（中山大学） ； University of Warwick（华威大学） ； Macao Polytechnic University（澳门理工学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出RMiPO框架，利用内在响应级互信息进行偏好优化，通过超参数调节动态解耦偏好贡献，减少训练开销，提升性能。

Comments ACL Findings 2026

VERTIGO: Visual Preference Optimization for Cinematic Camera Trajectory Generation

VERTIGO：用于电影摄像机轨迹生成的视觉偏好优化

Mengtian Li, Yuwei Lu, Feifei Li, Chenqi Gan, Zhifeng Xie, Xi Wang

机构 * Shanghai University Shanghai Engineering Research Center of Motion Picture Special Effects LIX, \'Ecole Polytechnique, CNRS, IPP magenta http://vertigo.magic-lab.tech/ 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出VERTIGO，通过视觉偏好优化提升摄像机轨迹生成的质量，通过实时渲染和视觉语言模型优化，提高画面构图和视觉效果。

Comments 28 pages, 10 figures

A Systematic Post-Train Framework for Video Generation

视频生成的系统性后训练框架

Zeyue Xue, Siming Fu, Jie Huang, Shuai Lu, Haoran Li, Yijun Liu, Yuming Li, Xiaoxuan He, Mengzhao Chen, Haoyang Huang, Nan Duan, Ping Luo

机构 * The University of Hong Kong（香港大学） ； JD Explore Academy（京东探索研究院） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)

AI总结 本文提出系统性后训练框架，通过四个协同阶段提升视频生成的视觉质量、时间一致性和指令遵循性，同时保持预训练阶段的可控性。

Comments Tech report

Sparse Personalized Text Generation with Multi-Trajectory Reasoning

稀疏个性化文本生成与多轨迹推理

Bo Ni, Haowei Fu, Qinwen Ge, Franck Dernoncourt, Samyadeep Basu, Nedim Lipka, Seunghyun Yoon, Yu Wang, Nesreen K. Ahmed, Subhojyoti Mukherjee, Puneet Mathur, Ryan A. Rossi, Tyler Derr

机构 * Department of Computer Science, Vanderbilt University, Nashville, Tennessee（范德比尔特大学计算机科学系） ； Adobe Research, San Jose, California（Adobe研究） ； University of Orgeon, Eugene, Oregon（奥尔戈恩大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出PAT框架，通过双轨迹检索和强化学习机制提升冷启动场景下个性化文本生成的质量和对齐度。