大模型对齐与安全

UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function

UFT：通过通用隐式奖励函数统一SFT和RLHF/DPO/UNA的微调

Zhichao Wang, Bin Bi, Zixu Zhu, Xiangbo Mao, Jun Wang, Shiyu Wang, Cheng Wang, Dong Nie, Lingzi Hong

机构 * Salesforce ； RadixArk ； ChatAlpha AI ； University of North Texas（北卡罗来纳州立大学） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；DPO(title,title_cn)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出UFT框架，通过隐式奖励函数整合SFT与对齐过程，提升指令微调和事实性任务的性能，实验显示其优于传统方法。

$f$-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses

$f$-Divergence Regularized RLHF：采样两则与统一分析

Di Wu, Chengshuai Shi, Jing Yang, Cong Shen

机构 * Department of Electrical and Computer Engineering, University of Virginia, Virginia, United States（弗吉尼亚大学电气与计算机工程系） ； Princeton Language and Intelligence, Princeton University, New Jersey, United States（普林斯顿大学语言与智能） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出基于一般$f$-散度正则化的在线RLHF框架，通过两种采样策略实现统一理论分析，证明了算法在$O(\log T)$ regret和$O(1/T)$ sub-optimality gap下的效率。

Comments ICML 2026

BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection

BITS Pilani 在 SemEval-2026 任务 9：基于 DPO 细调的结构化监督微调用于极化检测

Atharva Gupta, Dhruv Kumar, Yash Sinha

机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，瓦拉纳西，印度） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.CL

AI总结 本文提出结合结构化监督微调与 DPO 细调的方法，用于社交媒体文本中的极化检测，通过 LoRA 微调 Qwen 2.5-7B-Instruct 并利用自动偏好对减少误判，最终在英文测试集上达到 0.7664 的 Macro-F1 分数。

Comments Accepted to the 20th International Workshop on Semantic Evaluation (SemEval-2026), to be held in conjunction with ACL 2026

UNA: A Unified Supervised Framework for Efficient LLM Alignment Across Feedback Types

UNA: 一种统一的监督框架，用于高效对齐跨反馈类型的大型语言模型

Zhichao Wang, Bin Bi, Can Huang, Shiva Kumar Pentyala, Zixu James Zhu, Sitaram Asur, Na Claire Cheng, Cheng Wan, Dong Nie, Lingzi Hong

机构 * Salesforce ； RadixArk ； ChatAlpha AI ； University of North Texas（北得克萨斯大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 UNA框架通过通用隐式奖励函数统一处理二元、成对和评分反馈，理论证明其最优性，实验验证其在经典基准上的优势。

Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization

基于拓扑的大型语言模型对齐：轨迹拓扑损失与拓扑偏好优化

Yurui Pan, Ke Xu, Bo Peng

机构 * School of Computing and Intelligent Innovation, Fudan University（复旦大学计算与智能创新学院） ； School of Economics and Management, Tongji University（同济大学经济与管理学院） ； College of Information Technology, Shanghai Ocean University（上海海洋大学信息学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出基于拓扑的对齐框架，通过轨迹拓扑损失和拓扑偏好优化提升大型语言模型的对齐性能，实验表明其在自动偏好指标和LLM判断评估中优于传统方法。

Comments Accepted to ACL 2026. 15 pages

How to Compress KV Cache in RL Post-Training? Shadow Mask Distillation for Memory-Efficient Alignment

如何在RL后训练中压缩KV缓存？基于影子遮罩的内存高效对齐

Rui Zhu, Weiheng Bai, Qiushi Wu, Yang Ren, Haixu Tang, Yuchu Liu

机构 * Yale University（耶鲁大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 偏好对齐 ：alignment(title)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出影子遮罩蒸馏方法，用于缓解RL后训练中KV缓存内存瓶颈问题，通过减少采样时的上下文密度来降低偏置，提升样本效率。

MaPPO: Maximum a Posteriori Preference Optimization with Prior Knowledge

MaPPO：结合先验知识的最大后验偏好优化

Guangchen Lan, Sipeng Zhang, Tianle Wang, Yuwei Zhang, Daoan Zhang, Xinpeng Wei, Xiaoman Pan, Hongming Zhang, Dong-Jun Han, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Amazon（亚马逊） ； Meta, FAIR ； Yonsei University（延世大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MaPPO通过整合先验奖励知识优化偏好学习，提升对齐性能，无需额外超参数，适用于离线和在线设置，支持DPO变体插件，实验显示在多个基准上效果显著。

Mitigating Cognitive Bias in RLHF by Altering Rationality

通过调整理性度来缓解强化学习中的人类反馈认知偏差

Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

机构 * University of Oxford（牛津大学） ； Brown University（布朗大学） 纠错

专题命中 偏好对齐 ：RLHF(title,abstract)；分类 cs.AI

AI总结 本文提出通过动态调整理性参数beta来缓解人类反馈中的认知偏差，提升奖励学习模型的理性度，即使在存在强烈偏见的偏好数据集上也能获得更理性的下游模型。

Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph

超越成对：你的语言模型其实是在优化一个偏好图

Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi

机构 * Amazon（亚马逊） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GraphDPO，通过构建偏好图结构优化语言模型，解决传统成对优化在处理多轮次数据时的局限性，提升模型在推理和编程任务中的性能。

Response Time Enhances Alignment with Heterogeneous Preferences

响应时间增强异质偏好对齐

Federico Echenique, Alireza Fallah, Baihe Huang, Michael I. Jordan

机构 * Department of Economics, University of California, Berkeley（加州大学伯克利分校经济系） ； Department of Computer Science and Ken Kennedy Institute, Rice University（休斯敦大学计算机科学系和肯尼迪研究所） ； Departments of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系） ； Departments of Electrical Engineering and Computer Sciences and Statistics, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系和统计学系；巴黎Inria） ； Inria Paris 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.LG

AI总结 本文提出通过引入用户响应时间信号来纠正传统偏好数据中对异质偏好的估计偏差，证明该方法能准确识别群体平均偏好，提升大型语言模型对人类偏好的对齐效果。

Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training

Dr. Post-Training：一种数据正则化视角下的LLM后训练

Pingbang Hu, Xueshen Liu, Z. Morley Mao, Jiaqi W. Ma

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Dr. Post-Training框架，通过将通用训练数据作为数据诱导正则化器，防止模型过拟合稀缺目标数据，从而提升LLM后训练效果。

How Value Induction Reshapes LLM Behaviour

价值观诱导如何重塑大语言模型行为

Arnav Arora, Natalie Schluter, Katherine Metcalf, Maartje ter Hoeve

机构 * University of Copenhagen（哥本哈根大学） ； Apple（苹果公司） 纠错

专题命中 偏好对齐 ：safety(abstract)；harmlessness(abstract)；分类 cs.CL

AI总结 研究探讨价值观诱导对大语言模型行为的影响，发现诱导价值观会引发其他相关或对立价值观的表达，提升安全性，但增加拟人化语言使用，导致模型更易产生验证性和趋炎附势倾向。

Comments Accepted to Findings of ACL 2026

Dual-Agent Co-Training for Health Coaching via Implicit Adversarial Preference Optimization

双代理协同训练用于健康教练的隐式对抗偏好优化

Da Long, Lingyi Fu, Diya Michelle Rao, Jasmine Ruales Carrera, Yang Bai, Shandian Zhe

机构 * Kahlert School of Computing University of Utah（Utah大学计算学院Kahlert学院） ； Department of Health and Kinesiology University of Utah（健康与运动科学系Utah大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 本文提出双代理框架，通过隐式对抗偏好优化提升健康教练质量，改进对话和模拟器训练。

Q-Probe: Scaling Image Quality Assessment to High Resolution via Context-Aware Agentic Probing

Q-Probe：通过上下文感知代理探测扩展图像质量评估至高分辨率

Xiang Li, Xueheng Li, Yu Wang, Xuanhua He, Zhangchi Hu, Weiwei Yu, Chengjun Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院智能 Machines 研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 Q-Probe通过上下文感知探测方法解决高分辨率图像质量评估中的局部退化捕捉问题，提出Vista-Bench基准和三阶段训练框架，实现高分辨率下的最优性能。