大模型对齐与安全

Hard Negative Sample-Augmented DPO Post-Training for Small Language Models

增强的DPO后训练用于小型语言模型

Haocheng Lu, Minjun Zhu, Henry Yu

机构 * Computer Science NYU Shanghai（纽约大学上海学院） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种轻量级后训练方法，通过MathVerifier检测结构化错误，改进DPO以提升小型模型在数学推理中的表现。

Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

面对动态个体偏好：通过配对微调解决冲突的人类价值观

Shanyong Wang, Shuhang Lin, Yining Zhao, Xi Zhu, Yongfeng Zhang

机构 * Rutgers University—New Brunswick（罗杰斯大学—新布伦斯维克分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL

AI总结 本文提出Preference-Paired Fine-Tuning框架，通过Value Conflict Dilemma数据集解决动态个体偏好冲突问题，实验显示其在多选分类和开放生成任务中表现优异，优于传统方法。

Comments 20 pages, 13 figures

Disposition Distillation at Small Scale: A Three-Arc Negative Result

小规模下的行为蒸馏：一个三弧否定结果

Hari Sadasivan

机构 * Tinman Lab（Tinman实验室） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究尝试通过四阶段MIT蒸馏流程在小语言模型中训练行为倾向，但发现无操作能改变倾向而不损害内容或导致模仿。

Comments 16 pages, 4 figures

Visual Preference Optimization with Rubric Rewards

基于评分标准的视觉偏好优化

Ya-Qi Yu, Fangyu Hong, Xiangyang Qu, Hao Wang, Gaojie Wu, Qiaoyu Luo, Nuo Xu, Huixin Wang, Wuheng Xu, Yongxin Liao, Zihao Chen, Haonan Li, Ziming Li, Dezhi Peng, Minghui Liao, Jihao Wu, Haoyu Ren, Dandan Tu

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出rDPO框架，通过实例特定的评分标准提升多模态任务中的偏好优化效果，实验表明其在多个基准测试中优于现有方法。

Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs

基于图的链式推理剪枝：减少推理LLM中冗余反射

Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li

机构 * School of Geosciences and Info-Physics, Central South University（地质科学与信息物理学院，中南大学） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出基于图的链式推理优化框架，通过剪枝策略减少推理过程中冗余反射，提升效率与准确性。

Comments Accepted by ACL2026 Findings

Scaffold-Conditioned Preference Triplets for Controllable Molecular Optimization with Large Language Models

基于 Scaffold 的偏好三元组用于大语言模型可控分子优化

Yi Xiong, Liang Xiong, Xiaohong Ji, Sen Yang, Zhifeng Gao, Huaimin Wang, Kele Xu

机构 * National Key Laboratory of Parallel and Distributed Processing（平行与分布式处理国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of DefenseTechnology（国防科技大学） ； DP Technology（DP科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出 Scaffold-Conditioned Preference Triplets (SCPT) 方法，通过构建约束三元组实现可控分子优化，提升分子性质改进的同时保持 Scaffold 相似性，优于传统方法。

How Psychological Learning Paradigms Shaped and Constrained Artificial Intelligence

心理学习范式如何塑造和制约人工智能

Alex Anvi Eponon, Ildar Batyrshin, Christian E. Maldonado-Sifuentes, Grigori Sidorov

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.CY

AI总结 本文探讨人工智能系统在系统性组合推理中的不足，指出其根源在于心理学习理论对AI架构的限制，并提出ReSynth框架以实现结构化系统性行为。

Comments preprint journal

Incentivizing High-Quality Human Annotations with Golden Questions

通过黄金问题激励高质量的人工标注

Shang Liu, Zhongze Cai, Hanzhao Wang, Zhongyao Ma, Xiaocheng Li

机构 * Imperial College Business School（帝国理工学院商学院） ； Imperial College London（帝国理工学院伦敦分校） ； Meta 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究如何通过黄金问题激励标注者产生高质量数据，提出基于主代理模型的激励机制，并通过实验验证黄金问题在标注性能监控中的有效性。

Comments Corrected bugs in the proofs by specifying a further assumption. arXiv admin note: text overlap with arXiv:2502.06387