大模型对齐与安全

A Geometric Perspective on Stabilizing Value Conflict Resolution

稳定价值冲突解决的几何视角

Saket Reddy, Andy Liu

机构 * University of Illinois - Urbana-Champaign（伊利诺伊大学厄巴纳 - 香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型在RLHF训练中应对价值冲突的问题，核心方法是利用思维链推理，通过几何视角分析其作用，创建新的以价值冲突为重点的CoT设计，提升了道德推理性能，为改进模型处理复杂价值冲突请求的性能提供新途径。

Comments Accepted to ICML Workshop on High-Dimensional Learning Dynamics

Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision

基于偏好的抗体表达排序：大规模弱监督下的扩展

Josh Qixuan Sun, Morteza Babaie, Wenyang Hou, Mark Crowley, David Young

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.LG

AI总结 研究针对抗体表达排序中标记数据稀缺问题，提出基于偏好的学习框架，结合定量表达与弱监督，通过改进DPO适用于蛋白质语言模型，在多样数据集上评估，该方法优于基线，为抗体可表达性优化提供可扩展方案。

Comments Accepted at ICML 2026

Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels

噪声偏好标签下无元数据的元重加权直接偏好优化

Hua Qu, Yifan Li, Xiaodong Yuan

机构 * Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.LG

AI总结 研究针对DPO性能依赖偏好数据质量问题，提出双层优化框架、无任务元知识驱动方法及结合中心差分近似与LoRA微调的可扩展训练方案，经实验验证该方法能在不同噪声率下提升训练性能。

Comments 36 pages, including appendices. Revised version with updated theoretical analysis, supplementary material, figures and improved table formatting

SciForma: Structure-Faithful Generation of Scientific Diagrams

SciForma：科学图表的结构忠实生成

Yuxuan Luo, Peng Zhang, Xinjie Zhang, Xun Guo, Zhouhui Lian, Yan Lu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.LG

AI总结 研究针对科学图表结构保真度问题，提出SciForma框架，分解图表质量为三个结构轴，用M-DPO优化，策划训练和评估数据，实现迭代编辑，使SciForma-9B超越开源基线和GPT-Image-1.5，提升科学图表生成的结构保真度。

Comments 30 pages, 21 figures

Conflict-Aware Fusion: Mitigating Logic Inertia in Large Language Models via Structured Cognitive Priors

冲突感知融合：通过结构化认知先验缓解大语言模型中的逻辑惯性

Qiming Bao, Xiaoxuan Fu, Michael Witbrock

机构 * Xtracta & Strong AI Lab, University of Auckland（Xtracta与强人工智能实验室，奥克兰大学） ； School of Humanities, China University of Political Science and Law（人文学院，中国政法大学） ； Strong AI Lab, University of Auckland（强人工智能实验室，奥克兰大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型在规则系统结构扰动下表现脆弱的问题，提出冲突感知融合训练流程，通过验证-演绎结构先验和符号推理奖励，在多个压力测试中实现鲁棒性饱和。

OR Else: A Differentiable Trust Region for Policy Optimization

OR 否则：用于策略优化的可微信赖域

Chinmay Rane, Kanishka Tyagi, Michael Manry

机构 * Quantiphi Inc（昆蒂菲公司） ； Self Machines Inc（自机器公司） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究 PPO 和 GRPO 中裁剪代理目标导数突变问题，提出用输出重置（OR）规则优化。通过对比实验，在广义优势估计下 PPO-OR 有更高奖励模型得分，组相对优势下 GRPO-OR 虽平均得分未升但差异更小，OR 改变了优化行为但奖励效果有别。

Comments 22 pages, 5 figures

A Method for Learning Value Systems in Generative AI

一种在生成式人工智能中学习价值系统的方法

Andrés Holgado-Sánchez, Holger Billhardt, Sascha Ossowski

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究生成式人工智能中价值系统学习问题，提出将先前验证的方法用于此场景，基于成对偏好数据同时学习价值基础实现与价值系统表示，算法动态排序，评估显示其性能优、权衡小且可解释性强。

Comments Full version of a to be published paper in proceedings of the 9th AAAI/ACM conference in AI, Ethics and Society (AIES 2026). Includes supplementary material. 20 pages, 2 figures

Sign-SZPO: Provable Preference-based Reinforcement Learning with an Unknown Link Function

Sign-SZPO：具有未知链接函数的基于可证明偏好的强化学习

Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；DPO(abstract)；分类 cs.LG

AI总结 研究具有未知链接函数的基于偏好的强化学习问题，提出Sign-SZPO零阶策略优化算法，该算法仅估计价值函数差的符号来构建更新方向，可证明收敛到平稳策略，实证显示其在链接函数错误指定下具有鲁棒性。

OmniVLM: A Token-Compressed, Sub-Billion-Parameter Vision-Language Model for Efficient On-Device Inference

OmniVLM：一种用于高效设备端推理的令牌压缩、参数少于十亿的视觉语言模型

Wei Chen, Zhiyuan Li, Shuo Xin

机构 * Nexa AI 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)

AI总结 研究提出OmniVLM视觉语言模型，通过令牌压缩机制减少计算开销，经多阶段训练匹配更大模型性能。在多基准测试中优于现有基线，在笔记本电脑上实证显示速度提升，能在边缘设备高效部署，模型权重可在huggingface获取。

RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation

RIMS：通过平滑多对聚合进行偏好优化以实现小规模语言模型检索增强生成

Pei Tian, Zihan Dong, Tianci Liu, Linjun Zhang, Haoyu Wang

机构 * Columbia University（哥伦比亚大学） ； Rutgers University（罗格斯大学） ； Purdue University（普渡大学） ； SUNY Albany（纽约州立大学奥尔巴尼分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究针对小规模语言模型检索增强生成中对噪声证据敏感的问题，提出RIMS框架，通过合成偏好数据、软聚合机制及偏好优化，实现更好性能，在多基准测试中优于现有方法

Journal ref COLM 2026