大模型对齐与安全

NeurIPS Should Require Reproducibility Standards for Frontier AI Safety Claims

NeurIPS应要求对前沿AI安全声明实施可重复性标准

Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais

机构 * Department of Computer Science, University of Oxford（牛津大学计算机科学系） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出要求NeurIPS对涉及前沿AI安全声明的论文实施可重复性标准，通过三级披露框架和强制性声明清单等措施，确保高影响声明的可重复性，以提升AI安全测试的可靠性。

Comments Preprint

Expert Evaluation and the Limits of Human Feedback in Mental Health AI Safety Testing

专家评估与心理健康AI安全测试中人类反馈的局限性

Kiana Jafari, Paul Ulrich Nikolaus Rust, Duncan Eddy, Robbie Fraser, Nina Vasan, Darja Djordjevic, Akanksha Dadlani, Max Lamparth, Eugenia Kim, Mykel Kochenderfer

机构 * Stanford University（斯坦福大学） ； University College London（伦敦大学学院） ； Microsoft（微软） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；AI safety(title)；alignment(abstract)；分类 cs.AI

AI总结 本研究探讨了在心理健康AI安全测试中，专家评估与人类反馈的有效性，发现专家间一致性差，揭示了专家分歧是社会技术现象，建议转向保留专家分歧的对齐方法。

Comments 17 pages, 7 pages of appendix, 21 tables

Distributionally Robust Token Optimization in RLHF

强化学习中对抗性令牌优化

Yeping Jin, Jiaming Hu, Ioannis Ch. Paschalidis

机构 * Department of System Engineering（系统工程系） ； Boston University（波士顿大学） ； Department of Math & Statistics（数学与统计学系） 纠错

专题命中 偏好对齐 ：RLHF(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。

A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

一对GRPO家族的统一：从隐式到显式的偏好约束用于稳定和通用的RL对齐

Hao Yu

机构 * Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种统一的偏好基于RL优化框架，通过Soft-Pair-GRPO和Hard-Pair-GRPO两种变体，解决了主流配对偏好学习中政策更新不稳定、梯度方向模糊等问题，提升了对齐质量与训练稳定性。

VC-Soup: Value-Consistency Guided Multi-Value Alignment for Large Language Models

VC-Soup：基于价值一致性指导的多价值对齐方法用于大语言模型

Hefei Xu, Le Wu, Yu Wang, Min Hou, Han Wu, Zhen Zhang, Meng Wang

机构 * Key Laboratory of Knowledge Engineering with Big Data（知识工程与大数据重点实验室） ； Hefei University of Technology（合肥工业大学） ； Innovation School of Artificial Intelligence（人工智能创新学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VC-Soup方法，通过数据过滤和参数融合框架解决多价值对齐中的冲突问题，提升模型在多价值下的表现。

Comments 12 pages; Accepted to WWW2026

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero：从零数据开始的自主开放生成自我学习

Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of Virginia（弗吉尼亚大学） ； University of Maryland（马里兰大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 G-Zero通过无验证器的共进化框架实现自主改进，利用Hint-δ内在奖励量化生成模型在无辅助响应与带提示响应间的预测偏移，通过GRPO训练提出者模型持续针对生成器的盲区，同时通过DPO优化生成器内部化提示引导的改进。

f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment

f-GRPO 与 beyond：基于发散性的强化学习算法用于通用大语言模型对齐

Rajdeep Haldar, Lantao Mei, Guang Lin, Yue Xing, Qifan Song

机构 * Department of Statistics, Purdue University（普渡大学统计学系） ； Department of Statistics, Michigan State University（密歇根州立大学统计学系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出f-GRPO和f-HAL算法，通过发散性估计提升大语言模型对齐效果，在数学推理任务中改进GRPO并缓解奖励黑客问题。

AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

AgentHER: 用于LLM代理轨迹重标记的回溯经验回放

Liang Ding

机构 * The University of Sydney（悉尼大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 AgentHER通过四阶段流程将废弃轨迹转化为SFT、DPO和ShareGPT训练数据，在WebArena和ToolBench上提升性能并提高样本效率，同时降低标签噪声。

Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling

通过规划对齐代理：一个轨迹级奖励建模的基准测试

Jiaxuan Wang, Yulan Hu, Wenjin Yang, Zheng Pan, Xin Li, Lan-Zhe Guo

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； AMAP, Alibaba Group（阿里集团AMAP） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出Plan-RewardBench，用于评估奖励模型在复杂工具使用场景中区分优选与干扰代理轨迹的能力，揭示了代理级奖励建模在长周期轨迹上的挑战。

Comments accepted to ACL 2026 main conference

ProteinOPD: Towards Effective and Efficient Preference Alignment for Protein Design

ProteinOPD：迈向蛋白质设计的有效和高效偏好对齐

Yulin Zhang, He Cao, Zihao Jiang, Chenyi Zi, Zhipeng Zhou, Zijing Liu, Yu Li, Jia Li, Ziqi Gao

机构 * Tsinghua University（清华大学） ； International Digital Economy Academy（国际数字经济学院） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ProteinOPD框架，通过结合On-Policy Distillation方法，有效平衡多目标偏好，提升蛋白质设计效率与稳定性，实验显示在目标偏好上表现优异且训练速度更快。

Turning Drift into Constraint: Robust Reasoning Alignment in Non-Stationary Multi-Stream Environments

将漂移转化为约束：非稳态多流环境中的鲁棒推理对齐

Xiaoyu Yang, En Yu, Wei Duan, Jie Lu

机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faulty of Engineering and Information Technology（工程与信息技术学院） ； University of Technology Sydney（悉尼技术大学） ； Australia（澳大利亚） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出APO框架，通过约束满足问题解决多源推理对齐问题，实验表明其在胸片解读中鲁棒性优于现有模型，并发布CXR-MAX基准测试集。

Comments ICML 2026

Can Revealed Preferences Clarify LLM Alignment and Steering?

揭示偏好能否澄清大语言模型对齐与引导？

Khurram Yamin, Jingjing Tang, Eric Horvitz, Bryan Wilder

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文提出一种经验方法，通过估计LLM在决策任务中的隐含偏好，评估模型是否一致地追求目标，是否能描述其目标，以及提示是否能可靠引导策略。

The Differences Between Direct Alignment Algorithms are a Blur

直接对齐算法之间的差异变得模糊

Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文系统比较了直接对齐算法，发现排名目标是影响对齐质量的主要因素，而特定的标量分数次之。

Seed Hijacking of LLM Sampling and Quantum Random Number Defense

LLM采样中的种子劫持与量子随机数防御

Ziyang You, Xiaoke Yang, Zhanling Fan, Feng Guo, Xiaogen Zhou, Xuxing Lu

机构 * School of Electronic, Electrical and Physics, Fujian University of Technology（福建工程学院电子、电气与物理系） ； School of Humanities, Fujian University of Technology（福建工程学院人文学院） ； Department of Investigation, Fujian Police College（福建警察学院调查系） ； Institute of Applied Physics and Materials Engineering, University of Macau（澳门大学应用物理与材料工程研究院） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SeedHijack攻击，通过操控PRNG输出实现指定token注入，提出基于量子随机数生成器的防御方案，解决LLM采样层的关键漏洞。

Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria

Auto-Rubric as Reward：从隐含偏好到显式多模态生成标准

Juanxi Tian, Fengyuan Liu, Jiaming Han, Yilei Jiang, Yongliang Wu, Yesheng Liu, Haodong Li, Furong Xu, Wanhua Li

机构 * Nanyang Technological University（南洋理工大学） ； Ant Group（蚂蚁集团） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI

AI总结 本文提出Auto-Rubric as Reward框架，通过显式标准分解替代隐含权重优化，提升多模态生成模型对人类偏好的对齐效果，实验证明显式标准能更可靠地实现数据高效对齐。

Comments 28 pages, 10 figures, 11 tables

AlpsBench: An LLM Personalization Benchmark for Real-Dialogue Memorization and Preference Alignment

AlpsBench: 一个面向真实对话记忆与偏好对齐的LLM个性化基准

Jianfei Xiao, Xiang Yu, Chengbing Wang, Wuqiang Zheng, Xinyu Lin, Kaining Liu, Hongxun Ding, Yang Zhang, Wenjie Wang, Fuli Feng, Xiangnan He

机构 * University of Science and Technology of China（科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.CL、cs.AI

AI总结 AlpsBench通过真实人类与LLM对话数据构建，包含2500个长期交互序列及验证的记忆，评估个性化信息提取、更新、检索与利用等核心任务，揭示LLM在记忆管理中的局限性。

Preference Learning for AI Alignment: a Causal Perspective

偏好学习用于AI对齐：一种因果视角

Katarzyna Kobalczyk, Mihaela van der Schaar

机构 * Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.AI、cs.LG

AI总结 本文从因果视角出发，探讨了基于偏好数据的奖励建模在对齐大语言模型与人类价值观中的关键作用，提出因果工具箱以解决因果误识别、偏好异质性和用户特定因素的混淆问题，并提出未来研究的方向。

Journal ref Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025

Phoenix-VL 1.5 Medium Technical Report

Phoenix-VL 1.5 中等技术报告

Team Phoenix, :, Arka Ray, Askar Ali Mohamed Jawad, Biondi Lee, Elijah Seah, Eva Lim, Fiona Teo, Grace Toh, Guang Xiang Teo, Jun En Tan, Jia Hui Bong, Jiale Wang, Jonathan Ng, Justin Tan, Kai Zhe Yew, Matthew Ong, Shun Yi Yeo, Wen Jett Lam, Wen Xiu Tan, Ze Yu Zhang, Gee Wah Ng, Chee Wee Ang, Mistral AI, :, Adrien Sadé, Guillaume Kunsch, Jia Sin Loh, Nicolas Schuhl, Rupert Menneer, Umar Jamil, Vincent Maladière, Yimu Pan

机构 * Mistral AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 Phoenix-VL 1.5 是一个123B参数的多模态多语言基础模型，适应区域语言和新加坡环境，通过本地化数据集和对齐优化实现深度领域适应，同时在多项基准测试中表现优异。

Comments Release page: https://medium.com/htx-ai/introducing-phoenix-vl-1-5-medium-multimodal-intelligence-uniquely-singaporean-ef8214c8cfa1

CLR-voyance: Reinforcing Open-Ended Reasoning for Inpatient Clinical Decision Support with Outcome-Aware Rubrics

CLR-voyance：通过结果感知的评分表强化住院患者临床决策支持中的开放性推理

Aishik Nagar, Arun-Kumar Kaliya-Perumal, Yu-Hsuan Han, Andrew Sheng-Han Huang, Kristen Kee, Yushi Cao, Yiming Chen, Hongchao Jiang

机构 * ASUS Intelligent Cloud Services (AICS)（ASUS智能云服务（AICS）） ； Rehabilitation Research Institute of Singapore, Nanyang Technological University（新加坡康复研究院，南洋理工大学） ； Department of Family Medicine, Taipei Veterans General Hospital（台北荣民总医院家庭医学部） ； School of Medicine, National Yang Ming Chiao Tung University（国家阳明交通大学医学院） ； Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学 Yong Loo Lin 医学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CLR-voyance将住院患者推理建模为POMDP，通过结果感知和临床验证的奖励机制提升决策支持，实现住院患者临床推理的最新进展。

Personalizing LLMs with Binary Feedback: A Preference-Corrected Optimization Framework

通过二元反馈个性化大语言模型：一种偏好校正的优化框架

Xilai Ma, Liye Zhao, Weijun Yao, Haibing Di, Wenya Wang, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出C-BPO框架，通过偏好校正的二元信号实现LLM个性化，解决用户间差异问题，实验表明其在多种任务中优于基线方法。

Comments Accepted by ACL 2026 Main

Users as Annotators: LLM Preference Learning from Comparison Mode

用户作为标注者：从比较模式中学习LLM的偏好

Zhongze Cai, Xiaocheng Li

机构 * Imperial College Business School（帝国理工商业学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过用户日常交互收集偏好数据，利用期望最大化算法估计用户质量因子，提升LLM对齐效果。

DGPO: Beyond Pairwise Preferences with Directional Consistent Groupwise Optimization

DGPO: 超越成对偏好与方向一致的组级优化

Mengyi Deng, Zhiwei Li, Xin Li, Tingyu Zhu, Yulan Yuan, Zhijiang Guo, Wei Wang

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou), China（香港科学与技术大学（广州）信息中心，中国） ； The Hong Kong University of Science and Technology, Hong Kong SAR（香港科学与技术大学，香港特别行政区） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出DGPO框架，通过组级监督信号和多候选比较建模方向一致性，提升偏好优化的准确性和多样性，实验显示在多个数据集上平均提升3.6%。

The Realignment Problem: When Right becomes Wrong in LLMs

重排问题：当正确变为错误时在大语言模型中

Aakash Sen Sharma, Debdeep Sanyal, Manodeep Ray, Vivek Srivastava, Shirish Karande, Murari Mandal

机构 * Birla AI Labs（比拉人工智能实验室） ； TCS Research（塔塔咨询服务研究） ； Kalinga Institute of Industrial Technology, Bhubaneswar（比拉工业技术学院，巴布尔萨瓦尔） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出TRACE框架，通过结构化优化解决LLM在动态标注政策下的重排问题，无需新标注即可提升对齐效果。

Comments ICML 2026

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

基于探索的优化用于测试时大语言模型推理

Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出EDO框架，通过扩展奖励偏差探索目标到迭代后训练，提升大语言模型推理中的探索与利用平衡，实验表明ED-iDPO和ED-GRPO在推理能力和多样性上优于基线模型。

Comments Accepted by TMLR 2026

Every Preference Has Its Strength: Injecting Ordinal Semantics into LLM-Based Recommenders

每种偏好都有其强度：将序数语义注入基于LLM的推荐系统

Jiwon Jeong, Donghee Han, Sungrae Hong, Woosung Kang, Mun Yong Yi

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出OSA框架，通过建模用户反馈来显式整合偏好强度，保留序数语义以提升推荐系统性能。

Comments Accepted at SIGIR 2026