大模型对齐与安全

Unbiased Alignment for Large Language Models with Noisy Preferences

具有噪声偏好的大语言模型的无偏对齐

Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型与人类偏好对齐问题，针对真实偏好数据集中噪声大的问题，提出无偏对齐理论框架，引入新损失函数，能直接从噪声数据集无偏训练模型，实验表明优于现有基线。

Comments Accepted by ICML2026

Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

建构性对齐：人机交互中的偏好动态治理

Max Kanwal, Caryn Tran

机构 * Stanford University（斯坦福大学） ； Northwestern University（西北大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 提出建构性对齐范式，将对齐问题重构为控制人类偏好轨迹演化的控制问题，而非静态偏好满足，通过控制论框架确保价值轨迹的连贯性与反思性。

Comments 23 pages, 1 figure; Proceedings of the AAAI-26 Workshop on Machine Ethics

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

保持VIGILant：通过多模态大语言模型中的反事实视觉对齐缓解视觉懒惰

Xi Xiao, Chen Liu, Chih-Ting Liao, Yunbei Zhang, Qizhen Lan, Yuxiang Wei, Lin Zhao, Janet Wang, Jianyang Gu, Muchao Ye, Tianyang Wang, Hao Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； Yale（耶鲁大学） ； UNSW（新南威尔士大学） ； Tulane（杜兰大学） ； Georgia Tech（佐治亚理工学院） ； NEU（东北大学） ； OSU（俄亥俄州立大学） ； UIowa（爱荷华大学） ； Harvard（哈佛大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出VIGIL框架，通过强化学习后训练最大化视觉输入与生成响应间的互信息，惩罚“盲目自信”实例，有效缓解MLLMs的视觉懒惰问题，在幻觉和推理基准上优于现有方法。

Comments ECCV 2026

Improved Bounds for Private and Robust Alignment

私有和鲁棒对齐的改进界

Wenqian Weng, Yi He, Xingyu Zhou

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文从理论角度研究语言模型的私有和鲁棒对齐，通过建立离线与在线设置下的次优性差距上界，分析隐私与对抗性腐败的两种交互模式，并给出改进的界。

Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective

奖励塑形用于（推理时）对齐：一个Stackelberg博弈视角

Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

机构 * University of Southern California（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对KL正则化导致LLM继承基策略偏见的问题，提出将奖励模型优化形式化为Stackelberg博弈，并通过简单奖励塑形方案近似最优奖励模型，在推理时对齐中持续提升平均奖励并达到超过66%的胜率。

Comments Accepted to ICML 2026. Camera-ready version

VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

VALUEFLOW：迈向大语言模型中多元化和可引导的基于价值的对齐

Woojin Kim, Sieun Hyeon, Jusang Oh, Jaeyoung Do

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能交叉学科项目） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出VALUEFLOW框架，通过分层价值嵌入、强度标注数据库和锚定评估器，实现大语言模型在价值强度上的可控对齐，解决现有方法在提取、评估和引导方面的不足。

Comments Accepted in ICML 2026 (Oral). Code available at https://github.com/AIDASLab/VALUEFLOW

Fully Automated Identification of Lexical Alignment and Preference-Stage Shifts in Large Language Models

大型语言模型中词汇对齐和偏好阶段转变的完全自动识别

Thomas Stephan Juzek, Xiaoyang Ming, Jose A. Hernandez

机构 * University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出两种无需人工干预的评估指标——词汇对齐分数和三角化偏好转变，用于自动识别大型语言模型中的词汇过度使用及其与人类偏好学习的关联。

Comments 16 pages, 2 figures, 10 tables

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pages 6116-6131

TriAlign: Towards Universal Truth Consistency in Personalized LLM Alignment

TriAlign: 迈向个性化大语言模型对齐中的通用真值一致性

Thi-Nhung Nguyen, Linhao Luo, Rollin Omari, Junae Kim, Thuy-Trang Vu, Dinh Phung

机构 * Department of Data Science & AI, Monash University（数据科学与人工智能系，墨尔本大学） ； Defence Science and Technology Group, Australia（澳大利亚国防科学与技术集团） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对个性化大语言模型在不同社会群体间存在的通用真值不一致问题，提出TriAlign框架，通过离线多智能体强化学习联合优化真值准确性、跨群体一致性和个性化，实现公平对齐。

Differentially Private Preference Data Synthesis for Large Language Model Alignment

面向大语言模型对齐的差分隐私偏好数据合成

Fengyu Gao, Jing Yang

机构 * Department of Computer Science, University of Virginia, Charlottesville, Virginia, USA（弗吉尼亚大学计算机科学系） ； Department of Electrical and Computer Engineering, University of Virginia, Charlottesville, Virginia, USA（弗吉尼亚大学电气与计算机工程系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出DPPrefSyn算法，基于Bradley-Terry偏好模型和DP-PCA生成差分隐私合成偏好数据，实现隐私保护的偏好对齐。

Comments Accepted to ICML 2026

When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop

人类策展何时以及如何适得其反：多模型自消费循环下的偏好对齐

Yang Zhang, Xiukun Wei, Xueru Zhang

机构 * Department of Computer Science and Engineering, The Ohio State University, Columbus, Ohio（计算机科学与工程系，俄亥俄州立大学，哥伦布，俄亥俄） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究多模型自消费训练中人类策展对模型对齐的影响，发现跨模型交互可能削弱甚至逆转策展效果，导致长期对齐退化。

Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models

弥合稳定性与表现力之间的差距：低资源口语语言模型的合成数据扩展与偏好对齐

Yizhong Geng, Yanliang Li, Jinghan Yang, Tianhan Jiang, Boxun An, Ya Li, Xiaoyu Shen

机构 * Beijing University of Posts（北京邮电大学） ； University of California, USA（美国加州大学） ； Northwestern University, USA（美国西北大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源口语语言模型因合成数据导致的表现力崩溃问题，提出两种自对齐框架（DGSA和TDSC）以恢复韵律多样性，实现超越商业系统的性能并首次支持老挝语零样本语音克隆。

Alignment Tuning for Large Language Models: A Data-Centric Lens on Alignment Data Pipelines

大型语言模型的对齐调优：以数据为中心的对齐数据管道视角

Hwanjun Song

机构 * KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文以数据为中心，将对齐调优重构为管道设计问题，分解为响应合成、偏好评估和偏好实例化三个阶段，并基于此框架统一分类现有对齐方法，总结设计权衡与失败模式，提炼高层原则，最后指出开放挑战。

Comments Accepted at the Findings of ACL 2026

Alignment Makes Language Models Normative, Not Descriptive

对齐使语言模型变得规范，而非描述性

Eilam Shapira, Moshe Tennenholtz, Roi Reichart

机构 * Technion – Israel Institute of Technology（技术离子-以色列理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过对比120个基础-对齐模型对在超过10,000个真实人类决策中的表现，发现对齐诱导了规范性偏差：在单轮教科书式博弈中提升预测，但在多轮战略博弈中因忽略互惠、报复等描述性动态而损害预测。

AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment

AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型

Kuei-Chun Kao, Daixuan Huo, Yuanhao Ban, Cho-Jui Hsieh

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。

Comments 27 pages

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

ProteinOPD: Towards Effective and Efficient Preference Alignment for Protein Design

ProteinOPD：迈向蛋白质设计的有效和高效偏好对齐

Yulin Zhang, He Cao, Zihao Jiang, Chenyi Zi, Zhipeng Zhou, Zijing Liu, Yu Li, Jia Li, Ziqi Gao

机构 * Tsinghua University（清华大学） ； International Digital Economy Academy（国际数字经济学院） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ProteinOPD框架，通过结合On-Policy Distillation方法，有效平衡多目标偏好，提升蛋白质设计效率与稳定性，实验显示在目标偏好上表现优异且训练速度更快。

Turning Drift into Constraint: Robust Reasoning Alignment in Non-Stationary Multi-Stream Environments

将漂移转化为约束：非稳态多流环境中的鲁棒推理对齐

Xiaoyu Yang, En Yu, Wei Duan, Jie Lu

机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faulty of Engineering and Information Technology（工程与信息技术学院） ； University of Technology Sydney（悉尼技术大学） ； Australia（澳大利亚） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出APO框架，通过约束满足问题解决多源推理对齐问题，实验表明其在胸片解读中鲁棒性优于现有模型，并发布CXR-MAX基准测试集。

Comments ICML 2026

Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

互动中的隐含意义：理解隐含意义能提高人-大语言模型互动的对齐

Asutosh Hota, Jussi P. P. Jokinen

机构 * Jyvaskylan yliopisto（耶夫斯克扬大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨LLM在基于上下文的提示中推断用户意图的能力，发现更大模型更接近人类解释，隐含意义提示能显著提升响应的相关性和质量，67.6%参与者偏好隐含意义提示。

Comments The manuscript is approximately 7360 words and contains 12 figures and 6 tables

Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment

Meta-Aligner: 多目标大语言模型对齐的双向偏好-策略优化

Wenzhe Xu, Biao Liu, Yiyang Sun, Xin Geng, Ning Xu

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Meta-Aligner框架，通过双向优化偏好与策略响应，生成动态偏好以提升训练稳定性，实验证明其在多目标基准上的优越性能。

Pref-CTRL: Preference Driven LLM Alignment using Representation Editing

Pref-CTRL: 基于偏好的大语言模型对齐方法使用表征编辑

Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Pref-CTRL，一种基于偏好的训练框架，通过多目标价值函数改进偏好数据结构，优于RE-Control并在跨领域数据集上表现更佳。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment

一个适应任何：面向个性化大语言模型对齐的元奖励建模

Hongru Cai, Yongqi Li, Tiezheng Yu, Fengbin Zhu, Wenjie Wang, Fuli Feng, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出元奖励建模（MRM）方法，通过元学习框架优化奖励模型初始化，提升个性化对齐的效率与鲁棒性，实验表明其在少样本场景下表现优异。

Comments Accepted by SIGIR 2026

Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation

国界之外的教训？利用多语言故事道德生成评估语言模型的文化契合度

Sophie Wu, Andrew Piper

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过多语言故事道德生成任务评估语言模型的文化契合度，发现前沿模型在道德生成上与人类响应相似但缺乏跨语言多样性。

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

卡牌对战大语言模型：大型语言模型幽默对齐的基准测试

Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

机构 * Ghent University（根特大学） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过让五种前沿语言模型与人类玩家玩卡牌对战游戏，评估大语言模型在幽默对齐方面的表现，发现模型在幽默判断上与人类偏好不一致，可能受系统性偏差影响。

Learning to Optimize Multi-Objective Alignment Through Dynamic Reward Weighting

通过动态奖励加权学习多目标对齐

Yining Lu, Zilong Wang, Shiyang Li, Xin Liu, Changlong Yu, Qingyu Yin, Zhan Shi, Zixuan Zhang, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Amazon（亚马逊） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出动态奖励加权方法，解决多目标强化学习中固定权重无法捕捉非凸帕累托前沿的问题，通过两种新方法实现有效探索帕累托前沿。

LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation

LVRPO：基于GRPO的语言-视觉对齐用于多模态理解和生成

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系，美国） ； Department of Machine Learning, MBZUAI, UAE（穆罕默德·本·扎耶德人工智能大学机器学习系，阿联酋） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（汉阳大学ERICA校区人工智能系，韩国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LVRPO框架，通过GRPO显式对齐语言和视觉表示，提升多模态理解和生成性能，无需辅助编码器或人工目标。

Why Safety Probes Catch Liars But Miss Fanatics

为何安全探针会识破骗子却无法识别狂热分子

Kristiyan Haralambiev

机构 * Independent Research（独立研究） 纠错

专题命中 偏好对齐 ：safety(title)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究安全探针在检测欺骗性对齐AI系统时的局限性，发现当模型相信有害行为是正当的而非隐藏时，探针无法检测到这种一致性偏差，揭示了探针逃避现象的形成机制。

Comments 18 pages, 4 figures, 14 tables

ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment

ImplicitRM: 从隐式偏好数据中无偏奖励建模以实现语言模型对齐

Hao Wang, Haocheng Yang, Licheng Pan, Lei Shen, Xiaoxi Li, Yinuo Wang, Zhichao Chen, Yuan Lu, Haoxuan Li, Zhouchen Lin

机构 * Peking University（北京大学） ； Xiaohongshu Inc.（小红书公司） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(title)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImplicitRM，通过隐式反馈数据学习无偏奖励模型，解决隐式偏好数据中缺乏明确负样本和用户偏好偏差的问题，实验验证其有效性。

Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity

在数据异质性下基于混合专家的联邦学习聚合对齐

Zihan Fang, Qianru Wang, Haonan An, Zheng Lin, Yiqin Deng, Xianhao Chen, Yuguang Fang

机构 * Hong Kong JC STEM Lab of Smart City（香港JC STEM实验室） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文针对联邦学习中混合专家模型因数据异质性导致的聚合挑战，提出FedAlign-MoE框架，通过路由一致性和专家语义对齐提升模型收敛速度和准确性。

Comments 14 pages, 14 figures

An Empirical Study of SFT-DPO Interaction and Parameterization in Small Language Models

小语言模型中SFT-DPO交互与参数化的实证研究

Yuming Feng, Christy Yang

机构 * Department of Computer Science（计算机科学系） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对比SFT、DPO及分阶段训练方法，发现全参数微调在小模型中表现更优，而偏好优化和低秩适应带来的边际收益有限。

Inference-time Alignment in Continuous Space

连续空间中的推理对齐

Yige Yuan, Teng Xiao, Li Yunfan, Bingbing Xu, Shuchang Tao, Yunqi Qiu, Huawei Shen, Xueqi Cheng

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SEA算法，通过连续潜在空间中的梯度采样对齐大语言模型，提升在弱基策略或小候选集下的效果，实验显示在AdvBench和MATH上分别提升77.51%和16.36%。

Comments Accepted at NeurIPS 2025