大模型对齐与安全

Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

以真实意图铺路：意图感知训练提升跨训练机制下的LLM安全分类

Jeremias Ferrao, Niclas Müller-Hof, Iustin Sîrbu, Traian Rebedea, Yftah Ziser

机构 * University of Groningen（格罗宁根大学） ； University Politehnica of Bucharest（布加勒斯特理工大学） ； NVIDIA（英伟达） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出意图感知训练方法，通过显式建模用户意图信号提升安全分类器鲁棒性，在多个训练机制下取得最优平均性能。

AIGP: An LLM-Based Framework for Long-Term Value Alignment in E-Commerce Pricing

AIGP：基于LLM的电商定价长期价值对齐框架

Chennan Ma, Yanning Zhang, Siqi Hong, Xiuchong Wang, Fei Xiao, Keping Yang

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团） 纠错

专题命中 偏好对齐 ：alignment(title)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AIGP框架，利用大语言模型结合领域知识与结构化数据，通过离线强化学习训练的长期价值评估器进行偏好优化，实现可解释的定价决策，在淘宝工厂的在线实验中GMV提升13.21%。

Comments Accepted by KDD 2026 Applied Data Science Track (Oral presentation)

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

Cliff Tokens: 识别大语言模型数学推理中的单Token失败触发点

Jaeyong Ko, Pilsung Kang, Yukyung Lee

机构 * Seoul National University（首尔大学） ； Boston University（波士顿大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出“悬崖token”概念，通过自适应阈值和单侧双比例z检验识别导致推理失败的单个token，删除并重采样可恢复pass@64至1.0，并基于贪心选择和token熵建立分类法，通过Cliff-DPO优化提升准确率。

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

保持VIGILant：通过多模态大语言模型中的反事实视觉对齐缓解视觉懒惰

Xi Xiao, Chen Liu, Chih-Ting Liao, Yunbei Zhang, Qizhen Lan, Yuxiang Wei, Lin Zhao, Janet Wang, Jianyang Gu, Muchao Ye, Tianyang Wang, Hao Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； Yale（耶鲁大学） ； UNSW（新南威尔士大学） ； Tulane（杜兰大学） ； Georgia Tech（佐治亚理工学院） ； NEU（东北大学） ； OSU（俄亥俄州立大学） ； UIowa（爱荷华大学） ； Harvard（哈佛大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出VIGIL框架，通过强化学习后训练最大化视觉输入与生成响应间的互信息，惩罚“盲目自信”实例，有效缓解MLLMs的视觉懒惰问题，在幻觉和推理基准上优于现有方法。

Comments ECCV 2026

Improved Bounds for Private and Robust Alignment

私有和鲁棒对齐的改进界

Wenqian Weng, Yi He, Xingyu Zhou

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文从理论角度研究语言模型的私有和鲁棒对齐，通过建立离线与在线设置下的次优性差距上界，分析隐私与对抗性腐败的两种交互模式，并给出改进的界。

Preference Optimization Drives Monoculture in LLM Prediction Markets

偏好优化导致LLM预测市场中的单一文化

James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

专题命中 偏好对齐 ：DPO(summary_cn,abstract)

AI总结 研究发现，使用直接偏好优化（DPO）微调的LLM代理在预测市场中产生高度相关的错误，导致集体预测能力远低于独立代理数量，且该现象由偏好优化驱动。

Position: Align AI to Our Aspirations, Not Our Flaws

立场：将AI对齐于我们的抱负，而非缺陷

Nikita Kazeev, Bui Nhat Huyen Phan

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文主张AI不应与聚合的人类偏好对齐，而应基于能力、事实准确性、诚实和合法性等客观目标底线，在底线之上允许多元价值权衡。

Journal ref Pluralistic Alignment Workshop at ICML 2026

GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning

GEOALIGN: 用于鲁棒大语言模型强化学习的几何轨迹策展

Ting Zhou, Zhenqing Ling, Yiyang Zhao, Ying Shen, Daoyuan Chen

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对在线强化学习训练LLM时奖励噪声导致的不稳定性，提出GEOALIGN，通过检测并修正方向不一致的轨迹来稳定更新，提升最终性能并减少训练震荡。

Comments Accepted as a conference paper at ICML 2026

NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research

NebulaExp-8B：基于全尺度消融研究的经验性后训练流程

Qiaobo Hao, Yangqian Wu, Shunyi Wang, Zhongjian Zhang, Ziqun Li, Yayin He, Muqing Li, Chen Zhong

机构 * ZTE NebulaL0 Post-Training Team（中兴通讯NebulaL0后训练团队） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出NebulaExp透明后训练流程，基于Qwen3-8B-base，通过数据清洗、三阶段SFT和GRPO RL优化指令与推理分支，并探索OPD/MOPD替代RL，在8B模型上实现性能提升。

Comments 29 pages, 8 figures

Human-AI Complementarity: A Goal for Amplified Oversight

人机互补：增强监督的目标

Rishub Jain, Sophie Bridgers, Lili Janzer, Rory Greig, Tian Huey Teh, Vladimir Mikulik

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 针对AI输出的事实核查问题，结合AI评分与人类评分优于单独使用任一方法，但AI辅助类型影响信任度，为超越人类专家性能的AI系统监督提供启示。