大模型对齐与安全

Tail-Aware Information-Theoretic Bounds for LLM Alignment under Heavy-Tailed Rewards

尾感知信息论泛化用于RLHF和SGLD

Huiming Zhang, Binghan Li, Wan Tian, Qiang Sun

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心） ； Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； Computer and Mathematical Sciences, Computer Science, and Statistics, University of Toronto（多伦多大学计算机与数学科学、计算机科学和统计学系） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 偏好对齐 ：RLHF(title_cn,abstract)；alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种尾依赖信息论框架，用于处理亚韦尔bull数据，通过移位对数f_θ-分歧来界定制换测度期望，从而在重尾数据下获得更精确的泛化界限。

Comments 47 pages, 6 figures

Trustworthiness Costs of Domain Adaptation in Small Language Models:A Cross-Architecture Empirical Study

小语言模型领域适应的可信性代价：一项跨架构实证研究

Ramesh B. Paramkusham

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；safety(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对三类SLM架构、三个领域、两类训练数据及四种微调策略的216组实验，量化了领域适应的可信性代价，发现对抗扰动训练数据可提升适应质量且不降低可信性，部分安全策略反而增加对抗伤害易感性。

Comments 13 pages, 7 tables, 2 appendices (Reproducibility Checklist; Software and Data Availability). Code, model checkpoints, and datasets publicly available at https://github.com/rbpdlf/slm-trw

On the Limits of Support-Preserving Alignment and Bounded Filtering

关于支持保持对齐和有界过滤的局限性

Aryan Dutt, Rui Mao, Anupam Chattopadhyay

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 研究在大语言模型中，重塑基础模型输出分布的对齐方案与有界安全过滤器结合能否消除有害行为。通过形式化设置并分析，发现有界过滤可能无法消除所有有害输出，实证评估显示有害输出率始终高于零。

Comments Withdrawn to allow a complete rewrite and substantial revision of the theoretical analysis and experiments

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

自分割轨迹：智能体声明边界作为训练单元

Jingxi Wei

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出智能体声明边界的采集时语义自分割方法，将其作为训练单元，实验表明该分段具有一致性，下游DPO在特定任务中表现优于对照组。

Comments 20 pages, 6 figures, 11 tables. Includes appendices with full controls and ablations

From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents

从分析到综合：个性化大语言模型智能体中的隐式行为对齐基准测试

Jiajia Song, Bobo Li, Haiwen Yi, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 该研究针对大语言模型智能体的个性化问题，构建了IBA-Bench基准，提出IBA-Agent框架，实验显示其可在九类场景中提升隐式行为对齐效果，但有效个性化仍是重大挑战。

TLA-Prover: Verifiable TLA+ Specification Synthesis via Preference-Optimized Low-Rank Adaptation

TLA-Prover: 通过偏好优化低秩适配实现可验证的 TLA+ 规范合成

Eric Spencer, Arslan Bisharat, Brian Ortiz, Khushboo Bhadauria, Mujtaba Nazari, TaiNing Wang, George K. Thiruvathukal, Konstantin Laufer, Mohammed Abuhamad

机构 * Department of Computer Science, Loyola University Chicago（洛约拉芝加哥大学计算机科学系） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出 TLA-Prover 模型，结合监督微调和基于修复的组相对策略优化，在 TLC 模型检查器上实现 TLA+ 规范合成，Gold/Diamond 级别通过率达 30%，约为未调优基线的 3.5 倍。

Comments 12 pages, 5 tables, 3 figures. In Proceedings at the 21st International Conference on Software Technologies (ICSOFT 2026)

Journal ref ICSOFT 2026, pp. 627-636, 2026

Reinforcement Learning from Human Feedback

基于人类反馈的强化学习

Nathan Lambert

机构 * Nathan Lambert（纳瑟恩·拉姆伯特） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG

AI总结 本书系统介绍强化学习从人类反馈的核心方法，涵盖指令微调、奖励模型训练及拒绝采样等关键技术，探讨合成数据与评估中的前沿问题。

Comments 239 pages. Web-native version at https://rlhfbook.com/ Continually improving, latest version at website

TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation

TAB-PO：面向Token关键结构化生成的具有Token级自适应障碍的偏好优化

Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Sreeraj Ramachandran, Elyas Irankhah, Aimee Kendall Roundtree

机构 * Yale University（耶鲁大学） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL

AI总结 针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题，提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法，在SciERC任务上显著提升关键指标。

Unleashing the Potential of Large Language Models: A Blueprint for Real-Time, Enterprise-Ready Deployments

释放大语言模型的潜力：面向实时、企业级部署的蓝图

Muhammad Faizan Raza, Shuo, Yang, Satish Mahadevan Srinivasan, Joanna F. DeFranco

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对实时受监管场景中大语言模型的问题，提出基于模式的LLMOps架构，整合多模块并实现四项模式化贡献，优化权衡同时支持高风险领域的可审计与回滚部署。

Comments 6 pages, 1 figure. Authors' accepted version of an article published in IEEE Computer. The version of record is available at the DOI below

Journal ref Computer, vol. 59, no. 4, pp. 195-199, April 2026

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

LLM 能否可靠地自我报告对抗性预填充，以及如何实现？

Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：DPO(abstract_cn)；safety(abstract)；分类 cs.CL

AI总结 研究LLM在安全场景中识别自身输出是否受对抗性预填充攻击的能力，发现模型平均27.3%声称预填充输出有意图，且内省信号主要来自安全/拒绝推理，LoRA微调方法扩大了意图-篡改探针差距并提高了攻击成功率。

Comments Under review

Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation

反向翻译增强的直接偏好优化用于神经机器翻译

Mehrdad Ghassabi, Spehr Rajabi, Hamidreza Baradaran Kashani, Sadra Hakim, Mahshid Keivandarian, Amirhossein Jahani Bahnamiri

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出基于直接偏好优化的强化学习后训练框架，利用通用文本语料和专家反馈纠正神经机器翻译错误，在英德翻译任务上将COMET分数从0.703提升至0.747。

Comments 5 pages, 2 figures

From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States

从方向到大小：多模态指令微调如何在Transformer隐藏状态中重新组织身份指定提示的几何编码

Jorge A. Castillo, Marco Torres Yévenes, Juan Carlos Lanas

机构 * Axis Dynamics SpA（轴动力公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 研究四种训练后模式的Transformer语言模型，通过五个几何指标比较三种提示条件，发现多模态指令微调会使身份编码从方向重组为大小，此重组特定于该模式，还定位了W_1作为方法贡献。

Comments 16 pages, 8 tables. Working draft v0.3. Uses Ollivier-Ricci curvature and edge-wise Wasserstein-1 as primary geometric statistic; four models (Gemma-4-E4B, Gemma-4-E4B-it, DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-7B-Instruct)

Rewriting or Reweighting? A Geometric Account in Language Models

重写还是重加权？语言模型中的几何视角

Juntong Wang, Shengkun Yang, Xiyuan Wang, Muhan Zhang

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本研究提出行为流形分析方法，通过ACT与NOC空间的几何视角，发现监督微调重写语言模型行为几何、奖励优化重加权该几何的机制差异，为理解后训练目标提供统一框架。

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

PALMs：使用多构造基础理由对大语言模型中的群体偏好进行建模

Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 该研究提出了群体对齐语言模型PALMs，通过结合心理与文化构造的理由进行偏好调优，在多维度评估中优于基准模型，且下游任务泛化能力强

Gaokerena: A Small Persian Medical Language Model Family

Gaokerena：一个小型波斯语医疗语言模型家族

Mehrdad Ghassabi, Hamidreza Baradaran Kashani, Pedram Rostami, Sadra Hakim, Zahra Kazemi, Audrina Ebrahimi

机构 * University of Isfahan（伊斯法罕大学） ； University of Tehran（德黑兰大学） ； University of Windsor（温莎大学） ； Alzahra University（阿勒扎哈拉大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL

AI总结 针对波斯语医疗语言模型研究不足的问题，该研究推出Gaokerena家族，包含Gaokerena-V和Gaokerena-R两款模型，在医疗问答基准上取得性能提升，还配备不确定性头，为本地化数字医疗提供基础但仍需完善。

Comments 29 pages, 9 figures

Distributionally Robust Listwise Preference Optimization

分布鲁棒列表偏好优化

Xudong Wu, Jian Qian, Pangpang Liu, Vaneet Aggarwal, Jiayu Chen

机构 * The University of Hong Kong（香港大学） ； Yale University（耶鲁大学） ； Purdue University（普渡大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 针对列表偏好排序标签不确定性，提出点态全变差鲁棒Plackett-Luce目标，将内层最大化简化为排序，在离线和在线设置中均具有理论保证，实验表明能保持干净标签性能并提升噪声鲁棒性。

LLM Output Detectability and Task Performance Can be Jointly Optimized

大语言模型输出可检测性与任务性能可以联合优化

Koshiro Saito, Ryuto Koike, Masahiro Kaneko, Naoaki Okazaki

机构 * Institute of Science Tokyo（东京科学研究所） ； MBZUAI ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） ； NII LLMC（日本信息基础设施中心LLMC） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 本文提出PUPPET框架，通过强化学习优化大语言模型，使其输出更易检测且在下游任务中表现更优，实验表明其在长文问答、摘要和作文写作中均优于传统水印方法。

Comments 15 pages, 9 figures, 20 tables. Code: https://github.com/pakapaka333/PUPPET