大模型对齐与安全

Tail-Aware Information-Theoretic Bounds for LLM Alignment under Heavy-Tailed Rewards

尾感知信息论泛化用于RLHF和SGLD

Huiming Zhang, Binghan Li, Wan Tian, Qiang Sun

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心） ； Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； Computer and Mathematical Sciences, Computer Science, and Statistics, University of Toronto（多伦多大学计算机与数学科学、计算机科学和统计学系） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 偏好对齐 ：RLHF(title_cn,abstract)；alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种尾依赖信息论框架，用于处理亚韦尔bull数据，通过移位对数f_θ-分歧来界定制换测度期望，从而在重尾数据下获得更精确的泛化界限。

Comments 47 pages, 6 figures

Trustworthiness Costs of Domain Adaptation in Small Language Models:A Cross-Architecture Empirical Study

小语言模型领域适应的可信性代价：一项跨架构实证研究

Ramesh B. Paramkusham

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；safety(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对三类SLM架构、三个领域、两类训练数据及四种微调策略的216组实验，量化了领域适应的可信性代价，发现对抗扰动训练数据可提升适应质量且不降低可信性，部分安全策略反而增加对抗伤害易感性。

Comments 13 pages, 7 tables, 2 appendices (Reproducibility Checklist; Software and Data Availability). Code, model checkpoints, and datasets publicly available at https://github.com/rbpdlf/slm-trw

On the Limits of Support-Preserving Alignment and Bounded Filtering

关于支持保持对齐和有界过滤的局限性

Aryan Dutt, Rui Mao, Anupam Chattopadhyay

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 研究在大语言模型中，重塑基础模型输出分布的对齐方案与有界安全过滤器结合能否消除有害行为。通过形式化设置并分析，发现有界过滤可能无法消除所有有害输出，实证评估显示有害输出率始终高于零。

Comments Withdrawn to allow a complete rewrite and substantial revision of the theoretical analysis and experiments

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

自分割轨迹：智能体声明边界作为训练单元

Jingxi Wei

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出智能体声明边界的采集时语义自分割方法，将其作为训练单元，实验表明该分段具有一致性，下游DPO在特定任务中表现优于对照组。

Comments 20 pages, 6 figures, 11 tables. Includes appendices with full controls and ablations

From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents

从分析到综合：个性化大语言模型智能体中的隐式行为对齐基准测试

Jiajia Song, Bobo Li, Haiwen Yi, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 该研究针对大语言模型智能体的个性化问题，构建了IBA-Bench基准，提出IBA-Agent框架，实验显示其可在九类场景中提升隐式行为对齐效果，但有效个性化仍是重大挑战。

TLA-Prover: Verifiable TLA+ Specification Synthesis via Preference-Optimized Low-Rank Adaptation

TLA-Prover: 通过偏好优化低秩适配实现可验证的 TLA+ 规范合成

Eric Spencer, Arslan Bisharat, Brian Ortiz, Khushboo Bhadauria, Mujtaba Nazari, TaiNing Wang, George K. Thiruvathukal, Konstantin Laufer, Mohammed Abuhamad

机构 * Department of Computer Science, Loyola University Chicago（洛约拉芝加哥大学计算机科学系） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出 TLA-Prover 模型，结合监督微调和基于修复的组相对策略优化，在 TLC 模型检查器上实现 TLA+ 规范合成，Gold/Diamond 级别通过率达 30%，约为未调优基线的 3.5 倍。

Comments 12 pages, 5 tables, 3 figures. In Proceedings at the 21st International Conference on Software Technologies (ICSOFT 2026)

Journal ref ICSOFT 2026, pp. 627-636, 2026

Reinforcement Learning from Human Feedback

基于人类反馈的强化学习

Nathan Lambert

机构 * Nathan Lambert（纳瑟恩·拉姆伯特） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG

AI总结 本书系统介绍强化学习从人类反馈的核心方法，涵盖指令微调、奖励模型训练及拒绝采样等关键技术，探讨合成数据与评估中的前沿问题。

Comments 239 pages. Web-native version at https://rlhfbook.com/ Continually improving, latest version at website

TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation

TAB-PO：面向Token关键结构化生成的具有Token级自适应障碍的偏好优化

Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Sreeraj Ramachandran, Elyas Irankhah, Aimee Kendall Roundtree

机构 * Yale University（耶鲁大学） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL

AI总结 针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题，提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法，在SciERC任务上显著提升关键指标。

Unleashing the Potential of Large Language Models: A Blueprint for Real-Time, Enterprise-Ready Deployments

释放大语言模型的潜力：面向实时、企业级部署的蓝图

Muhammad Faizan Raza, Shuo, Yang, Satish Mahadevan Srinivasan, Joanna F. DeFranco

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对实时受监管场景中大语言模型的问题，提出基于模式的LLMOps架构，整合多模块并实现四项模式化贡献，优化权衡同时支持高风险领域的可审计与回滚部署。

Comments 6 pages, 1 figure. Authors' accepted version of an article published in IEEE Computer. The version of record is available at the DOI below

Journal ref Computer, vol. 59, no. 4, pp. 195-199, April 2026

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

LLM 能否可靠地自我报告对抗性预填充，以及如何实现？

Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：DPO(abstract_cn)；safety(abstract)；分类 cs.CL

AI总结 研究LLM在安全场景中识别自身输出是否受对抗性预填充攻击的能力，发现模型平均27.3%声称预填充输出有意图，且内省信号主要来自安全/拒绝推理，LoRA微调方法扩大了意图-篡改探针差距并提高了攻击成功率。

Comments Under review

Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation

反向翻译增强的直接偏好优化用于神经机器翻译

Mehrdad Ghassabi, Spehr Rajabi, Hamidreza Baradaran Kashani, Sadra Hakim, Mahshid Keivandarian, Amirhossein Jahani Bahnamiri

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出基于直接偏好优化的强化学习后训练框架，利用通用文本语料和专家反馈纠正神经机器翻译错误，在英德翻译任务上将COMET分数从0.703提升至0.747。

Comments 5 pages, 2 figures

From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States

从方向到大小：多模态指令微调如何在Transformer隐藏状态中重新组织身份指定提示的几何编码

Jorge A. Castillo, Marco Torres Yévenes, Juan Carlos Lanas

机构 * Axis Dynamics SpA（轴动力公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 研究四种训练后模式的Transformer语言模型，通过五个几何指标比较三种提示条件，发现多模态指令微调会使身份编码从方向重组为大小，此重组特定于该模式，还定位了W_1作为方法贡献。

Comments 16 pages, 8 tables. Working draft v0.3. Uses Ollivier-Ricci curvature and edge-wise Wasserstein-1 as primary geometric statistic; four models (Gemma-4-E4B, Gemma-4-E4B-it, DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-7B-Instruct)

Rewriting or Reweighting? A Geometric Account in Language Models

重写还是重加权？语言模型中的几何视角

Juntong Wang, Shengkun Yang, Xiyuan Wang, Muhan Zhang

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本研究提出行为流形分析方法，通过ACT与NOC空间的几何视角，发现监督微调重写语言模型行为几何、奖励优化重加权该几何的机制差异，为理解后训练目标提供统一框架。

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

PALMs：使用多构造基础理由对大语言模型中的群体偏好进行建模

Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 该研究提出了群体对齐语言模型PALMs，通过结合心理与文化构造的理由进行偏好调优，在多维度评估中优于基准模型，且下游任务泛化能力强

Gaokerena: A Small Persian Medical Language Model Family

Gaokerena：一个小型波斯语医疗语言模型家族

Mehrdad Ghassabi, Hamidreza Baradaran Kashani, Pedram Rostami, Sadra Hakim, Zahra Kazemi, Audrina Ebrahimi

机构 * University of Isfahan（伊斯法罕大学） ； University of Tehran（德黑兰大学） ； University of Windsor（温莎大学） ； Alzahra University（阿勒扎哈拉大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL

AI总结 针对波斯语医疗语言模型研究不足的问题，该研究推出Gaokerena家族，包含Gaokerena-V和Gaokerena-R两款模型，在医疗问答基准上取得性能提升，还配备不确定性头，为本地化数字医疗提供基础但仍需完善。

Comments 29 pages, 9 figures

Distributionally Robust Listwise Preference Optimization

分布鲁棒列表偏好优化

Xudong Wu, Jian Qian, Pangpang Liu, Vaneet Aggarwal, Jiayu Chen

机构 * The University of Hong Kong（香港大学） ； Yale University（耶鲁大学） ； Purdue University（普渡大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 针对列表偏好排序标签不确定性，提出点态全变差鲁棒Plackett-Luce目标，将内层最大化简化为排序，在离线和在线设置中均具有理论保证，实验表明能保持干净标签性能并提升噪声鲁棒性。

LLM Output Detectability and Task Performance Can be Jointly Optimized

大语言模型输出可检测性与任务性能可以联合优化

Koshiro Saito, Ryuto Koike, Masahiro Kaneko, Naoaki Okazaki

机构 * Institute of Science Tokyo（东京科学研究所） ； MBZUAI ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） ； NII LLMC（日本信息基础设施中心LLMC） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 本文提出PUPPET框架，通过强化学习优化大语言模型，使其输出更易检测且在下游任务中表现更优，实验表明其在长文问答、摘要和作文写作中均优于传统水印方法。

Comments 15 pages, 9 figures, 20 tables. Code: https://github.com/pakapaka333/PUPPET

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

无单一失效神经元：针对白盒攻击的分布式安全对齐

Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

机构 * The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对现有安全对齐方法的单点失效问题，提出分布式安全对齐（DSA），通过冗余编码安全能力提升模型对抗白盒神经元级攻击的鲁棒性，且保留通用语言与多模态效用。

EduZone: A Framework for Evaluating LLM Safety for K-12 Students and Teachers

EduZone：面向K-12学生与教师的大语言模型安全评估框架

Junyeong Park, Jieun Han, Haneul Yoo, So-Yeon Ahn, Jinsung Yoon, Alice Oh

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.CY

AI总结 EduZone是针对K-12教育场景的LLM安全评估框架，整合多维度要素生成对抗交互，评估10个LLMs后发现其对教育特定风险更脆弱，现有防护措施不足，该框架可助力开发更安全的教育类LLMs。

Comments Under Review

MonitorVLM-v2: A Deployed Vision-Language Framework for Real-Time Safety Violation Detection

MonitorVLM-v2：用于实时安全违规检测的已部署视觉-语言框架

Jiang Wu, Sichao Wu, Yinsong Ma, Lifang Zheng, Jingliang Duan

机构 * School of Mechanical Engineering, University of Science and Technology Beijing（北京科技大学机械工程学院） ； The Laboratory for Computational Sensing and Robotics, Johns Hopkins University（约翰霍普金斯大学计算传感与机器人实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出MonitorVLM-v2框架，将VLM安全评估转化为有限符号空间概率推理，结合SymPO算法与熵驱动分类机制，在地下矿部署中实现19.45倍提速，确认违规量达人工检查的2.78倍，满足实时可审计工业监控需求。

Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages

低资源东南亚语言中的原生多语言思维链推理

Sean Gip Lim, William Chandra Tjhi, Hai Leong Chieu

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对低资源东南亚语言大模型推理的跨语言崩溃与微调瓶颈，提出OSCD算法，结合翻译智能体循环与联合嵌入语义对齐，在AIME25等基准上实现数学推理的显著提升。

Comments 22 pages, 16 figures, 12 tables

An AI-Based Decision-Support Pipeline for Day-Ahead Photovoltaic Forecasting

面向日前光伏功率预测的基于人工智能的决策支持流程

Fariba Dehghan, Sebastian Stein, Vahid Yazdanpanah, Stephanie Gauthier, Masood Nazari

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对新部署站点数据不足导致的日前光伏预测难题，开发了防数据泄露的环境AI堆叠流程，在英国充电站站点验证了其优于基准模型的预测性能。

Comments 13 pages, 6 figures, Accepted for publication in the Proceedings of the UK AI Conference (UK-AI 2026)

LAB-Tab: LLM-Augmented Bayesian Network Adaptation for Few-Shot Tabular Generation

LAB-Tab：面向小样本表格生成的大语言模型增强型贝叶斯网络适配方法

Zijian Shen, Taijie Chen, Bin Zhou, Ziyang Jiang, Jintao Ke

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对小样本表格生成的分布偏移问题，提出LLM增强的贝叶斯网络适配框架LAB-Tab，在六个ACS分布偏移场景中表现优于基准方法，性能提升显著。

Comments 21 pages, 6 figures. Preprint

Auditable Release Control for Pedagogical Leakage in LLM Tutors

LLM辅导器中教学式泄露的可审计发布控制

Nizam Kadir

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM辅导器的教学式泄露问题，提出感知授权的可审计发布控制机制，经实验验证可显著降低泄露标记，且在安全与效用上优于基线方法。

Comments 9 pages, 1 figure, 6 tables. Preprint; not peer reviewed

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

DataClaw0: 从原始流中智能定制多模态数据

Cong Wan, Zeyu Guo, Zijian Cai, Jiangyang Li, SongLin Dong, Lin Peng, Xiangyang Luo, Zhiheng Ma, Yihong Gong

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。

Comments add base model: Qwen3.5-27B

onepot-Bench 0: towards lab-aware in silico chemistry benchmarks

onepot-Bench 0：面向实验室实际场景的计算机化学基准测试

Brandon Wang, Andrei S. Tyrin, Daniil A. Boiko

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本研究推出专有基准测试onepot-Bench 0，通过三个互补评估衡量语言模型在湿实验室合成化学场景下的基础能力、可靠性等，弥补现有评估的不足。

Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search

利用视觉语言模型推进Web规模搜索的相关性测量

Han Wang, Alex Whitworth, Pak Ming Cheung, Zhenjie Zhang, Krishna Kamath, Xi Chen, Roberto Konow, Kurchi Subhra Hazra

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本研究提出基于VLM的自动化相关性评估流水线，部署于Pinterest搜索A/B实验，验证其与人工标注一致性，提升评估效率，降低MDEs，助力优化搜索体验。

Comments RecSys'26 Industry track

Cross-Domain Hybrid OPD for Generalizable Search Agents

面向通用搜索智能体的跨域混合在线策略蒸馏

Hongzhan Chen, Xiaoyu Liu, Dengming Zhang, Minzhou Huang, Dongliang Xu, Jingcheng Xie, Dongxiang Fang, Bowen Qin, Minsheng Hao, Yaozong Shen, Xiaojun Quan, Mona Zhou, Haosheng Zou, Jeff Chen

机构 * Yuanbao Team, Tencent Shanghai Innovation Institute（腾讯上海研究院元宝团队） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 本研究提出基于混元3架构的元宝搜索智能体训练框架，通过跨域混合在线策略蒸馏联合优化搜索专业化与通用能力，缓解对齐损耗，在现实搜索场景中实现两者的良好平衡。

AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications

AiFlow：面向流式大语言模型应用的带界背压令牌原生反应式编排框架

Qunhui Zhang

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对现有流式LLM工作流编排的背压等管理缺陷，提出AiFlow令牌原生反应式编排模型，经实验验证可降低应用TTFPT并控制队列深度。

Comments 24 pages, 5 figures, 12 tables, 1 algorithm, and 1 code listing. Public implementation: https://github.com/ModelEngine-Group/fit-framework

LM-mixup: Text Data Augmentation via Language Model based Mixup

LM-mixup：基于语言模型的混合文本数据增强方法

Zhijie Deng, Zhouan Shen, Ling Li, Yao Zhou, Zhaowei Zhu, Yanji He, Wei Wang, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、ZJUT及D5Data.ai） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出LM-Mixup方法，通过构建MIXTURE数据集并结合监督微调与GRPO强化学习，仅用3%的蒸馏数据即可高效增强低质量指令跟随数据，提升LLMs的指令微调效率与性能。

Comments COLM 2026