大模型对齐与安全

Cat-DPO: Category-Adaptive Safety Alignment

Cat-DPO：基于类别的安全对齐

Tiankai Yang, Yi Nian, Xinyuan Li, Ruiyao Xu, Henry Peng Zou, Kaize Ding, Xiyang Hu, Yan Liu, Yue Zhao

机构 * University of Southern California（南加州大学） ； Northwestern University（西北大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(title,abstract)；safety(title,abstract)；harmlessness(abstract)

AI总结 Cat-DPO通过将安全对齐转化为类别约束优化问题，为每个有害类别设置独立的适应性安全边际，提升整体帮助性和无害性，减少类别间的安全方差和最佳至最差差距。

Comments 23 pages, 6 figures

Reliability-Aware Sexism Detection: Combining DPO with Annotator Agreement and Token-Level Confidence Scoring

感知可靠性的性别歧视检测：将DPO与标注者一致性及词元级置信度评分相结合

Hadi Mohammadi, Shihan Wang, Masoume M. Raeissi, Anastasia Giachanou

机构 * Utrecht University（乌得勒支大学） ； Wageningen University & Research（瓦赫宁根大学及研究中心） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.CL

AI总结 该研究针对在线性别歧视检测的主观性问题，提出RA-DPO方法，结合标注者一致性等信号，在EXIST 2023数据集上验证其可降低训练成本并提升推理准确率。

Comments 11 pages, 4 figures. Preprint

Rules or Character? Scaling Laws for AI Safety Design

规则还是特性？AI安全设计的缩放定律

Satoshi Takahashi, Nobuji Kouno, Masaaki Komatsu, Ryuji Hamamoto

专题命中 偏好对齐 ：safety(title,abstract)；AI safety(title)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究构建模型分析AI安全的特性塑造与规则执行的资源分配，发现部署规模对最优分配影响较小，特性脆弱率才是主导因素，二者的最优值在大规模部署下会收敛。

Comments Accepted at AIES 2026 (9th AAAI/ACM Conference on AI, Ethics, and Society). 10 pages, 6 figures, 4 tables

Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

开放权重模型的行为重编程：认知可塑性与对齐边界

Lucia Malíčková

机构 * National Supercomputing Centre, Slovakia（斯洛伐克国家超级计算中心） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究通过大规模并行超参数搜索等方法，对开放权重LLMs进行行为重编程，实现了主动苏格拉底式对话框架，明确了PEFT的边界等关键结论，为跨语言行为修改提供了实证框架。

Comments Preprint submitted to arXiv, August 12, 2026. 13 pages, 5 figures

Natural Language Processing: A Comprehensive Practical Guide from Tokenisation to RLHF

自然语言处理：从分词到RLHF的全面实用指南

Mullosharaf K. Arabov

机构 * KAZAN (VOLGA REGION) FEDERAL UNIVERSITY INSTITUTE OF COMPUTATIONAL MATHEMATICS AND INFORMATION TECHNOLOGIES（卡赞（伏尔加地区）联邦大学计算数学与信息科技学院） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；分类 cs.CL

AI总结 本文系统指导现代NLP全流程，涵盖分词、向量化、大语言模型微调、检索增强生成及人类反馈强化学习，强调低资源语言处理与开源模型应用。

Comments 136 pages, 12 practical works, preprint. Textbook for senior undergraduates and graduate students. Original contributions on low-resource languages (Tajik, Tatar and other). Companion repository available

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

CIDER：用于隐私偏好对齐的上下文披露边界数据集

Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

机构 * University of Washington（华盛顿大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文推出包含169名用户标注的CIDER数据集，用于评估LLM隐私偏好对齐，发现上下文个性化可提升预测准确率，GPT-5.4和Claude Sonnet 4.6表现更优。

Comments Accepted to COLM 2026

Sci-Surf: Navigating Scientific Literature Discovery through Human Feedback and Intelligent Summarization

Sci-Surf：通过人类反馈与智能摘要实现科学文献发现

Fang Guo, Qi Zhu, Rongcan Pei, Shuqi He, Hui Chen, Yue Zhang

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对现有学术发现平台支持不足的问题，提出以意图为中心的Sci-Surf系统，结合反馈驱动推荐与多模态论文消化，经评估推荐质量和消化质量有可测量提升。

Short-term load forecasting under EU-AI Act Requirements in Safety-Critical Environments: Results from a 41-day live challenge on the aggregated German transmission-grid load

安全关键环境下符合欧盟AI法案要求的短期负荷预测：德国输电电网聚合负荷41天在线挑战赛结果

Thomas Bartz-Beielstein, Inalbek Akiev, Lalo Mohamad

机构 * THK-AI Research Cluster（THK-AI研究集群） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过41天在线挑战赛验证，符合欧盟AI法案要求的spotforecast2-safe短期负荷预测流程，在德国输电电网聚合负荷预测中优于ENTSO-E基线，其本地模型性能可与超1亿参数的chronos-2等大模型媲美。

Comments Version 3. 40 pages

Refusing Intent, Not Form: Wrapper-Based Intent-Group Supervision for LLM Safety

拒绝意图，而非形式：基于包装器的意图组监督用于大语言模型安全

Ping Wu, Haibo Tong, Feifei Zhao, Han Shen, Yu Shi, Yilin Zhao, Sicheng Shen, Guobin Shen, Yun Luo, Yi Zeng

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 该研究针对大语言模型安全调优的表面形式捷径问题，提出WIFA方法，结合两种微调路径提升有害内容拒绝能力并降低良性提示过度拒绝率，在Qwen和Llama上验证了效果。

Comments 23 pages, 11 figures, 24 tables

Time-Series Forecasting in Safety-Critical Environments: An Open-Source Package for EU-AI-Act-Compliant Development / Zeitreihenprognose in sicherheitskritischen Umgebungen: Ein Open-Source-Paket für die KI-VO-konforme Entwicklung

安全关键环境中的时间序列预测：符合EU-AI-Act的开源包

Thomas Bartz-Beielstein, Eva Bartz

机构 * Bartz & Bartz GmbH（巴茨与巴茨公司） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出一个符合EU-AI-Act的设计方法，通过库内集成点预测方法，确保安全关键环境中的合规性，包含代码开发规则和过程规则，排除了可视化和AutoML等可能引入风险的功能。

Comments Version 3. Working paper. Bilingual twin paper: English version first, German original below (100 pages total). Single shared bibliography

Harmonizing Safety and Speed: A Human-Algorithm Approach to Enhance the FDA's Medical Device Clearance Policy

协调安全与速度：一种人机方法以增强FDA的医疗器械审批政策

Mohammad Zhalechian, Soroush Saghafian, Omar Robles

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出一种人机协同方法，通过数据驱动的审批政策降低医疗器械召回风险并减少监管工作量，提升FDA 510(k)审批流程的安全性和效率。

Comments Accepted for publication in Management Science

Constitutional On-Policy Safe Distillation

宪法性在策略安全蒸馏

Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Yi Liu, Xingjun Ma, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。

Better Decomposition, Free Aggregation: A Synthesizer-Folding Framework for Multilingual Multi-Hop Question Answering

更好的分解，自由聚合：面向多语言多跳问答的合成器折叠框架

Yilin Wang, Yuchun Fan, Weidong Bao, Zili Wei, Shi Feng, Tong Xiao, Zhengtao Yu, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言多跳问答中现有方法的翻译噪声与错误放大问题，提出Syfer框架，通过推迟翻译、格式受限分解与质量检查实现性能与成本的良好平衡。

Comments Accepted by NLPCC 2026

Which Decisions Low-Bit Quantization Breaks, and How to Predict Them

量化损伤是乘法性的，而非加法性的

Zekun Wu, Swati Dhiman, Adriano Koshiyama

机构 * Holistic AI（霍利斯提克人工智能公司） ； University College London（伦敦大学学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现大型语言模型的量化损伤是乘法性的，而非加法性的，提出边际收缩概念，拟合关系可准确预测决策翻转率，增加1位是修复损伤最廉价的方式。

Comments 18 pages, 9 figures, 8 tables. Under review at the Third Workshop on Uncertainty-Aware NLP (UncertaiNLP), EMNLP 2026 (non-archival)

Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents

熟能生险：自我改进的大语言模型智能体中的技能误演化

Xutao Mao, Liangjie Zhao, Xiang Zheng, Cong Wang

机构 * Adelaide University（阿德莱德大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 该研究针对自我改进LLM智能体的技能误演化问题，构建SkillMisevo-Gym与SkillMisevo-Bench基准，提出SafeEvolve方法，可显著降低不安全检索与新会话危害，同时对良性效用影响极小。

AI Guardrail Survival under Single-Cycle Agentic Self-Summarization

单循环智能体自摘要下的AI安全护栏存续性

Ted Kwartler, Alan Aqrawi, Arian Abbasi

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本研究探究单循环智能体自摘要中安全规则的丢失机制，发现仅检查规则文本存在性的审计不可靠，需结合外部真实值检测，还指出仅靠LLM评判标签会反转评估结论。

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute：用于大语言模型安全对齐的分层路由提示调优

Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 HiRoute是一种输入自适应分层提示调优框架，通过分层路由器与多粒度提示专家，提升大语言模型安全对齐效果，在多个安全基准上兼顾安全性与响应有用性，减少过度拒绝。

Comments Preprint

SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks

SEMA: 简单却有效的多轮对抗攻击学习

Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

专题命中 越狱攻击 ：jailbreak(title,abstract)；DPO(abstract,abstract_cn)；alignment(abstract)；safety(abstract)

AI总结 SEMA通过多阶段学习实现高效多轮对抗攻击，无需依赖现有策略，提升攻击成功率并增强安全测试能力。

Comments ICLR 2026, 37 pages, 13 tables, 7 figures

Synthetic Persona Pretraining: Alignment from Token Zero

合成角色预训练：从零开始的对齐

Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

机构 * EPFL（洛桑联邦理工学院） ； University of Toronto（多伦多大学） ； Northeastern University（东北大学） ； SJTU（上海交通大学） ； Saarland University（萨尔大学） ； Hereon（亥姆霍兹极地与海洋研究中心） ； TUHH（汉堡工业大学） ； Ontocord AI（Ontocord人工智能公司） ； TUC（德累斯顿工业大学） ； DFKI（德国人工智能研究中心） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出合成角色预训练（SPP），在预训练token零阶段植入助手角色，通过标注反思、预训练及角色绑定，提升模型价值构成遵循度与鲁棒性，降低对齐错误率，证明预训练时角色干预是对齐的有效方法。

Do LLMs Know Their Vulnerable Scenarios?

大语言模型知道它们的脆弱场景吗？

Ziheng Peng, Huiqi Deng, Haoran Jing, Xuankun Rong, Jiahui Han, Xiting Wang, Na Zou, Xia Hu

机构 * Renmin University of China（中国人民大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究大语言模型在特定场景下的脆弱性，提出Concept2Scenario框架，通过实例化概念空间、归因拒绝抑制等步骤发现脆弱场景，在多模型和基准测试中验证，能提高攻击成功率、可迁移且组合效果优。

Comments 19 pages, 11 Figures, Under Review

Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales

遵循规范：考量微调与提示对模型理由的影响

Long Hoang Nguyen, Brice Valentin Kok-Shun, Guangyu Du, Ali Sunyaev

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 该研究将AI视为代理主体，通过对LLaMA-3.2-11B等三个模型开展实验，发现违反规范的微调会改变模型的理由风格，而系统提示可覆盖该行为，支持对齐的分布式观点，为可争议监督提供了相关依据。

Comments Extended version with appendix; final version to appear in the Proceedings of AAAI/ACM AIES 2026

StateBridge: Training-free Hidden-state Alignment for Latent Communication in LLM Multi-Agent Systems

StateBridge：面向大语言模型多智能体系统潜在通信的无训练隐藏状态对齐

Yanwen Peng, Delvin Ce Zhang, Xi Wang, Nikolaos Aletras

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） 纠错

专题命中 幻觉与事实性 ：alignment(title)；分类 cs.AI

AI总结 StateBridge 是一种无训练的潜在通信方法，通过闭式正交变换对齐大语言模型多智能体的隐藏状态，在 26 个模型-任务对中 22 个取得最优或并列最优性能，优于基线。

Comments 18 pages, 3 figures, 4 tables, accepted by COLM2026

REHEARSE: Experiential Rehearsal for Verbal Confidence Calibration in Large Language Models

REHEARSE：大语言模型中用于语言置信度校准的经验式排练

Ke Fang, Tianyi Zhao, Qianwen Wang, Lu Cheng

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Southern California（南加州大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型置信度与实际正确性不匹配的问题，提出无训练的Rehearse方法，通过置信度校准博弈的反馈生成校准信号，在多模型多基准实验中显著降低了预期校准误差并提升准确率。

Moral Hazard in Multi-Agent Language Models

多智能体语言模型中的道德风险

Dane Malenfant

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体语言模型中的道德风险，引入对话道德风险游戏，评估七个模型并分解行为，用多种优化机制更新，发现效果异质，强调应报告机制级行为而非仅团队成功。

Comments This revision substantially expands the empirical evaluation to eleven open-weight and three frontier models, adding matched query-cost, team-reward, group-size, and private-share incentive analyses. It also extends the weight-level and GEPA results, frozen-prompt information-structure interventions, statistical uncertainty analyses, and qualitative prompt/reasoning-trace studies

Post-Hoc Uncertainty-Aware Explanations for Deployed Power Quality Disturbance Classifiers via Laplace Approximation

基于不确定性的贝叶斯解释框架用于电力质量问题分类

Yinsong Chen, Samson S. Yu, Kashem M. Muttaqi

机构 * School of Engineering, Deakin University（德肯大学工程学院） ； ARC Training Centre in Energy Technologies for Future Grids, School of Engineering, University of Wollongong（未来电网能源技术培训中心，沃尔灵宗大学工程学院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 本文提出一种贝叶斯解释框架，通过生成相关性归因分布来建模解释不确定性，提升电力质量问题分类器的透明度和可靠性。

Automated Design Optimization via Strategic Search with Large Language Models

通过大语言模型的战略搜索实现自动化设计优化

Anthony Carreon, Vansh Sharma, Venkat Raman

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出AUTO框架，利用大语言模型的战略搜索实现GPU代码优化，提升搜索效率并降低成本。

Comments 16 pages, 4 tables, 8 figures, preprint

Heterogeneity-Aware Belief Synchronization for Semantic Communication in AI-Native 6G Networks

面向AI原生6G网络中语义通信的异质性感知信念同步

Muhammad Hannan Akram, Muhammad Abubakar Rashid, Wassi Haider Kabir, Haejoon Jung, Kapal Dev, Syed Ali Hassan

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.AI

AI总结 针对AI原生6G网络中异构AI模型导致的信念对齐难题，提出基于MEC服务器潜在翻译模型的异质性感知信念同步框架，可降低同步成本、保护隐私并维持低信念对齐误差。

Comments 8 pages, 4 figures

Regulatory Approval Is Not Enough: Gaps in Trustworthy AI Reporting in FDA-Cleared Medical Devices

监管批准并不足够：FDA clearance医疗设备中可信赖AI报告的缺口

Ahmed M Salih, Oliver Díaz, Alejandro Guzman, Noah Marquez Vara, Fotios Avgoustidis, Rituraj Singh, Saman Barakat, Zahra Raisi-Estabragh, Karim Lekadir

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CY、cs.LG

AI总结 该研究分析2021-2025年FDA获批的519份AI/ML医疗设备报告，发现可信赖AI报告存在显著缺口，获批年份或临床领域不影响报告透明度，仅监管批准不足以证明AI可信赖性。

Position: The Alignment Community is Unintentionally Building a Censor's Toolkit

立场：对齐社区正在无意之中构建审查者的工具包

Sarah Ball, Phil Hackemann

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 该立场论文指出现代AI对齐方法是两用技术，可能被恶意滥用，呼吁社区讨论其滥用风险并提出缓解策略。

Comments Accepted as oral paper at ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance

AI智能体为何违反规则？框架、情境与社会信号如何影响合规性

Mika Okamoto, Ansel Kaplan Erol, Kutluhan Erol

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究运用法律与经济学的合规理论，发现安全微调AI模型大体合规，任务优化与智能体模型会在低惩罚等条件下违规，且引入经济激励等会导致大规模合规失败，指出模型选择与合规性评估需改进。