大模型对齐与安全

When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

委托策略何时是真实的？范围内遗憾与对齐委托的三难困境

Taksch Dube

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 研究广告商和用户委托代理的最优诚实描述问题，核心方法是基于代理的范围内遗憾，主要贡献是统一特定拍卖自动出价结果、确定语言模型诱导代理假设成立条件，揭示护栏三难困境及生产模型诚实报告存在未认领剩余等情况。

Comments 31 pages, 7 figures, 4 tables

Unified Audio Intelligence Without Regressing on Text Intelligence

不退化文本智能的统一音频智能

Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamaki, Andrew Tao, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

机构 * Nemotron-Labs（Nemotron实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出统一音频-文本大语言模型Audex，通过单Transformer解码器架构与多阶段训练，在实现多音频任务SOTA性能的同时，几乎不损失骨干文本LLM的原有文本智能能力。

Comments We release the Audex models at https://huggingface.co/collections/nvidia/nemotron-labs-audex

Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination

图原生强化学习通过概念重组实现可追溯的科学假设生成

Subhadeep Pal, Shashwat Sourav, Tirthankar Ghosal, Markus J. Buehler

机构 * Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出图原生推理模型Graph-PRefLexOR，结合GRPO强化学习将推理组织为显式阶段，在材料科学100个开放问题上推理可追溯性提升40-65%，语义多样性增加2-3倍。

Perfect Detection, Failed Control: The Geometry of Knowing vs. Steering in Language Models

完美检测，控制失败：语言模型中知道与引导的几何学

Cosimo Galeone, Anna Ettorre, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

机构 * Alomana 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过几何角度测量发现，语言模型中检测行为的表示方向与控制行为的方向存在显著偏差（余弦值约0.12），表明检测不等于可控性，且该偏差源于预训练。

The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications

认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现

Austin Hamilton, Ryan Singh, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。

Comments 10 pages, 3 figures

Better Decomposition, Free Aggregation: A Synthesizer-Folding Framework for Multilingual Multi-Hop Question Answering

更好的分解，自由聚合：面向多语言多跳问答的合成器折叠框架

Yilin Wang, Yuchun Fan, Weidong Bao, Zili Wei, Shi Feng, Tong Xiao, Zhengtao Yu, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言多跳问答中现有方法的翻译噪声与错误放大问题，提出Syfer框架，通过推迟翻译、格式受限分解与质量检查实现性能与成本的良好平衡。

Comments Accepted by NLPCC 2026

Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning

智能体策略组合是否安全？重新思考合作多智能体强化学习中的后继特征迁移

Zijian Zhao, Sen Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对多智能体强化学习中独立策略组合不安全的问题，提出MA-USFA分层方法，兼顾策略组合的安全性与灵活性，无需任务适配即可部署。

ResidencyRL: Reinforcement Learning in Simulated Clinical Environments

ResidencyRL：在模拟临床环境中开展的强化学习

Valentin Liévin, Samuel Schmidgall, Tim Strother, Alex Bijamov, Akshay Goel, Anil Palepu, Chunjong Park, Vahid Balazadeh, Min Woo Sun, Marius Guerard, Justin Chen, Dave Steiner, Vikram Dhillon, Ibrahim Azar, Akhil Mehta, Nicholas Spetsieris, Shilpan Shah, Maen Abdelrahim, Amit Dahiya, Yun Liu, Katherine Chou, Yossi Matias, Avinatan Hassidim, Dale R. Webster, Quoc V. Le, Raia Hadsell, Joelle Barral, Carey Radebaugh, Aleksandra Faust, Shekoofeh Azizi, Mike Schaekermann, Po-Hsuan Cameron Chen, Tao Tu, David Racz, Lin Yang

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究院） ； Houston Methodist Hospital（休斯顿卫理公会医院） ； Trinity Health Group（三一健康集团） ； Stanford Oncology Partners（斯坦福肿瘤学伙伴） ； St. Luke Hospital（圣卢克医院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出 ResidencyRL，通过多轮强化学习训练临床 AI 智能体，在模拟临床环境中提升诊断准确性、降低漏报率，且能力可迁移至多个医学基准测试，为临床 AI 发展提供了新路径。

Safe Evolution with Circuit Anchors

基于回路锚点的安全进化

Yan Liu, Jie Fu, Tsung-Yi Ho

机构 * Chinese University of Hong Kong（香港中文大学） ； IQuest Research（艾奎斯特研究院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 受生物发育约束启发，提出回路锚定进化（CAE）方法，通过锚定占比不足2%的安全回路，在极小能力损失下实现更优的安全保留，性能优于显式奖励约束。

Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning

梯度免疫：对恶意微调的零空间抗性

Yuxuan Huang, Xingyu Zeng, Tianhang Zheng, Chaochao Lu

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对部分保护开放权重（PPOW）发布场景的大型语言模型，提出单向安全门（USG）防御，可抑制恶意微调的有害梯度，提升恶意下游适应的成本且无需下游用户配合。

SafeCommit: Certifying When Memory-Grounded Agents May Safely Act

SafeCommit：验证基于记忆的智能体何时可以安全行动

Mayur Akewar, Ravi Ranjan

机构 * Florida International University（佛罗里达国际大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对长程智能体过早承诺的问题，提出SafeCommit风险控制层，通过构建合理潜在世界、共形动作证书等实现安全行动决策，还展示了安全-效用权衡。

Comments 14 pages, 6 tables, and 1 figure, target NeurIPS

Internalizing Academic Writing Workflows for Introduction Generation via Struct-Aware Policy Learning

通过结构感知策略学习内化学术写作工作流以生成引言

Meicong Zhang, Tiancheng Su, Jiahao Cheng, Guoxiu He, Xinqi Tao, Dejia Song

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM生成论文引言的挑战，提出StructPO框架将多阶段写作工作流内化为单遍策略，实验显示其在语义对齐等指标上优于基线，泛化性好且与GPT-5.1性能相当。

An AI-Based Decision-Support Pipeline for Day-Ahead Photovoltaic Forecasting

面向日前光伏功率预测的基于人工智能的决策支持流程

Fariba Dehghan, Sebastian Stein, Vahid Yazdanpanah, Stephanie Gauthier, Masood Nazari

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对新部署站点数据不足导致的日前光伏预测难题，开发了防数据泄露的环境AI堆叠流程，在英国充电站站点验证了其优于基准模型的预测性能。

Comments 13 pages, 6 figures, Accepted for publication in the Proceedings of the UK AI Conference (UK-AI 2026)

LAB-Tab: LLM-Augmented Bayesian Network Adaptation for Few-Shot Tabular Generation

LAB-Tab：面向小样本表格生成的大语言模型增强型贝叶斯网络适配方法

Zijian Shen, Taijie Chen, Bin Zhou, Ziyang Jiang, Jintao Ke

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对小样本表格生成的分布偏移问题，提出LLM增强的贝叶斯网络适配框架LAB-Tab，在六个ACS分布偏移场景中表现优于基准方法，性能提升显著。

Comments 21 pages, 6 figures. Preprint

Auditable Release Control for Pedagogical Leakage in LLM Tutors

LLM辅导器中教学式泄露的可审计发布控制

Nizam Kadir

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM辅导器的教学式泄露问题，提出感知授权的可审计发布控制机制，经实验验证可显著降低泄露标记，且在安全与效用上优于基线方法。

Comments 9 pages, 1 figure, 6 tables. Preprint; not peer reviewed

Large-Scale ChatBot Validation Through Customer Digital Twin Simulations

基于客户数字孪生模拟的大规模聊天机器人验证

Cristovao Iglesias, Devesh Batra, Alankar Atreya, Stefan Wagner, Robert Hankache, Patrick Sinclair, Giulio Pelosio, Michael McMillan, Greig A. Cowan, Raad Khraishi

机构 * leading UK bank（英国领先银行） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于合成客户智能体（SCA）数字孪生的两部分验证方法，用于解决银行等领域LLM聊天机器人的大规模安全验证问题，已成功应用于英国某头部银行的客户聊天机器人验证。

Falling Behind Drives Unsafe Development in an Idealised AI Race Experiment

在理想化人工智能竞赛实验中落后导致不安全发展

Elias Fernández Domingos, The Anh Han

机构 * Vrije Universiteit Brussel（布鲁塞尔自由大学） ； Université Libre de Bruxelles（布鲁塞尔自由大学） ； Teesside University（提赛德大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究人工智能竞赛中速度与安全的关系，通过实验发现不安全发展受竞赛战略状态影响，引入进化模型解释，表明政策应注重降低竞争压力、促进合作，而非仅关注个体风险。

Comments 45 pages (main + SI)

Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

超越直接回答：通过启发式强化学习将教育大语言模型调整为苏格拉底式引导者

Xiaokun Wang, Siyu Song, Wentao Liu, Xiaodong Zou

机构 * East China Normal University（华东师范大学） ； Shanghai Chuangjie Situo Information Technology Co., Ltd.（上海创杰思拓信息技术有限公司） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对教育场景中LLMs直接作答问题，提出HeuristicEdu两阶段管道，经监督热身和GRPO，利用特定对话及启发式奖励训练Qwen2.5 - 7B，提升了支架有效性，降低关键词泄漏，表明规模并非引发苏格拉底行为的唯一因素。

Comments 12 pages, 2 figures, 5 tables; includes an appendix

Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

拒绝门控解码：在高温采样下保留拒绝行为

Phillip Howard, Xin Su, Allen Roush, Manikandan Ravikiran, Amir Abdullah

机构 * Thoughtworks 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究高温采样下大语言模型拒绝行为受温度影响的问题，提出顺序解码方法，能在高温时保留模型贪婪解码拒绝响应且延迟小，经实验在三个基准数据集上保留91 - 99%的拒绝行为，不影响安全提示高温响应。

ETAS: An Effect-Typed Language for Agent Systems

ETAS：一种用于智能体系统的效果类型化语言

Huiri Tan, Yikun Wang, Puyang Zhang, Shangyu Li, Jiasi Shen

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对智能体系统设计ETAS语言，核心方法是通过规范一致性分配类型并用行为索引跟踪计算，主要贡献是为智能体执行相关推理提供编程语言基础，涵盖授权、非确定性等方面，还实现了该语言并形式化相关性质。

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

AIGB-R1：通过分层规划器-执行器优化实现自我进化的生成式自动出价

Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对AIGB范式在自动出价中存在的问题，提出AIGB-R1框架，利用大语言模型推理能力，通过分层规划器与执行器模块、经验驱动循环、两阶段训练及新优化方法，经实验验证该框架在自动出价任务中的有效性。

Distilled Reinforcement Learning for LLM Post-training

用于大语言模型训练后处理的蒸馏强化学习

Chen Wang, Zhaochun Li, Jionghao Bai, Yining Zhang, Hexuan Deng, Ge Lan, Yue Wang

机构 * College of Elite Engineers, Nankai University（南开大学精英工程师学院） ； Zhongguancun Academy（中关村学院） ； Beijing Institute of Technology（北京理工大学） ； Zhejiang University（浙江大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； College of Software, Nankai University（南开大学软件学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型训练后处理问题，提出蒸馏强化学习方法，集成教师监督到RL目标，含反向重要性采样等三个组件，能有效转移知识，在家族内和跨家族蒸馏实验中性能大幅优于标准RL和OPD。

Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning

分支策略优化：沙盒原生语言智能体强化学习

Bowei He, Yankai Chen, Xiaokun Zhang, Xue Liu

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； McGill Univeristy（麦吉尔大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 研究基于可执行沙盒的大语言模型智能体强化学习，提出分支策略优化（BPO）算法，利用沙盒特性构建新展开拓扑，通过自适应快照、分叉动作等方式计算优势，实验验证该算法能提升成功率、降低方差并减少策略更新。

Comments Accepted by WAIC Academic 2026

Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models

通过世界模型从人类偏好和理由中学习安全智能体行为

Ilias Kazantzidis, Timothy J. Norman, Yali Du, Christopher T. Freeman

机构 * University of Southampton（南安普顿大学） ； King’s College London（伦敦国王学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究在环境未知且无合适奖励函数时安全训练与部署智能体策略的问题，提出DROPJ方法，先学习世界模型，由人类在其中生成模拟轨迹并给出偏好及理由，据此训练奖励模型用于部署，实验表明该方法可降低训练成本、提升部署性能及安全性。

Comments 42 pages, 18 figures. Extended version of a paper presented at ICAART 2026; submitted for consideration in the ICAART 2026 post-publication selected-papers volume in Lecture Notes in Artificial Intelligence

Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry

诊断前先询问：Safe-Psych，一种用于精神病学领域大语言模型的顺序评估基准

Oriana Presacan, Andreea Grama, Larisa Irimină, Alireza Nik, Jaya Ojha, Vajira Thambawita, Ciprian I. Băcilă, Bogdan Ionescu, Michael A. Riegler

机构 * National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学国立科技大学） ； Psychiatric Hospital Doctor Gheorghe Preda（格奥尔基·普雷达医生精神病医院） ； Oslo Metropolitan University（奥斯陆都市大学） ； Kristiania University of Applied Sciences（克里斯蒂亚尼亚应用科学大学） ； SimulaMet（SimulaMet公司） ； Lucian Blaga University of Sibiu（锡比乌卢西安·布拉加大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型在精神病学决策支持中处理证据不完整问题，引入顺序评估基准Safe-Psych，通过模拟真实临床记录及精神科医生行动标签，评估多个模型，发现模型存在过早诊断等问题，揭示其局限性，为改善模型安全性研究提供支持。

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习

Jing Liu, Chenxuanyin Zou, Jiayang Ren, Gaoyun Fang, Chengfang Li, Yan Wang, Zhenchao Ma, Bo Hu

机构 * The University of British Columbia（英属哥伦比亚大学） ； Fudan University（复旦大学） ； Royal College of Science, Imperial College London（伦敦帝国理工学院皇家科学学院） ； Dyson School of Design Engineering（戴森设计工程学院） ； Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所） ； East China Normal University（华东师范大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题，提出FedCMM框架，在参数、数据、聚合三个层面嵌入持续学习保障，经实验验证该框架在准确性和反向迁移上优于基线，能实现跨异构网络AI部署的稳健进化适应。

Comments submitted to IEEE JSTSP

When Synthetic Speech Is All You Have: Better Call GRPO

当你只有合成语音时：最好调用GRPO

Shashi Kumar, Yanis Labrak, Hasindri Watawana, Sergio Burdisso, Esaú Villatoro-Tello, Kadri Hacioğlu, Petr Motlicek, Andreas Stolcke

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究基于大语言模型的ASR在受监管领域因隐私问题受限，转向强化学习，用GRPO方法处理合成语音，相比监督微调，GRPO能大幅降低WER，还分析了GRPO的优势及收益来源，表明合成语音为主时强化学习更优。

Comments Submitted to SLT 2026

Persuasion Attacks Can Decrease Effectiveness of CoT Monitoring

说服攻击会降低思维链监测的有效性

Jennifer Za, Julija Bainiaksina, Nikita Ostrovsky, Tanush Chopra, Victoria Krakovna

机构 * LASR Labs（LASR实验室） ； University College London（伦敦大学学院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究 CoT 监测在对抗性说服攻击下的有效性，设计评估框架发现其单独使用不足以抵御攻击，引入事实核查监测框架，不同模型家族配对可有效减少违反政策行动批准，为 CoT 监测抗攻击提供有力缓解措施。

Comments 25 pages, 10 figures

Reinforcing the Generation Order of Multimodal Masked Diffusion Models

强化多模态掩码扩散模型的生成顺序

Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； AGI Foundations for AWS（AWS强化人工智能基础） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究文本到图像合成及多模态理解中生成顺序的优化，引入经组相对策略优化训练的可学习控制模块，提升了DLMs的文本到图像对齐和多模态理解能力，在相关基准测试中取得显著改进。

Who Analyses the Analyser? Self-Validating LLM Hazard Analysis with Constitutional Meta-STPA

谁来分析分析器？使用结构化元安全分析过程的自验证大语言模型风险分析

Samuel Tetteh, Udip Shrestha, Joshua R. Waite, Cody Fleming

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型辅助安全分析工具自身缺乏分析的问题，提出结构化元安全分析过程，通过运行元安全分析过程推导治理章程，包含21条工具原则和8条元安全原则，还报告了自推导等四个发现。