大模型对齐与安全

Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment

在关键领域学习：用于鲁棒偏好对齐的几何锚定

Youngjae Cho, Jongsuk Kim, Ji-Hoon Kim

机构 * PYLER ； KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 GAPO通过动态几何锚定机制改进偏好对齐，通过局部敏感度自适应调整偏好对重要性，减少噪声影响，提升模型鲁棒性。

Comments Under Review

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

GRLO：从零开始在开放环境中的通用强化学习

Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力，探索其对话能力是否能迁移至数学推理和代码生成等下游任务，展示出高效且低成本的训练方法。

SDOF: Taming the Alignment Tax in Multi-Agent Orchestration with State-Constrained Dispatch

SDOF：通过状态约束调度驯服多智能体编排中的对齐税

Zhantao Wang

机构 * Digital China（数字中国） 纠错

专题命中 偏好对齐 ：alignment(title)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 SDOF通过状态约束调度框架，利用强化学习和有限状态自动机提升多智能体任务执行的准确性和可控性，验证了其在招聘系统中的有效性。

Comments 12 pages, 4 figures, 14 tables

What Is Preference Optimization Doing, and Why?

偏好优化在做什么，为什么这样做？

Yue Wang, Qizhou Wang, Zizhuo Zhang, Gang Niu, Bo Han, Masashi Sugiyama

机构 * TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组） ； RIKEN AIP（理化学研究所 AIP 分室） ； The University of Tokyo（东京大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.LG

AI总结 本文分析了偏好优化中DPO和PPO的优化动态，揭示了其算法行为差异及根本原因，探讨了正学习、负学习和损失再加权的作用，并通过消融研究验证了这些动态对优化效率和性能的影响。

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

Reward Auditor: Inference on Reward Modeling Suitability in Real-World Perturbed Scenarios

奖励审计员：在现实扰动场景中对奖励建模适用性的推断

Jianxiang Zang, Yongda Wei, Ruxue Bai, Shiyu Jiang, Nijia Mo, Binhong Li, Qiang Sun, Hui Liu

机构 * School of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Statistics and Data Science, Shanghai University of International Business and Economics（上海国际商务经济学院统计与数据科学学院） ； Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）数据科学与分析方向） 纠错

专题命中 偏好对齐 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文提出奖励审计员框架，用于评估奖励模型在现实扰动场景中的适用性，通过统计显著性和效应量分析模型的可靠性与漏洞严重性。

Learning in Structured Stackelberg Games

在结构化Stackelberg游戏中学习

Maria-Florina Balcan, Kiriaki Fragkia, Keegan Harris

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California（加州大学） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 本文研究了结构化Stackelberg游戏，提出Stackelberg-Littlestone维度以优化在线学习算法，并在分布设定中提供样本复杂度的上下界。

Comments Accepted as a spotlight paper to ICML 2026

ODRPO: Ordinal Decompositions of Discrete Rewards for Robust Policy Optimization

ODRPO：离散奖励的序分解以实现鲁棒策略优化

Nirmal Patel, Fei Wang, Inderjit S. Dhillon

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google（谷歌） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ODRPO框架，通过将离散奖励分解为序二进制指标，减少噪声影响，提升策略优化鲁棒性，实验表明在Qwen2.5-7B和Qwen3-4B模型上表现优异。

SAFE Quantum Machine Learning with Variational Quantum Classifiers

安全量子机器学习中的变分量子分类器

Ying Chen, Paolo Giudici, Vasily Kolesnikov, Paolo Recchia

机构 * National University of Singapore（新加坡国立大学） ； University of Pavia（帕维亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出一种基于幅度编码的变分量子分类器，结合归一化幅度嵌入与有界量子可观测量，构建了结构化且平滑的假设空间，通过SAFE-AI指标评估模型可靠性，实验证明其在预测性能和噪声鲁棒性方面优于经典基线。

Comments 31 pages, 8 figures

SimPersona: Learning Discrete Buyer Personas from Raw Clickstreams for Grounded E-Commerce Agents

SimPersona: 从原始点击流中学习离散买家人设以构建 grounded 的电子商务代理

Zahra Zanjani Foumani, Alberto Castelo, Shuang Xie, Ted Chaiwachirasak, Han Li, Lingyun Wang

机构 * Shopify 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 SimPersona 通过学习离散买家类型并将其映射为 LLM 代理的紧凑人设标记，提升电子商务代理的个性化能力，实现 78% 的转化率对齐，并在目标购物任务中优于基线模型。

Graph-Regularized Sparse Autoencoders for LLM Safety Steering

图正则化稀疏自编码器用于LLM安全引导

Jehyeok Yeon, Federico Cinus, Yifan Wu, Luca Luceri

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Intesa Sanpaolo（Intesa Sanpaolo公司） ； University of Southern California（南加州大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出图正则化稀疏自编码器，通过在神经元共激活图上平滑解码器向量并应用方向库，提升安全引导效果，在多个基准测试中显著提高有害请求拒绝率。

Compositional Jailbreaking: An Empirical Analysis of Mutator Chain Interactions in Aligned LLMs

组合式劫持：对齐大语言模型中突变链相互作用的实证分析

Reinelle Jan Bugnot, Soohyeon Choi, Hoon Wei Lim, Yue Duan

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；AI safety(abstract)

AI总结 本文研究了对齐大语言模型中突变链的相互作用，通过十二个基线突变器评估有害提示的组合效果，揭示了突变器间的非均匀交互特性及安全对齐结构的潜在属性。

Comments 16 pages, 7 figures, 3 tables

FlipAttack: Jailbreak LLMs via Flipping

FlipAttack：通过翻转对大型语言模型进行劫持

Yue Liu, Xiaoxin He, Miao Xiong, Jinlan Fu, Shumin Deng, Yingwei Ma, Jiaheng Zhang, Bryan Hooi

机构 * Engineering Programme, NUS Graduate School, National University of Singapore（国立新加坡大学整合科学与工程计划） ； Institute of Data Science (IDS), National University of Singapore（国立新加坡大学数据科学研究所） ； Department of Computer Science, School of Computing, National University of Singapore（国立新加坡大学计算机科学系） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI

AI总结 FlipAttack通过在提示左侧添加噪声，利用语言模型自左向右理解文本的特性，实现对黑盒LLM的高效劫持，实验显示其在多个模型上均表现出高成功率。

Comments 43 pages, 31 figures

EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy

EntropyScan: 向通过视觉注意力熵实现LVLMs的模型级后门检测

Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

机构 * China University of Geosciences（中国地质大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 越狱攻击 ：alignment(abstract)

AI总结 本文提出EntropyScan，一种轻量且不依赖触发器的模型级后门检测方法，通过量化视觉注意力分布的结构扭曲来检测后门模型，实验显示其在两个LVLM架构和三种高级攻击场景中达到98.5%的F1分数和96.6%的AUC。

Comments 20 pages, 6 figures, 8tables

A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

针对大视觉-语言模型的跨模态提示注入攻击：仅图像扰动

Hao Yang, Zhuo Ma, Yang Liu, Yilong Yang, Guancheng Wang, JianFeng Ma

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出CrossMPI攻击，通过仅图像扰动实现跨模态提示注入，改进模型隐藏状态空间优化并采用层选择策略与距离递减扰动策略，有效提升攻击性能。

Rethinking Output Alignment For 1-bit Post-Training Quantization of Large Language Models

重新思考1位后训练量化用于大语言模型的输出对齐

Dung Anh Hoang, Cuong Pham, Cuong Nguyen, Trung le, Jianfei Cai, Thanh-Toan Do

机构 * Department of Data Science and AI（数据科学与人工智能系） ； Monash University（墨尔本大学） ； Centre for Vision, Speech and Signal Processing（视觉、语音和信号处理中心） ； University of Surrey（萨里大学） 纠错

专题命中 幻觉与事实性 ：alignment(title)；分类 cs.LG

AI总结 本文提出一种新的1位后训练量化方法，解决输出对齐问题，通过减少层间误差累积和表示空间各向异性畸变，提升大语言模型性能。

Adaptive Conformal Prediction for Quantum Machine Learning

适应性符合预测用于量子机器学习

Douglas Spencer, Samual Nicholls, Michele Caprio

机构 * Mathematical Institute, University of Oxford（牛津大学数学研究所） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文提出适应性量子符合预测算法，解决量子处理器时间变化噪声对符合保证的影响，通过重复校准保持有效性，实验证明其在IBM量子处理器上的稳定性和覆盖率。

Comments Accepted at TMLR 05/2026. 27 pages, 5 figures

Journal ref Transactions on Machine Learning Research, May 2026, ISSN 2835-8856

Quantum Artificial Intelligence for Mission-Critical Systems: Foundations, Architectural Elements, and Future Directions

量子人工智能用于关键任务系统：基础、架构要素与未来方向

Siva Sai, Rajkumar Buyya

机构 * Quantum Cloud Computing and Distributed Systems (qCLOUDS) Laboratory, School of Computing and Information Systems, The University of Melbourne（量子云计算与分布式系统实验室，计算与信息系统学院，墨尔本大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 本文探讨量子人工智能在关键任务系统中的应用，分析其在可靠性、确定性和低延迟决策中的挑战，并提出量子资源管理框架及未来研究方向。

Comments 15 pages, 5 figures, revised and accepted version of the paper

The Shared Prosperity Internet

共享繁荣互联网

Juan A. Cabrera, Pit Hofmann, Jonas Schulz, Frederic Benken, Hrjehor Mark, Giang T. Nguyen, Holger Boche, Frank H. P. Fitzek

专题命中 隐私与版权 ：safety(abstract)

AI总结 本文提出共享繁荣互联网架构，通过映射物理约束到三个原则，构建了三个技术支柱，旨在使自动化和AI的效益广泛普及，并定义了可衡量的成果指标。

Comments 8 pages, conference, 4 figures, 16 references

Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks

基准的基准：解构影响与代码仓库质量在LLM安全基准中的作用

Junjie Chu, Xinyue Shen, Ye Leng, Michael Backes, Yun Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） ； University of Waterloo（滑铁卢大学） ； Flexera（Flexera公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文通过系统研究31个LLM安全基准及382篇非基准论文，发现仅39%的基准仓库可直接运行，且缺乏伦理考量。研究揭示社区采用基准与作者声望和代码运行性相关，但与代码质量无关，指出安全基准可能存在安全隐患和不可比性问题。

Comments 24 pages. 19 figures

CAP: Controllable Alignment Prompting for Unlearning in LLMs

CAP：用于大语言模型中去学习的可控对齐提示

Zhaokun Wang, Jinyu Guo, Jingwen Pu, Hongli Pu, Meng Yang, Xunlei Chen, Jie Ou, Wenyi Li, Guangchun Luo, Wenhong Tian

机构 * School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CAP框架，通过强化学习将去学习过程转化为可学习的提示优化，实现可控的去学习，无需更新模型参数，解决了现有方法的计算成本高、遗忘边界不可控等问题。

Comments Accpeted to ACL 2026 Main Conference

IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia

IndicSafe：评估南亚多语言大语言模型安全性的基准

Priyaranjan Pattnayak, Sanchari Chowdhuri

机构 * Oracle America Inc.（Oracle美洲公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IndicSafe基准，评估12种南亚语言中LLM的安全性，发现跨语言一致性仅12.8%，安全率波动超17%，揭示多语言LLM安全泛化缺口。

Automated alignment is harder than you think

自动化对齐比你想象的更困难

Aleksandr Bowkis, Marie Davidsen Buhl, Jacob Pfau, Geoffrey Irving

机构 * AI Security Institute（人工智能安全研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 论文指出，即使研究代理不故意破坏对齐工作，自动化对齐研究也可能导致误导性的安全评估，因模糊任务难以监督且人类判断有误。

Comments 15 pages, 4 figures

Robust AI Security and Alignment: A Sisyphean Endeavor?

稳健的AI安全与对齐：一项西西弗斯式的努力？

Apostol Vassilev

机构 * CSD/ITL（计算机科学与技术实验室） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文通过扩展哥德尔不完全性定理，探讨了AI安全与对齐的理论极限，并提出应对挑战的实践方法，揭示了AI系统认知推理的局限性。

Comments 17 pages, 1 figure. This version will appear in IEEE Security $ Privacy in June 2026

AI Consciousness and Existential Risk

人工智能意识与存在风险

Rufin VanRullen

机构 * Frontier AI companies（前沿AI公司） ； independent foundations（独立基金会） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文探讨人工智能意识与存在风险的区别，指出意识并非直接预测存在风险，但可能在某些情况下影响风险，强调区分两者对AI安全研究的重要性。

Comments Updated for clarity and completeness following peer-review

Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study

对大语言模型毒性进行测量与缓解：一项全面的复制研究

Mokshit Surana, Archit Rathod, Akshaj Satishkumar

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过复制研究评估DExperts在缓解显性毒性中的有效性，发现其在显性毒性基准上安全性接近完美，但对隐性仇恨言论存在脆性，并引入了10倍的延迟惩罚。

Formal Methods Meet LLMs: Auditing, Monitoring, and Intervention for Compliance of Advanced AI Systems

形式方法与大语言模型交汇：面向高级AI系统合规性的审计、监控与干预

Parand A. Alamdari, Toryn Q. Klassen, Sheila A. McIlraith

机构 * University of Toronto, Vector Institute（多伦多大学，向量研究所） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出结合形式方法与机器学习的审计和监控技术，用于检测AI系统中时间扩展行为约束的违规，实验表明其在检测违规方面优于LLM基方法，且能有效降低LLM代理的违规率。

On the Factual Consistency of Text-based Explainable Recommendation Models

基于文本的可解释推荐模型的事实一致性研究

Ben Kabongo, Vincent Guigue

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

AI总结 本文研究基于文本的可解释推荐模型的事实一致性，提出评估框架和指标，发现尽管模型在语义相似度上表现良好，但事实一致性指标表现不佳，凸显了事实意识评估的重要性。

Comments 13 pages, 2 figures, 4 tables

Less Precise Can Be More Reliable: A Systematic Evaluation of Quantization's Impact on VLMs Beyond Accuracy

精度降低可能更可靠：对VLMs量化影响的系统评估

Aymen Bouguerra, Daniel Montoya, Alexandra Gomez-Villa, Chokri Mraidha, Fabio Arnez

机构 * Computer Vision Center（计算机视觉中心） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统评估了量化对VLMs可靠性的影响，发现量化能提升准确率、校准、异常检测和抗噪能力，但不改善协变量偏移或虚假相关性。

Comments Accepted at ICML 2026

Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries

少样本大语言模型在在线患者咨询可操作分诊中的应用

Liqi Zhou, Jiafu Li

机构 * seas.upenn.edu（宾夕法尼亚大学塞as学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究少样本条件下大语言模型在在线患者咨询分诊中的应用，通过构建不同数据集比较TF-IDF和BioBERT与六个LLM在0-shot、4-shot和12-shot条件下的表现，发现Claude Haiku 4.5在12-shot条件下达到0.475的宏F1值，优于监督基线模型。

Comments 4 figures, 19 tables, 23 pages (including appendix and reference)