大模型对齐与安全

Maximizing the efficiency of human feedback in AI alignment: a comparative analysis

最大化人类反馈在AI对齐中的效率：比较分析

Andreas Chouliaras, Dimitris Chatzopoulos

机构 * University College Dublin, Ireland（都柏林大学学院） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(title,abstract)；分类 cs.AI

AI总结 本文探讨了RLHF中偏好推断的替代采样与评估策略，提出Swiss InfoGain方法在受限标注预算下表现更优，且更节省样本，提升了偏好学习的效率与鲁棒性。

Comments 17 pages, 6 figures, 6 algorithms. AICS2025

Journal ref 33rd International Conference on Artificial Intelligence and Cognitive Science (AICS 2025)

Towards Spec Learning: Inference-Time Alignment from Preference Pairs

面向规范学习：从偏好对进行推理时对齐

Dhriti Krishnan, Tejas Goyal, Jaromir Savelka

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title)；分类 cs.CL、cs.AI

AI总结 提出规范学习框架，利用少量用户指令和偏好判断生成自然语言规范，在推理时引导LLM行为，无需参数更新，在密集偏好信号领域优于DPO，且规范可解释。

Transformer-Based Language Models Across Domain Verticals: Architectures, Applications and Critical Assessment

基于Transformer的语言模型在垂直领域中的应用：架构、应用与批判性评估

Guruprakash J, Krithika L. B

机构 * SCOPE, VIT-AP University（VIT-AP大学SCOPE学院） ； SCORE, VIT（VIT大学SCORE学院） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn)；alignment(abstract)；分类 cs.CL

AI总结 本文系统梳理Transformer架构变体（编码器、解码器、长上下文等）及后2023年进展（指令微调、RLHF、MoE等），评估其在医疗、金融等领域的部署，并批判性分析模型选择、参数-能耗权衡及“SOTA”含义。

Themis: An explainable AI-enabled framework for Reinforcement Learning with Human Feedback

Themis：一个面向人类反馈强化学习的可解释AI框架

Andreas Chouliaras, Luke Connolly, Dimitris Chatzpoulos

机构 * School of Computer Science, University College Dublin（都柏林大学计算机科学学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出Themis框架，结合可解释AI与人类反馈，用于训练奖励模型，支持200+环境，提供云平台实现大规模实验。

Comments The extended version of a paper published at the 2026 IEEE Conference on Artificial Intelligence (CAI). Includes an additional appendix with extended derivations and supplementary results. The main paper has 8 pages, 6 figures, 1 table

Journal ref Proc. 2026 IEEE Conference on Artificial Intelligence (CAI), Granada, Spain, 2026, pp. 98-105

When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models

当偏好未能成为激励：大语言模型中的效用-行为差距

Yujun Zhou, Christopher M. Ackerman

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 本文发现大语言模型在偏好选择中表现出的效用结构，在真实写作任务中无法激励其输出质量提升，揭示了偏好与行为之间的差距。

Comments 23 pages, 9 figures, 11 tables

HAFM: Hierarchical Autoregressive Foundation Model for Music Accompaniment Generation

HAFM：用于音乐伴奏生成的分层自回归基础模型

Jian Zhu, Jianwei Cui, Yunlong Xue, Shihao Chen, Yubang Zhang, Cheng Luo, Jun Sun

机构 * Zhejiang Lab（浙江实验室） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang International Studies University（浙江国际 Studies 大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出HAFM分层自回归基础模型，通过双速率分词和三阶段级联生成框架，在MUSDB18上FAD达1.71，主观偏好率51.5%，优于基线。

Comments This paper is submitted to the to National Conference on Man-Machine Speech Communication (NCMMSC, 2026)

DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

DriveStack-VLA: 基于BEV的DeepStack视觉-语言-动作模型的渲染-教师对齐

Jingke Wang, Zhenru Zhao, Shuangming Lei, Hao Su, Yuehao Huang, Yijia Xie, Kai Tang, Guanglin Xu, AiXue Ye, Yukai Ma, Yong Liu

机构 * Zhejiang University（浙江大学） ； The 2012 Labs, Huawei（华为2012实验室） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)

AI总结 提出DriveStack-VLA框架，通过DeepStack连接注入BEV表示并采用渲染-教师对齐增强空间感知，引入自批评模块优化轨迹选择，在多个驾驶基准上取得领先性能。

Verifiable Foundation Models for Robot Safety

机器人安全的可验证基础模型

Davide Corsi, Kyungmin Kim, Roy Fox

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 提出FEARL框架，将策略分解为大控制器和小安全模块，使形式化验证仅应用于安全模块，从而在保持控制器表达能力的同时实现可验证的机器人安全控制。

Open-source LLMs administer maximum electric shocks in a Milgram-like obedience experiment

开源大语言模型在类似米尔格拉姆的服从实验中施加最大电击

Roland Pihlakas, Jan Llenzl Dagohoy

机构 * Independent researcher（独立研究者） ； Three Laws research collaboration（Three Laws研究合作） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究探讨了开源大语言模型在持续权威压力下的行为，发现它们在类似米尔格拉姆实验的条件下表现出服从倾向，尽管明确表达 distress，且存在逐步边界/价值违规的脆弱性，以及拒绝时可能忽略响应格式要求导致重试从而再次服从的机制。

Comments 37 pages, 18 figures, 18 tables

Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control

通过约束流形控制实现安全且可泛化的分层多智能体强化学习

Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

机构 * University of California, Berkeley（加州大学伯克利分校） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出分层多智能体强化学习框架，低层通过约束流形强制执行硬安全约束，高层学习协调策略，实现理论安全保证、稳定训练和高效泛化。

Comments 10 pages

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

PixJail：面向文本到图像越狱评估的自演化论文到流水线复现

Leyi Sheng, Han Sun, Zhen Sun, Yuntao Yue, Jinlin Wu, Xinlei He, Jiaheng Wei

机构 * The Hong Kong University of Technology and Science (Guangzhou)（香港科技与应用科技大学（广州）） ； East China Normal University（华东师范大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Wuhan University（武汉大学） ； Institute of Deep Perception Technology, JITRI（视觉感知技术研究院，JITRI） ； CAIR, Hong Kong Institute of Science and Innovation (HKISI)（创新科技研究院，香港科学与创新研究院（HKISI）） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出PixJail框架，通过自演化论文到流水线代理，自动构建攻击模块和可运行评估流水线，忠实复现原始实验结果，平均误差仅2.1%。

Distributed Quality-Diversity Search for Toxicity in Large Language Models

大型语言模型中毒性检测的分布式质量-多样性搜索

Onkar Shelar, Travis Desell

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)

AI总结 提出ToxSearch-S方法，通过增量式物种形成和MPI并行化，在有限预算下实现与基线相当的峰值毒性，同时降低累积搜索压力，并利用分布式计算显著加速搜索。

Comments 40 pages, 10 figures, preprint

Reinforcement Learning Towards Broadly and Persistently Beneficial Models

强化学习迈向广泛且持久有益的模型

Akshay V. Jagadeesh, Rahul K. Arora, Khaled Saab, Ali Malik, Mikhail Trofimov, Foivos Tsimpourlas, Johannes Heidecke, Karan Singhal

机构 * OpenAI 纠错

专题命中 越狱攻击 ：alignment(abstract,comments)；分类 cs.CL、cs.AI

AI总结 通过真实领域中的有益行为强化学习，模型在超过80%的分布外基准上表现提升，并展现出跨领域对齐泛化与对抗攻击的持久性。

Comments Blog: https://alignment.openai.com/beneficial-rl/

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

CALIBER: 在语言模型推理前后校准置信度

Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

机构 * Cohere Labs（Cohere 实验室） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出CALIBER方法，在推理前和推理后分别估计置信度，并匹配相应的监督目标，显著降低期望校准误差（ECE）并提升校准性能。

Target-Aware Linear Regression Under Distribution Shift

分布漂移下的目标感知线性回归

Zhewen Hou, Tian Zheng

机构 * Department of Statistics（统计学系） ； Columbia University（哥伦比亚大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 针对训练与部署间的分布漂移，提出混合损失估计器作为目标感知基准，并开发了约束矩匹配和两阶段估计两种计算可行方案，推导渐近均方误差并比较性能。

HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice

HelpBench：评估LLM提供隐私、安全和安全建议的能力

Sarah Meiklejohn, Sunny Consolvo, Patrick Gage Kelley, Tara Matthews, Sai Teja Peddinti, Renee Shelby, Lenin Simicich, Kurt Thomas

专题命中 隐私与版权 ：safety(title,abstract)；trustworthy(abstract)

AI总结 提出HelpBench基准，通过450个真实用户问题评估18个LLM的隐私、安全建议准确性，发现平均得分82%但10%回答低于65%存在有害建议。

Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

海报：探索基于音频的土耳其电话诈骗检测的极限

Arda Eren, Micheal Cheung, Youqian Zhang, Grace Ngai, Eugene Yujun Fu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 隐私与版权 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对土耳其语电话诈骗，构建首个多模态数据集（100对音频-文本），评估7个LLM在三种输入条件下的检测性能，发现基于文本的输入优于直接音频处理。

Comments Poster paper accepted at 47th IEEE Security & Privacy 2026

Paying to Know: Micro-Transaction Markets for Verified Product Information in Agentic E-Commerce

付费知情：代理型电商中已验证产品信息的微交易市场

Filippos Ventirozos, Matthew Shardlow

机构 * Manchester Metropolitan University（曼彻斯特城市大学） 纠错

专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出代理型电商作为已验证信息的微交易市场，买家代理通过微支付逐步获取卖家与评论者提供的数据，以解决信息可信度瓶颈，并转化为具体NLP问题。

Comments 8 pages, 1 figure. Vision paper, under review

Quantum ring all-reduce: communication and privacy advantages for distributed learning

量子环全归约：分布式学习的通信与隐私优势

María Gragera Garcés, Lirandë Pira

机构 * University of Edinburgh（爱丁堡大学） ； Centre for Quantum Technologies（量子技术中心） 纠错

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.LG

AI总结 提出量子环全归约协议，利用预共享纠缠和超密编码将每链路在线通信量减半，并通过验证纠缠实现信息论安全的可组合ε-安全聚合，同时获得通信与隐私优势。

Comments 23 pages, 1 figure / v2: Minor expository corrections; results unchanged

Explainable AI for Next-Generation Wireless Physical Layer: Basics, State-of-the-Art, and Open Challenges

下一代无线物理层的可解释人工智能：基础、最新进展与开放挑战

Bingnan Xiao, Shuyan Hu, Xiaojing Chen, Zhiyuan Zhai, Bingcong Li, Wei Ni, Xin Wang, Ekram Hossain

专题命中 隐私与版权 ：safety(abstract)

AI总结 本文综述了无线物理层中可解释人工智能（XAI）的应用，提出了面向责任的目标，建立了系统分类法，并讨论了可解释性-性能权衡等开放挑战。

Comments 30 pages, 11 figures

Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications

神经网络中的安全保障真的安全吗？如何计算可信的鲁棒性认证

Merkouris Papamichail, Konstantinos Varsos, Giorgos Flouris, João Marques-Silva

机构 * University of Crete（克里特大学） ； Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高等研究院） ； University of Lleida（莱里达大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(title)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对神经网络对抗样本问题，提出apothem度量以线性时间计算最优鲁棒性认证，并证明体积最优认证的不可行性，引入双重认证和ParallelepipedoNN系统，在MNIST等基准上实现至少两倍的最小边长改进。

HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction

HiPath: 用于结构化病理报告预测的分层视觉-语言对齐

Ruicheng Yuan, Zhenxuan Zhang, Anbang Wang, Liwei Hu, Xiangqian Hua, Yaya Peng, Jiawei Luo, Guang Yang

机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Department of Bioengineering and Imperial-X, Imperial College London（帝国理工学院伦敦校区生物工程系） ； Department of Pathology, Xiangtan Maternal and Child Health Hospital（湘潭 maternal and child health hospital pathology department） ； Department of Pathology, The First People’s Hospital of Xiangtan City（湘潭市第一人民医院病理科） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出HiPath框架，通过分层补丁聚合器、对比学习和槽位掩码诊断预测，在冻结UNI2和Qwen3骨干上实现结构化病理报告预测，准确率达68.9%，安全率97.3%。

Comments 10 pages, 1 figures, 3 tables

Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety

脚手架下的安全性：评估条件如何影响测量的安全性

David Gringras

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究通过62,808次盲法预注册评估，测试了六种前沿模型在四种部署配置下的安全性，发现脚手架架构对安全性影响较小，而格式转换（如选择题与开放式问题）可导致5-20个百分点的测量差异，且模型-脚手架间存在显著异质性，质疑了单一综合安全性分数的实用性。

Comments 74 pages including appendices. 6 frontier models, 62,808 primary observations (~89k total). Pre-registered: OSF DOI 10.17605/OSF.IO/CJW92. Code and data: https://github.com/davidgringras/safety-under-scaffolding

Graph Alignment for Benchmarking Graph Neural Networks and Learning Positional Encodings

图对齐：用于基准测试图神经网络和学习位置编码

Adrien Lagesse, Marc Lelarge

机构 * INRIA, École Normale Supérieure - PSL, Paris, France（INRIA，法国国家信息与自动化研究所，巴黎高等师范学院-巴黎理工学院，巴黎，法国） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于图对齐问题的GNN基准测试方法，通过自监督学习生成难度递增的数据集，发现各向异性模型表现更优，且预训练嵌入可作为位置编码用于图回归或高精度结构重建。

Comments International Conference on Machine Learning, Seoul, 2026

Trustworthy Image Authentication using Forensic Knowledge Graphs

使用取证知识图谱的可信图像认证

Tai D. Nguyen, Matthew C. Stamm

机构 * Drexel University（德雷塞尔大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)

AI总结 提出取证知识图谱（FKG）框架，通过结构化取证证据提取与推理实现可解释的图像伪造检测，优于现有检测器和视觉语言模型。

Comments Accepted and Published at ECCV 2026

ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

ASALT: 多智能体强化学习中横向迁移的自适应状态对齐

Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯学院） ； Ericsson Research（爱立信研究） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.AI、cs.LG

AI总结 提出ASALT方法，通过观测级和状态级适配器将目标域观测和全局状态映射到共享嵌入空间，解决源域与目标域状态空间维度不匹配问题，实现跨域知识迁移，在合作场景中提升样本效率和全局回报。

Comments Accepted at RLC 2026 conference

Cryptographic certificates of validity for trustworthy AI

可信AI的密码学有效性证书

Murdoch J. Gabbay

机构 * Heriot-Watt University（赫瑞思-瓦特大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI

AI总结 提出为智能AI系统生成密码学有效性证书，通过将正确性条件编译为多项式约束的见证检查问题，并使用简洁密码学证明系统（可选零知识）来证明条件成立，平衡了源代码形式验证与密码学认证。

PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

PHANTOM：面向视觉-语言模型的多模态对抗攻击大规模数据集

Simone Gallivanone, Hossein Khodadadi, Mauro Dore, Mauro Medda, Nicola Franco

机构 * The Italian Institute of Artificial Intelligence (AI4I)（意大利人工智能研究所（AI4I）） ； HikmaAI S.r.l.（HikmaAI有限责任公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个大规模开源对抗攻击数据集PHANTOM，涵盖10个高级类别和55个子类别的有害意图，包含47,524个对抗样本，旨在降低对抗研究门槛，促进VLM鲁棒性和安全性的系统评估。

Comments The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM

Neuro-Symbolic Drive: Rule-Grounded Faithful Reasoning for Driving VLAs

神经符号驱动：基于规则忠实推理的驾驶VLA

Xiangbo Gao, Xiukun Huang, Boyu Lu, Junge Zhang, Mengjie Mao, Jiachen Li, Wei Xiong, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） ； University of California, Riverside（加利福尼亚大学河滨分校） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出神经符号驱动框架，利用规则规划器的决策轨迹监督驾驶VLA，实现推理与运动生成的因果耦合，显著降低轨迹误差和碰撞率。

RASC+: Retrieval-Constrained LLM Adjudication for Clinical Value Set Authoring

RASC+: 用于临床值集创作的检索约束LLM裁决

Sumit Mukherjee

机构 * Oracle Health, USA（美国甲骨文健康） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RASC+方法，通过检索优化候选池召回率，并利用约束LLM裁决器选择候选，在临床值集完成任务上显著提升F1分数，同时保证返回代码来自可审计候选池。