大模型对齐与安全

Towards Spec Learning: Inference-Time Alignment from Preference Pairs

面向规范学习：从偏好对进行推理时对齐

Dhriti Krishnan, Tejas Goyal, Jaromir Savelka

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title)；分类 cs.CL、cs.AI

AI总结 提出规范学习框架，利用少量用户指令和偏好判断生成自然语言规范，在推理时引导LLM行为，无需参数更新，在密集偏好信号领域优于DPO，且规范可解释。

Transformer-Based Language Models Across Domain Verticals: Architectures, Applications and Critical Assessment

基于Transformer的语言模型在垂直领域中的应用：架构、应用与批判性评估

Guruprakash J, Krithika L. B

机构 * SCOPE, VIT-AP University（VIT-AP大学SCOPE学院） ； SCORE, VIT（VIT大学SCORE学院） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn)；alignment(abstract)；分类 cs.CL

AI总结 本文系统梳理Transformer架构变体（编码器、解码器、长上下文等）及后2023年进展（指令微调、RLHF、MoE等），评估其在医疗、金融等领域的部署，并批判性分析模型选择、参数-能耗权衡及“SOTA”含义。

Themis: An explainable AI-enabled framework for Reinforcement Learning with Human Feedback

Themis：一个面向人类反馈强化学习的可解释AI框架

Andreas Chouliaras, Luke Connolly, Dimitris Chatzpoulos

机构 * School of Computer Science, University College Dublin（都柏林大学计算机科学学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出Themis框架，结合可解释AI与人类反馈，用于训练奖励模型，支持200+环境，提供云平台实现大规模实验。

Comments The extended version of a paper published at the 2026 IEEE Conference on Artificial Intelligence (CAI). Includes an additional appendix with extended derivations and supplementary results. The main paper has 8 pages, 6 figures, 1 table

Journal ref Proc. 2026 IEEE Conference on Artificial Intelligence (CAI), Granada, Spain, 2026, pp. 98-105

When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models

当偏好未能成为激励：大语言模型中的效用-行为差距

Yujun Zhou, Christopher M. Ackerman

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 本文发现大语言模型在偏好选择中表现出的效用结构，在真实写作任务中无法激励其输出质量提升，揭示了偏好与行为之间的差距。

Comments 23 pages, 9 figures, 11 tables

DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

DriveStack-VLA: 基于BEV的DeepStack视觉-语言-动作模型的渲染-教师对齐

Jingke Wang, Zhenru Zhao, Shuangming Lei, Hao Su, Yuehao Huang, Yijia Xie, Kai Tang, Guanglin Xu, AiXue Ye, Yukai Ma, Yong Liu

机构 * Zhejiang University（浙江大学） ； The 2012 Labs, Huawei（华为2012实验室） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)

AI总结 提出DriveStack-VLA框架，通过DeepStack连接注入BEV表示并采用渲染-教师对齐增强空间感知，引入自批评模块优化轨迹选择，在多个驾驶基准上取得领先性能。

Verifiable Foundation Models for Robot Safety

机器人安全的可验证基础模型

Davide Corsi, Kyungmin Kim, Roy Fox

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 提出FEARL框架，将策略分解为大控制器和小安全模块，使形式化验证仅应用于安全模块，从而在保持控制器表达能力的同时实现可验证的机器人安全控制。

Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control

通过约束流形控制实现安全且可泛化的分层多智能体强化学习

Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

机构 * University of California, Berkeley（加州大学伯克利分校） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出分层多智能体强化学习框架，低层通过约束流形强制执行硬安全约束，高层学习协调策略，实现理论安全保证、稳定训练和高效泛化。

Comments 10 pages

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

PixJail：面向文本到图像越狱评估的自演化论文到流水线复现

Leyi Sheng, Han Sun, Zhen Sun, Yuntao Yue, Jinlin Wu, Xinlei He, Jiaheng Wei

机构 * The Hong Kong University of Technology and Science (Guangzhou)（香港科技与应用科技大学（广州）） ； East China Normal University（华东师范大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Wuhan University（武汉大学） ； Institute of Deep Perception Technology, JITRI（视觉感知技术研究院，JITRI） ； CAIR, Hong Kong Institute of Science and Innovation (HKISI)（创新科技研究院，香港科学与创新研究院（HKISI）） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出PixJail框架，通过自演化论文到流水线代理，自动构建攻击模块和可运行评估流水线，忠实复现原始实验结果，平均误差仅2.1%。

Distributed Quality-Diversity Search for Toxicity in Large Language Models

大型语言模型中毒性检测的分布式质量-多样性搜索

Onkar Shelar, Travis Desell

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)

AI总结 提出ToxSearch-S方法，通过增量式物种形成和MPI并行化，在有限预算下实现与基线相当的峰值毒性，同时降低累积搜索压力，并利用分布式计算显著加速搜索。

Comments 40 pages, 10 figures, preprint

Reinforcement Learning Towards Broadly and Persistently Beneficial Models

强化学习迈向广泛且持久有益的模型

Akshay V. Jagadeesh, Rahul K. Arora, Khaled Saab, Ali Malik, Mikhail Trofimov, Foivos Tsimpourlas, Johannes Heidecke, Karan Singhal

机构 * OpenAI 纠错

专题命中 越狱攻击 ：alignment(abstract,comments)；分类 cs.CL、cs.AI

AI总结 通过真实领域中的有益行为强化学习，模型在超过80%的分布外基准上表现提升，并展现出跨领域对齐泛化与对抗攻击的持久性。

Comments Blog: https://alignment.openai.com/beneficial-rl/

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

CALIBER: 在语言模型推理前后校准置信度

Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

机构 * Cohere Labs（Cohere 实验室） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出CALIBER方法，在推理前和推理后分别估计置信度，并匹配相应的监督目标，显著降低期望校准误差（ECE）并提升校准性能。

Target-Aware Linear Regression Under Distribution Shift

分布漂移下的目标感知线性回归

Zhewen Hou, Tian Zheng

机构 * Department of Statistics（统计学系） ； Columbia University（哥伦比亚大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 针对训练与部署间的分布漂移，提出混合损失估计器作为目标感知基准，并开发了约束矩匹配和两阶段估计两种计算可行方案，推导渐近均方误差并比较性能。

HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice

HelpBench：评估LLM提供隐私、安全和安全建议的能力

Sarah Meiklejohn, Sunny Consolvo, Patrick Gage Kelley, Tara Matthews, Sai Teja Peddinti, Renee Shelby, Lenin Simicich, Kurt Thomas

专题命中 隐私与版权 ：safety(title,abstract)；trustworthy(abstract)

AI总结 提出HelpBench基准，通过450个真实用户问题评估18个LLM的隐私、安全建议准确性，发现平均得分82%但10%回答低于65%存在有害建议。

Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

海报：探索基于音频的土耳其电话诈骗检测的极限

Arda Eren, Micheal Cheung, Youqian Zhang, Grace Ngai, Eugene Yujun Fu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 隐私与版权 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对土耳其语电话诈骗，构建首个多模态数据集（100对音频-文本），评估7个LLM在三种输入条件下的检测性能，发现基于文本的输入优于直接音频处理。

Comments Poster paper accepted at 47th IEEE Security & Privacy 2026

Paying to Know: Micro-Transaction Markets for Verified Product Information in Agentic E-Commerce

付费知情：代理型电商中已验证产品信息的微交易市场

Filippos Ventirozos, Matthew Shardlow

机构 * Manchester Metropolitan University（曼彻斯特城市大学） 纠错

专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出代理型电商作为已验证信息的微交易市场，买家代理通过微支付逐步获取卖家与评论者提供的数据，以解决信息可信度瓶颈，并转化为具体NLP问题。

Comments 8 pages, 1 figure. Vision paper, under review

Quantum ring all-reduce: communication and privacy advantages for distributed learning

量子环全归约：分布式学习的通信与隐私优势

María Gragera Garcés, Lirandë Pira

机构 * University of Edinburgh（爱丁堡大学） ； Centre for Quantum Technologies（量子技术中心） 纠错

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.LG

AI总结 提出量子环全归约协议，利用预共享纠缠和超密编码将每链路在线通信量减半，并通过验证纠缠实现信息论安全的可组合ε-安全聚合，同时获得通信与隐私优势。

Comments 23 pages, 1 figure / v2: Minor expository corrections; results unchanged

Explainable AI for Next-Generation Wireless Physical Layer: Basics, State-of-the-Art, and Open Challenges

下一代无线物理层的可解释人工智能：基础、最新进展与开放挑战

Bingnan Xiao, Shuyan Hu, Xiaojing Chen, Zhiyuan Zhai, Bingcong Li, Wei Ni, Xin Wang, Ekram Hossain

专题命中 隐私与版权 ：safety(abstract)

AI总结 本文综述了无线物理层中可解释人工智能（XAI）的应用，提出了面向责任的目标，建立了系统分类法，并讨论了可解释性-性能权衡等开放挑战。

Comments 30 pages, 11 figures

Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications

神经网络中的安全保障真的安全吗？如何计算可信的鲁棒性认证

Merkouris Papamichail, Konstantinos Varsos, Giorgos Flouris, João Marques-Silva

机构 * University of Crete（克里特大学） ； Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高等研究院） ； University of Lleida（莱里达大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(title)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对神经网络对抗样本问题，提出apothem度量以线性时间计算最优鲁棒性认证，并证明体积最优认证的不可行性，引入双重认证和ParallelepipedoNN系统，在MNIST等基准上实现至少两倍的最小边长改进。

Trustworthy Image Authentication using Forensic Knowledge Graphs

使用取证知识图谱的可信图像认证

Tai D. Nguyen, Matthew C. Stamm

机构 * Drexel University（德雷塞尔大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)

AI总结 提出取证知识图谱（FKG）框架，通过结构化取证证据提取与推理实现可解释的图像伪造检测，优于现有检测器和视觉语言模型。

Comments Accepted and Published at ECCV 2026

ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

ASALT: 多智能体强化学习中横向迁移的自适应状态对齐

Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯学院） ； Ericsson Research（爱立信研究） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.AI、cs.LG

AI总结 提出ASALT方法，通过观测级和状态级适配器将目标域观测和全局状态映射到共享嵌入空间，解决源域与目标域状态空间维度不匹配问题，实现跨域知识迁移，在合作场景中提升样本效率和全局回报。

Comments Accepted at RLC 2026 conference

Cryptographic certificates of validity for trustworthy AI

可信AI的密码学有效性证书

Murdoch J. Gabbay

机构 * Heriot-Watt University（赫瑞思-瓦特大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI

AI总结 提出为智能AI系统生成密码学有效性证书，通过将正确性条件编译为多项式约束的见证检查问题，并使用简洁密码学证明系统（可选零知识）来证明条件成立，平衡了源代码形式验证与密码学认证。

PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

PHANTOM：面向视觉-语言模型的多模态对抗攻击大规模数据集

Simone Gallivanone, Hossein Khodadadi, Mauro Dore, Mauro Medda, Nicola Franco

机构 * The Italian Institute of Artificial Intelligence (AI4I)（意大利人工智能研究所（AI4I）） ； HikmaAI S.r.l.（HikmaAI有限责任公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个大规模开源对抗攻击数据集PHANTOM，涵盖10个高级类别和55个子类别的有害意图，包含47,524个对抗样本，旨在降低对抗研究门槛，促进VLM鲁棒性和安全性的系统评估。

Comments The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM

Neuro-Symbolic Drive: Rule-Grounded Faithful Reasoning for Driving VLAs

神经符号驱动：基于规则忠实推理的驾驶VLA

Xiangbo Gao, Xiukun Huang, Boyu Lu, Junge Zhang, Mengjie Mao, Jiachen Li, Wei Xiong, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） ； University of California, Riverside（加利福尼亚大学河滨分校） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出神经符号驱动框架，利用规则规划器的决策轨迹监督驾驶VLA，实现推理与运动生成的因果耦合，显著降低轨迹误差和碰撞率。

RASC+: Retrieval-Constrained LLM Adjudication for Clinical Value Set Authoring

RASC+: 用于临床值集创作的检索约束LLM裁决

Sumit Mukherjee

机构 * Oracle Health, USA（美国甲骨文健康） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RASC+方法，通过检索优化候选池召回率，并利用约束LLM裁决器选择候选，在临床值集完成任务上显著提升F1分数，同时保证返回代码来自可审计候选池。

REALM: A Unified Red-Teaming Benchmark for Physical-World VLMs

REALM: 面向物理世界视觉语言模型的统一红队基准

Yifei Zhao, Qian Lou, Mengxin Zheng

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)

AI总结 提出REALM，首个统一红队基准，集成12种攻击方法、3种防御和13个视觉语言模型，通过代理目标生成管道实现公平比较，发现文本注入攻击最有效。

Comments 20 pages, 5 figures. Preprint

SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization

SURGELLM: 通过任务感知特征门控与类别平衡归一化重新思考多任务评估

Noor Islam S. Mohammad, Ulug Bayazit

机构 * Istanbul Technical University（伊斯坦布尔理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI；trustworthy(comments)

AI总结 针对异构NLP任务中归纳偏置不匹配、类别不平衡和缺乏外部词汇知识的问题，提出统一Transformer框架SURGELLM，包含手术特征门控、任务条件前缀令牌和实例加权归一化，在四个任务上平均F1提升0.036。

Comments Proceedings of the 6th Workshop on Trustworthy NLP (TrustNLP 2026), ACL 2026, San Diego, California, USA. Available at https://openreview.net/forum?id=WJCalficPT

BehaviorBench: Benchmarking Foundation Models for Behavioral Science Tasks

BehaviorBench: 行为科学任务的基础模型基准测试

Jin Huang, Yutong Xie, Wanli Song, Xingjian Zhang, Walter Yuan, Matthew O. Jackson, Qiaozhu Mei

机构 * University of Michigan（密歇根大学） ； MobLab ； Stanford University（斯坦福大学） ； Santa Fe Institute（圣塔菲研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出BehaviorBench基准，评估基础模型在行为预测、战略决策、特质推断和行为知识应用四类任务上的个体与分布级表现，发现通用模型个体预测强，而微调的行为模型分布对齐更优。

How Much Can We Trust LLM Search Agents? Measuring Endorsement Vulnerability to Web Content Manipulation

我们能在多大程度上信任LLM搜索智能体？衡量对网络内容操纵的认可脆弱性

Yimeng Chen, Zhe Ren, Firas Laakom, Yu Li, Dandan Guo, Jürgen Schmidhuber

机构 * Center of Excellence for Generative AI, KAUST（KAUST生成式人工智能卓越中心） ； Jilin University（吉林大学） ； Zhejiang University（浙江大学） ； The Swiss AI Lab, IDSIA-USI/SUPSI（瑞士人工智能实验室 IDSIA-USI/SUPSI） ； NNAISENSE 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.CY

AI总结 提出SearchGEO框架，通过五类攻击模式和输出级指标评估13种LLM后端对网络内容操纵的认可脆弱性，发现攻击成功率从0%到31.4%不等，且不同后端对攻击模式的敏感性和部署框架的影响存在显著差异。

Comments 23 pages, 3 figures

Teaching Diffusion to Speculate Left-to-Right

教导扩散模型从左到右推测

Lexington Whalen, Yuki Ito, Ryo Sakamoto

机构 * Lexington Whalen ； Yuki Ito ； Ryo Sakamoto 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对自回归解码的推理瓶颈，提出三种训练时干预方法（位置加权、首次错误焦点损失、链损失）来弥合块扩散草稿模型的双向生成与自回归目标模型从左到右验证之间的不对称性，显著提升接受草稿长度。

Comments 13 pages, technical report

EG-VQA: Benchmarking Verifiable Video Question Answering with Grounded Temporal Evidence

EG-VQA: 基于接地时间证据的可验证视频问答基准

Linpeng Huang, Weixing Chen, Zexin Chen, Yang Liu, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Shenzhen University（深圳大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出EG-VQA基准，通过细粒度时间证据标注和EG-F1指标，揭示视频大模型在答案正确性与证据定位之间的差距，并引入EG-Reasoner模型弥合这一差距。