大模型对齐与安全

Alignment Drift in Multimodal LLMs: A Two-Phase, Longitudinal Evaluation of Harm Across Eight Model Releases

多模态大语言模型中的对齐漂移：对八个模型版本的双阶段纵向评估

Casey Ford, Madison Van Doren, Emily Dix

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过双阶段评估揭示多模态大语言模型在不同模型版本中的安全性和对齐漂移问题，强调了持续多模态基准测试的重要性。

Comments under peer-review

Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering

具有安全意识解码的记忆增强知识融合用于领域自适应问答

Lei Fu, Xiang Chen, Kaige Gao Xinyue Huang, Kejian Tong

机构 * Independent Researcher（独立研究者） ； Boston University（波士顿大学） ； Binghamton University（伯克利大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性

Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

Bo-Han Feng, Chien-Feng Liu, Yu-Hsuan Li Liang, Chih-Kai Yang, Szu-Wei Fu, Zhehuai Chen, Ke-Han Lu, Sung-Feng Huang, Chao-Han Huck Yang, Yu-Chiang Frank Wang, Yun-Nung Chen, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） ； NVIDIA 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

Comments Submitted to ICASSP 2026

ATA: A Neuro-Symbolic Approach to Implement Autonomous and Trustworthy Agents

David Peer, Sebastian Stabinger

机构 * Otera Austria（奥特拉奥地利） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

Protect: Towards Robust Guardrailing Stack for Trustworthy Enterprise LLM Systems

Karthik Avinash, Nikhil Pareek, Rishav Hada

机构 * FutureAGI Inc.（未来人工智能公司） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

The PacifAIst Benchmark:Would an Artificial Intelligence Choose to Sacrifice Itself for Human Safety?

Manuel Herrador

机构 * Polytechnic School of Jaen, University of Jaen（耶尼大学多技术学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

Comments 10 pages, 4 figures, 2 tables

Case-based Reasoning Augmented Large Language Model Framework for Decision Making in Realistic Safety-Critical Driving Scenarios

Wenbin Gan, Minh-Son Dao, Koji Zettsu

机构 * Big Data Integration Research Center, National Institute of Information and Communications Technology (NICT), Tokyo, Japan（大数据整合研究室，日本信息通信技术研究所（NICT），东京） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.CY

Comments 12 pages, 10 figures, under-review conference

Misalignment or misuse? The AGI alignment tradeoff

Max Hellrigel-Holderbaum, Leonard Dung

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

Comments Forthcoming in Philosophical Studies

Refining Input Guardrails: Enhancing LLM-as-a-Judge Efficiency Through Chain-of-Thought Fine-Tuning and Alignment

Melissa Kazemi Rad, Huy Nghiem, Andy Luo, Sahil Wadhwa, Mohammad Sorower, Stephen Rawls

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.LG

Comments 16 pages, 9 figures

WalledEval: A Comprehensive Safety Evaluation Toolkit for Large Language Models

Prannaya Gupta, Le Qi Yau, Hao Han Low, I-Shiang Lee, Hugo Maximus Lim, Yu Xin Teoh, Jia Hng Koh, Dar Win Liew, Rishabh Bhardwaj, Rajat Bhardwaj, Soujanya Poria

专题命中 安全评测 ：safety(title,abstract)；prompt injection(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

Comments Under review

AIR-Bench 2024: A Safety Benchmark Based on Risk Categories from Regulations and Policies

Yi Zeng, Yu Yang, Andy Zhou, Jeffrey Ziwei Tan, Yuheng Tu, Yifan Mai, Kevin Klyman, Minzhou Pan, Ruoxi Jia, Dawn Song, Percy Liang, Bo Li

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

Auditing Robot Learning for Safety and Compliance during Deployment

Homanga Bharadhwaj

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

Comments Blue Sky paper at the 5th Conference on Robot Learning (CoRL 2021)

TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories

TraceSafe: 对LLM在多步骤工具调用轨迹上的安全护栏的系统评估

Yen-Shan Chen, Sian-Yao Huang, Cheng-Lin Yang, Yun-Nung Chen

机构 * CyCraft AI Lab, Taiwan（CyCraft AI实验室（台湾）） ； National Taiwan University（国立台湾大学） 纠错

专题命中 安全评测 ：jailbreak(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；prompt injection(abstract)

AI总结 本文提出TraceSafe-Bench，首个评估中间轨迹安全的综合基准，发现安全护栏效果更依赖结构数据能力而非语义安全对齐，通用模型在轨迹分析中表现更优，且准确性随执行步骤增加而提升。

Comments Accepted to Conference on Language Modeling (COLM) 2026

Mitigating Gambling-Like Risk-Taking Behaviors in Large Language Models: A Behavioral Economics Approach to AI Safety

Y. Du

专题命中 安全评测 ：safety(title)；AI safety(title)；分类 cs.CL、cs.AI、cs.CY

Comments 7 pages

Toward a Theory of Value in AI Alignment

迈向AI对齐中的价值理论

Andrew Smart, Shazeda Ahmed, Jackie Kay, Jimmy Tobin, Kris Shrishak, Abeba Birhane

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本研究通过标注94篇AI价值对齐论文，发现多数未明确定义人类价值，转而依赖偏好，且采用合成数据等自动方法可能关闭价值践行路径，旨在明确该领域哲学承诺以丰富相关辩论。

Comments 15 pages, 2 figures

$S^3$: Improving Agent Safety through Multi-Stage Defense

$S^3$：通过多阶段防御提升智能体安全性

Zibo Xiao, Haoyu Wang, Jun Sun

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本研究针对LLM智能体工作流的跨阶段安全风险问题，提出多阶段防御框架$S^3$，引入阶段特定安全技能，构建MSRB基准，实验显示其安全有效性和效用保留均优于现有基线。

Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety

Minionese：多语言大语言模型安全性的综合基准测试与机理研究

Chigozirim Ifebi, Brent Kong, Ayushi Mehrotra

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究多语言大语言模型安全对齐问题，引入涵盖多种语言、资源层级和扰动类型的Minionese基准测试及几何机理分析，发现不同攻击类型漏洞特征不同，指出仅英语安全评估不足，需考虑多因素。

Hair-Trigger Alignment: Black-Box Evaluation Cannot Guarantee Post-Update Alignment

触发式对齐：黑盒评估无法保证更新后对齐

Yavuz Bakman, Duygu Nur Yaldiz, Eleni Triantafillou, Peter Kairouz, Salman Avestimehr, Sai Praneeth Karimireddy

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型更新后对齐问题，指出静态黑盒评估有局限，无法保证更新后对齐，通过理论分析和多领域实证验证，揭示模型隐藏对抗行为及与模型规模的关系，强调更新后鲁棒对齐评估的迫切性。

AI Chatbot Suicide Risk Detection and Response: Human Validation Study of the Open-Source VERA-MH Safety Evaluation

人工智能聊天机器人自杀风险检测与应对：开源VERA-MH安全评估的人工验证研究

Kate H. Bentley, Luca Belli, Adam M. Chekroud, Emily J. Ward, Emily R. Dworkin, Emily Van Ark, Kelly M. Johnston, Will Alexander, Millard Brown, Matt Hawrilenko

机构 * Spring Health ； Harvard Medical School（哈佛医学院） ； UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究针对人工智能聊天机器人用于心理支持时的安全性评估问题，以VERA-MH为基准，模拟用户与聊天机器人对话，通过持牌临床医生和基于LLM的评估器评级，验证了VERA-MH在检测自杀风险方面的可靠性，为后续研究指明方向。

Journal ref JMIR AI. 2026;5

Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook

基于价值码本的LLM文化价值对齐的分布式开放式评估

Jaehyeok Lee, Xiaoyuan Yi, Jing Yao, Hyunjin Hwang, Roy Ka-Wei Lee, Xing Xie, JinYeong Bak

机构 * KAIST（韩国科学技术院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出DOVE框架，通过率失真变分优化构建价值码本，利用不平衡最优传输度量分布对齐，解决LLM文化价值评估中的构造-组成-上下文挑战。

Comments ICML 2026 Camera Ready

Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment

面向感知模型的可信与可解释人工智能：从概念到原型车辆部署

Till Beemelmanns, Shayan Sharifi, Manas Mehrotra, Ayushman Choudhuri, Lutz Eckstein

机构 * Institute for Automotive Engineering, RWTH Aachen University（汽车工程研究所，亚琛工业大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一个结合鲁棒性、可解释性和不确定性校准的Transformer感知模块，并部署于原型车辆，通过实时可视化验证可信AI的可行性。

Comments Accepted for publication at IEEE ITSC 2026

AgentWall: A Runtime Safety Layer for Local AI Agents

AgentWall：本地AI代理的运行时安全层

Ashwin Aravind

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出AgentWall，一种用于本地AI代理的运行时安全与可观测性层，通过拦截代理操作、评估政策、要求人类批准和记录执行轨迹，实现92.9%的政策执行准确率。

Comments 16 pages, 2 figures, open-source implementation at https://github.com/agentwall/Agentwall

Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks

基准的基准：解构影响与代码仓库质量在LLM安全基准中的作用

Junjie Chu, Xinyue Shen, Ye Leng, Michael Backes, Yun Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） ； University of Waterloo（滑铁卢大学） ； Flexera（Flexera公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文通过系统研究31个LLM安全基准及382篇非基准论文，发现仅39%的基准仓库可直接运行，且缺乏伦理考量。研究揭示社区采用基准与作者声望和代码运行性相关，但与代码质量无关，指出安全基准可能存在安全隐患和不可比性问题。

Comments 24 pages. 19 figures

An ontological approach to foster the convergence, interoperability and operationalization of frameworks for Trustworthy AI

一种本体方法用于促进可信人工智能框架的收敛、互操作性和可操作性

Salvatore Flavio Pileggi

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CY

AI总结 本文提出AI伦理本体（AI-EO），利用语义技术促进可信人工智能框架的收敛、互操作性和可操作性。

On the Foundations of Trustworthy Artificial Intelligence

人工智能可信性的基础

TJ Dunham

机构 * ARC 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出确定性推理是可信AI的必要充分条件，并通过信任熵量化非确定性的成本，证明验证失败概率精确为1-2^{-H_T}。通过构建纯整数推断引擎，验证了跨架构模型的确定性，展示了AI信任的本质是算术问题。

Comments 26 pages, 10 tables, 1 figure, 17 theorems/definitions/corollaries

Workflow-Level Design Principles for Trustworthy GenAI in Automotive System Engineering

汽车系统工程中可信生成式人工智能的工作流级设计原则

Chih-Hong Cheng, Brian Hsuan-Cheng Liao, Adam Molin, Hasan Esen

机构 * Carl von Ossietzky University of Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学） ； DENSO AUTOMOTIVE 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出可信生成式人工智能在汽车系统工程中工作流级设计原则，通过需求增量识别、SysML架构更新及可追溯测试保障安全关键系统工程的可信度。

Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents

注意GAP：在LLM代理中，文本安全不转移到工具调用安全

Arnold Cartagena, Ariane Teixeira

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 该研究发现LLM代理中文本安全不等同于工具调用安全，引入GAP基准测试揭示两者差异，强调需专门评估工具调用安全。

Comments 23 pages, 5 figures, 4 tables, code and data at https://github.com/acartag7/gap-benchmark

Improving the Safety and Trustworthiness of Medical AI via Multi-Agent Evaluation Loops

通过多智能体评估循环提升医疗AI的安全性与可信度

Zainab Ghafoor, Md Shafiqul Islam, Koushik Howlader, Md Rasel Khondokar, Tanusree Bhattacharjee, Sayantan Chakraborty, Adrito Roy, Ushashi Bhattacharjee, Tirtho Roy

机构 * Sonoma State University（索诺玛州立大学） ； Iowa State University（爱荷华州立大学） ； University of Dhaka（达卡大学） ； Notre Dame College（诺特丹学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出多智能体评估循环框架，通过结合DeepSeek R1和Med-PaLM等模型，有效提升医疗AI的安全性和伦理合规性，实现89%的伦理违规减少和92%的风险降级。

Trustworthy Machine Learning under Distribution Shifts

在分布偏移下可信的机器学习

Zhuo Huang

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 研究旨在通过提升鲁棒性、可解释性和适应性，在分布偏移下增强机器学习系统的可靠性与责任性。

Comments PhD Thesis

HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model

HoliSafe: 视觉-语言模型的综合安全性评估与建模

Youngwan Lee, Kangsan Kim, Kwanyong Park, Ilcahe Jung, Soojin Jang, Seanie Lee, Yong-Ju Lee, Sung Ju Hwang

机构 * ETRI ； KAIST AI（韩国科学技术院人工智能研究所） ； University of Seoul（首尔大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 HoliSafe提出了一种模块化框架和视觉守护模块，通过综合安全性数据集提升视觉-语言模型的安全性，展现其在多个基准中的优越表现。

Comments Project page: https://youngwanlee.github.io/holisafe