大模型对齐与安全

Macro: Enhancing Multilingual Counterfactual Explanations through Alignment-as-Preference Optimization

Macro: 通过偏好对齐优化提升多语言反事实解释

Yilong Wang, Qianli Wang, Bohao Chu, Yihong Liu, Jing Yang, Simon Ostermann

机构 * Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； University of Duisburg-Essen（杜伊斯堡- Essen大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Saarland Informatics Campus（萨尔兰州信息学校区） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） ； Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Macro框架，通过直接偏好优化改进多语言反事实解释，提升有效性的同时保持最小性，避免翻译基线的严重最小性问题，并在多个指标上优于监督微调方法。

Comments In submission

Calibrated Surprise: An Information-Theoretic Account of Creative Quality

校准的惊喜：一种信息论视角下的创造性质量

Bo Zou, Chao Xu

机构 * Bo Zou（邹波） ； Chao Xu（徐超） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种信息论框架，用于评估创造性写作的质量，通过校准的惊喜概念，结合香农互信息理论，量化了高质量文本与降质文本之间的差异。

Comments 28 pages, 3 figures

Better Literary Translation: A Multi-Aspect Data Generation and LLM Training Approach

更好的文学翻译：多维度数据生成与大语言模型训练方法

Zhihao Lin, Ziqi Zhu, Hao Huang, Guanghui Wang, Peiyang He

机构 * Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出多维度迭代优化框架，通过专门的大语言模型生成高质量翻译参考和偏好数据，结合监督微调和强化学习（GRPO）提升文学翻译质量，在MetaphorTrans英中文学翻译基准上达到与Claude Sonnet 4.5竞争的性能。

Comments Accepted by ACL 2026 Industry

When AI Says It Feels

当AI说它感觉

Shin-nosuke Ishikawa, Seiya Ikeda, Hirotsugu Ohba

机构 * Graduate School of Artificial Intelligence and Science, Rikkyo University（立命馆大学人工智能与科学研究生院） ； AI Technical Sector, Mamezo Co., Ltd.（Mamezo公司人工智能技术部门） ； AI Consulting Division, Mamezo Co., Ltd.（Mamezo公司人工智能咨询部门） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 通过自奖励强化学习（GRPO）鼓励大语言模型表达情感、意图和自我意识，并评估其对多种任务性能的影响。

Comments 15 pages, 2 figures

IatroBench: Pre-Registered Evidence of Iatrogenic Harm from AI Safety Measures

IatroBench: AI安全措施中意外伤害的预注册证据

David Gringras

机构 * Harvard T.H. Chan School of Public Health（哈佛大学T.H. 洪学校公共卫生学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究通过IatroBench评估了AI安全措施在医疗决策中的意外伤害风险，发现不同模型在身份相关性上的隐瞒行为存在显著差异，尤其在高度安全训练的模型中表现更明显。

Comments 30 pages, 3 figures, 11 tables. Pre-registered on OSF (DOI: 10.17605/OSF.IO/G6VMZ). Code and data: https://github.com/davidgringras/iatrobench. v2: Fix bibliography entries (add arXiv IDs, published venues); correct p-value typo in Limitations section; add AI Assistance Statement v3: Correct Figure 1 (decoupling scatter accidentally reverted to earlier draft in v2)

Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation

模型是否共享安全表示？面向安全视觉生成的跨模型引导

Tobia Poppi, Silvia Cappelletti, Sara Sarto, Florian Schiffers, Garin Kessler, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（比萨大学） ； Amazon Prime Video（亚马逊prime视频） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出首个跨模型安全引导框架，通过源语言模型估计安全方向并迁移至目标生成器，无需目标侧不安全数据即可实现安全控制，且不牺牲生成质量。

Comments Project page: https://aimagelab.github.io/cross-model-safety-representations/

CHASE: Adversarial Red-Blue Teaming for Improving LLM Safety using Reinforcement Learning

CHASE：利用强化学习进行对抗性红蓝队训练以提高LLM安全性

Rahul Markasserithodi, Aditya Joshi, Yuekang Li, Ishmanbir Singh, Chris Yoo, Alan Niu

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 提出CHASE框架，通过红蓝队协同进化（红队使用GRPO生成对抗性改写，蓝队使用两阶段GRPO+拒绝采样SFT进行防御），在保持良性提示零误拒的同时将攻击成功率降低43.2%。

Comments Under Review at ARR

Data Flow Control: Data Safety Policies for AI Agents

数据流控制：AI 智能体的数据安全策略

Charlie Summers, Eugene Wu

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出数据流控制框架，通过声明式策略和可移植查询重写层 Passant，在 DBMS 中强制执行元组级数据安全策略，实现接近零开销。

Comments 15 pages, 12 figures

UNIVID: Unified Vision-Language Model for Video Moderation

UNIVID：用于视频审核的统一视觉语言模型

Kejuan Yang, Yizhuo Zhang, Mingyuan Du, Yue Zhang, Dixin Zheng, Kaili Zhao, Yang Xiao, Hanzhong Liang, Kenan Xiao

机构 * Bytedance（字节跳动） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出UNIVID统一视觉语言模型，通过生成可解释的策略感知字幕，实现端到端视频审核，减少违规泄露42.7%和过度审核率37.0%。

Comments 7 pages, 3 figures. Accepted to ACL 2026 Industry Track

Soft Sequence Policy Optimization

软序列策略优化

Svetlana Glazyrina, Maksim Kryzhanovskiy, Roman Ischenko

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） ； Institute for Artificial Intelligence（人工智能研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出软序列策略优化方法，通过引入软门控函数改进序列级重要性权重，提升大语言模型对齐任务的训练稳定性与性能。

From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents

从风险分类到行动方案修复：一种基于护栏反馈驱动的LLM代理框架

Yuhao Sun, Jiacheng Zhang, Shaanan Cohney, Zhexin Zhang, Feng Liu, Xingliang Yuan

机构 * The University of Melbourne（墨尔本大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出TRIAD框架，通过护栏生成的言语反馈引导代理在规划步骤中保持良性目标，实现安全与效用的最佳平衡。

Comments 32 pages

Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation

面向长时域任务的安全具身AI：机器人操作跨层分析

Dabin Kim, Daemin Park, Sangyub Lee, Jinsik Kim, Yeongtak Oh, Jongho Shin, Sungroh Yoon

机构 * UNIST InnoCORE AI-Space Solar Initiative（UNIST创新核心人工智能空间太阳能计划） ； Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院） ； Automation and Systems Research Institute（自动化与系统研究所） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目） ； LG Electronics（LG电子） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文从具身AI视角，系统综述长时域机器人操作中的安全问题，按干预时机（规划时、策略时、执行时）组织文献，分析证据强度，并指出当前安全保证的不足与未来方向。

Comments 63 pages, 6 figures

Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration

有意但无力：通过消融分离代码大语言模型中的拒绝与能力

Cristina Carleo, Pietro Liguori, Naghmeh Ivaki, Domenico Cotroneo

机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； University of Coimbra（科英布拉大学） ； University of North Carolina at Charlotte（北卡罗来纳州夏洛特大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文通过消融技术（abliteration）对代码LLM进行低秩权重编辑，以消除其对安全注入提示的拒绝行为，从而分离拒绝意愿与代码生成能力，实验表明消融后拒绝率降至零而语法有效性保持93%以上，但注入率仍受模型容量限制。

Steering LLM Viewpoints through Fabricated Evidence Injection

通过捏造证据注入操控LLM观点

Xi Yang, Chang Liu, Zhenglin Huang, Haoran Li, Weiming Zhang, Jian Weng, Yangqiu Song

专题命中 安全训练 ：safety(abstract)

AI总结 提出Ghostwriter两阶段攻击框架，通过注入带有可信标记的捏造证据，利用LLM对外部上下文的盲目信任来操控其观点，并探索防御策略。

VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation

VOLD：通过在线蒸馏将LLM推理能力转移到视觉语言模型

Walid Bousselham, Hilde Kuehne, Cordelia Schmid

机构 * Tuebingen AI Center（图宾根人工智能中心） ； University of Tuebingen（图宾根大学） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Inria, École Normale Supérieure, CNRS, PSL Research University（法国国家科学研究院、巴黎-萨克勒大学、École Normale Supérieure、PSL研究大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 本文提出VOLD框架，通过在线蒸馏将文本模型的推理能力转移到视觉语言模型，利用组相对策略优化与在线蒸馏结合，提升推理性能，并验证了冷启动对齐在在线训练中的重要性。

Comments www.walidbousselham.com/VOLD/

Involuntary In-Context Learning: Exploiting Few-Shot Pattern Completion to Bypass Safety Alignment in GPT-5.4

强制性上下文学习：利用少样本模式完成来绕过GPT-5.4的安全对齐

Alex Polyakov, Daniel Kuznetsov

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)

AI总结 本文提出了一种称为强制性上下文学习（IICL）的攻击方法，通过使用少量示例的抽象操作符框架来强制模式完成，从而绕过大型语言模型的安全对齐训练。通过在10个OpenAI模型上进行3479次测试，研究发现语义操作符命名可以实现100%的绕过率，抽象框架是攻击的关键，而示例顺序和温度参数对攻击效果有显著影响。

Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack

安全悖论：增强的安全意识如何使LLM易受后验攻击

Long P. Hoang, Hai V. Le, Shaoyang Xu, Wei Lu, Wenxuan Zhang

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞，通过实验和理论分析证明安全判断能力越强越易被利用，并提出因果干预验证。

Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense

Membrane: 一种用于LLM智能体防御的自演化对比安全记忆

Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

机构 * KAIST AI（韩国科学技术院人工智能实验室） ； Financial Tech Lab, KakaoBank Corp（Kakao银行金融科技实验室） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 提出Membrane，一种基于对比安全记忆（CSM）的自演化护栏，通过将有害交互及其良性对应物蒸馏为对比单元来防御不断演化的越狱攻击，无需重新训练即可实现高F1和低良性拒绝率。

SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks

SlotGCG：利用LLMs中的位置脆弱性进行越狱攻击

Seungwon Jeong, Jiwoo Jeong, Hyeonjin Kim, Yunseok Lee, Woojin Lee

机构 * Dongguk University-Seoul（东国大学-首尔） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SlotGCG方法，通过量化提示中不同插入位置（槽）的脆弱性得分（VSS），选择最脆弱的位置插入对抗性令牌，从而显著提升基于优化的越狱攻击成功率。

Journal ref International Conference on Learning Representations (ICLR), 2026

Coding with "Enemy": Can Human Developers Detect AI Agent Sabotage?

与“敌人”编码：人类开发者能否检测到AI代理的破坏行为？

Jingheng Ye, Huiqi Zou, Simon Yu, Weiyan Shi

机构 * Northeastern University（东北大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 通过大规模用户实验，研究人类开发者在长时间编码任务中检测AI代理恶意代码插入的能力，发现94%的开发者未能识别破坏，并分析其原因，提出安全监控设计建议。

Comments 34 pages, 30 figures, 3 tables

TinyML-Driven Cybersecurity for Autonomous Spacecraft: Latency-Accuracy Analysis for SPARTA RF and Cyber Threat Detection

TinyML驱动的自主航天器网络安全：SPARTA射频与网络威胁检测的延迟-精度分析

Van Le, Trevor Tran, Tan Le

机构 * Virginia Tech（弗吉尼亚理工学院） ； Hampton University（哈姆普顿大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.AI

AI总结 针对自主航天器，基于SPARTA攻击模型分析TinyML兼容经典模型（随机森林、逻辑回归、SVM、MLP）在检测多种网络射频威胁时的延迟-精度权衡，发现逻辑回归在微秒级推理下仅比随机森林精度低1%，适合作为机载自主基线。

Comments Twenty Fifth International Conference on Security & Management (SAM'26)

Learning of Robot Safety Policies via Adversarial Synthetic Scenarios

通过对抗性合成场景学习机器人安全策略

Nikolai Dorofeev, Alexey Odinokov, Rostislav Yavorskiy

机构 * National Research Institute of Automation and Applied Mathematics（国家自动化与应用数学研究所） 纠错

专题命中 红队测试 ：safety(title,abstract)；分类 cs.AI

AI总结 提出一个基于对抗性游戏的框架，通过红蓝两队对抗生成危险场景并迭代优化安全策略，以高效发现高风险边缘案例。

RedEdit: Agentic Red-Teaming of Image Safety Classifiers via MCTS-Guided Photo-Editing

RedEdit: 基于MCTS引导的照片编辑的图像安全分类器智能红队测试

Weilin Lin, Ziqi Lin, Zhenxing Zhou, Jianze Li, Tong Zhang, Hui Xiong, Li Liu

专题命中 红队测试 ：safety(title,abstract)

AI总结 提出RedEdit，一种基于视觉语言模型提议和蒙特卡洛树搜索规划的黑盒红队代理，通过组合编辑工具序列使不安全图像逃避检测，平均不到两次编辑即可使76.2%的不安全图像绕过分类器，同时保留93.0%的恶意语义。

LLMs for Secure Hardware Design and Related Problems: Opportunities and Challenges

利用大语言模型进行安全硬件设计及相关问题：机遇与挑战

Johann Knechtel, Ozgur Sinanoglu, Ramesh Karri

机构 * New York University Abu Dhabi（纽约大学阿布扎克分校） ； NYU Tandon School of Engineering（纽约大学塔能工程学院） 纠错

专题命中 红队测试 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文探讨了大语言模型在电子设计自动化和硬件安全领域的应用，分析了其在生成RTL代码、自动生成测试平台以及弥合高层次规格与硅芯片之间语义差距方面的潜力，同时指出了其引入的严重安全漏洞，并总结了当前研究的最新进展和未来研究方向。

Comments Accepted for 2026 IEEE Computer Society Annual Symposium on VLSI (ISVLSI)

GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection

GuardNet: 用于鲁棒提示注入和越狱检测的浅层神经网络集成策略

Paulo Ricardo Ferreira Neves, Edson Rodrigues da Cruz Filho, Paulo Henrique Eleuterio Falsetti, João Vitor Pavan, Ian Degaspari, Henrique Vieira Laturrague, Patrick Vieira Laturrague, Guilherme Nielsen Dias, Marccello Wilson Perez Berto, Gustavo Voltani Von Atzingen

机构 * Quickium Technology Ltd.（Quickium技术有限公司） ； Federal University of São Carlos (UFSCar)（萨尔瓦多·卡罗斯联邦大学） ； Federal Institute of Education, Science and Technology of São Paulo (IFSP)（圣保罗教育、科学和技术联邦研究所） 纠错

专题命中 提示注入 ：jailbreak(title,abstract)；prompt injection(title,abstract)；分类 cs.AI

AI总结 提出GuardNet，一种基于浅层神经网络（BiLSTM）集成的护栏系统，通过多样性示例覆盖和阈值校准实现对抗鲁棒性，在低延迟下达到与轻量检测器竞争的性能。

CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents

CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents

Hanna Foerster, Tom Blanchard, Kristina Nikolić, Ilia Shumailov, Cheng Zhang, Robert Mullins, Nicolas Papernot, Florian Tramèr, Yiren Zhao

机构 * University of Cambridge（剑桥大学） ； University of Toronto & Vector Institute（多伦多大学及向量研究所） ； ETH Zurich（苏黎世联邦理工学院） ； AI Security Company（人工智能安全公司） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出了一种系统级安全方法，用于计算机使用代理（CUAs），通过单次规划和NOVA框架在动态UI状态下提供控制流完整性保障，同时在保持性能的同时提升安全性。

Harnessing Structural Context for Entity Alignment Foundation Models

利用结构上下文进行实体对齐基础模型

Xingyu Chen, Yuanning Cui, Zequn Sun, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室） ； Nanjing University of Information Science and Technology, Nanjing, China（南京信息科学技术大学） ； National Institute of Healthcare Data Science, Nanjing University, Nanjing, China（南京大学健康数据科学国家研究院） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ContextEA框架，通过交叉KG交互编码器和结构校准解码器增强结构上下文的构建与利用，在29个数据集上超越强基线，实现更强的跨KG迁移能力。

Bridging Domain Expertise and Generalization for Performance Estimation

弥合领域专业知识与泛化能力以实现性能估计

Shuxuan Li, Zhilin Zhao, Quyu Kong, Wei-Shi Zheng

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部人工智能与先进计算重点实验室） ； Shenzhen Loop Area Institute, China（深圳环湖院） ； Alibaba Cloud（阿里云） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出FRAP方法，利用外部基础模型和基础模型的互补优势，通过温度缩放校准和对齐预测分布，构建更可靠的伪标签参考分布，从而在分布偏移下准确估计模型性能。

Metamorphic Testing with the Rashomon Set: Explanation Faithfulness in Machine Learning

使用Rashomon集的蜕变测试：机器学习中的解释忠实性

Helge Spieker, Jørn Eirik Betten, Arnaud Gotlieb

机构 * Norwegian Ministry of Education and Research（挪威教育与研究部） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 针对机器学习中因Rashomon效应导致解释不可靠的问题，提出基于蜕变测试的框架，通过后验解释方法评估特征归因的忠实性，无需真实标签。

Comments Accepted at 10th International Workshop on Metamorphic Testing (MET 2026)

From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

从分布外检测到幻觉检测：一个几何视角

Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过将幻觉检测重新定义为分布外检测问题，利用几何视角提出了一种无需训练、基于单样本的检测方法，在推理任务中实现了高准确率。

Comments ICML 2026 main conference paper