大模型对齐与安全

STAIF: A Stage-wise Optimization for Complex Instruction Following

STAIF：一种用于复杂指令跟随的逐阶段优化方法

Jian Hong, Chen Cheng, Quan Liu, Yuhao Chen, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research Group（科大讯飞研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型遵循复杂指令的挑战，提出STAIF逐阶段优化框架，先通过偏好优化提高软约束敏感度，再用可验证奖励强化学习确保硬约束遵守，构建相关数据集，验证了该方法的设计并展现出领先性能和泛化能力。

Comments 16 pages, 6 figures

Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

让我看着你：用于对话语音合成的高级面部表情建模

Yifan Hu, Shuwei He, Rui Liu, Haizhou Li

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题，提出基于大语言模型的FacialTalker框架，含AUTokenizer和DualDPO策略，构建VSDD-1K数据集，实验表明该框架在表情感知和语音合成质量上表现出色。

Comments 10 pages, 5 figures, 5 tables. Accepted by ACM MM 2026

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

SyRuP：通过大语言模型解码中的奖励引导预测增强系统提示遵循

Seoyeon Kim, Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何增强大语言模型对系统提示的遵循，提出SyRuP框架，通过训练交叉注意力奖励头产生令牌级遵循分数，推理时结合多种信号对候选重新排序，实验表明该方法能有效提升系统提示遵循度且开销适度。

Comments under review, 23 pages

PRISM: Prompt Refinement via Image-grounded Self-rewarding Mechanism for Text-to-Image Generation

PRISM：通过基于图像的自我奖励机制进行文本到图像生成的提示优化

Guo Tang, HongJie Luo, Tianxu Wang, Ying Zhang, Hao Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Sun Yat-sen University（中山大学） ； South China University of Technology（华南理工大学） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对文本到图像生成模型对提示制定敏感的问题，提出PRISM框架，通过基于图像的自我奖励机制，利用结构化视觉诊断和多任务监督微调等方法，提高图像质量和语义对齐，并提供可解释反馈。

Comments 18 pages, 5 figures

Epistemic Norms for AI Safety and Alignment Research

人工智能安全与对齐研究的认知规范

Keivan Navaie

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 探讨人工智能安全与对齐研究和主流人工智能研究的差异，基于结构化综合识别当前对齐研究的差距维度，提出包含多项内容的{\sc ECAISA}，以约束安全相关研究声明的记录、检查和依赖方式，目标是可审计性。

Comments 36 pages

When LLM Defenses Backfire: Characterizing Safety, Performance, and Cost Trade-offs

当大语言模型防御适得其反时：刻画安全性、性能和成本的权衡

Tong Zhang, Zexin Li, Simin Chen, Yun Peng

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型越狱防御的安全性、性能和成本权衡，按操作策略组织防御并研究其副作用，发现不同防御在安全与可用性、效率权衡上有差异，为评估防御副作用及选择防御提供基准和指导。

Mask2Shield: Strengthening LLM Safety against Neuron-Pruning Attacks

Mask2Shield：增强大语言模型抵御神经元剪枝攻击的安全性

Ying JinCheng, Minghui Xu, Yinhao Xiao, Xiuzhen Cheng, Wencheng Yang

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)

AI总结 研究针对大语言模型神经元剪枝攻击问题，提出Mask2Shield方法，通过掩码前向对齐训练模型，减少对可移除安全神经元集的依赖，降低针对性剪枝攻击成功率，同时保持能力基准。

Auditing Alignment Controllability in LLMs via Political Axes

通过政治轴审计大语言模型中的对齐可控性

Bartol Bućan, Nikola Sočec, Sarah Isufi, Morena Granić, Luka Hobor, Agneza Krajna, Mihael Kovac, Mario Brcic

专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究通过对7个大语言模型进行基于提示可控性的压力测试，探讨其在政治轴上的对齐可控性，发现上下文框架起主要作用，模型移动方式有别，强调政治坐标审计需考虑分散性等可控性因素，并发布相关数据和代码。

Comments 17 pages, 6 figures, 4 tables. Accepted at AIES 2026 (AAAI/ACM Conference on AI, Ethics, and Society). This version includes the supplementary appendix. Code and data: https://github.com/mbrcic/llm-political-steerability (Zenodo DOI 10.5281/zenodo.21489805)

Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

超越直接回答：通过启发式强化学习将教育大语言模型调整为苏格拉底式引导者

Xiaokun Wang, Siyu Song, Wentao Liu, Xiaodong Zou

机构 * East China Normal University（华东师范大学） ； Shanghai Chuangjie Situo Information Technology Co., Ltd.（上海创杰思拓信息技术有限公司） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对教育场景中LLMs直接作答问题，提出HeuristicEdu两阶段管道，经监督热身和GRPO，利用特定对话及启发式奖励训练Qwen2.5 - 7B，提升了支架有效性，降低关键词泄漏，表明规模并非引发苏格拉底行为的唯一因素。

Comments 12 pages, 2 figures, 5 tables; includes an appendix

Explainable Reinforcement Learning via Physics-Aware Policy Distillation

通过物理感知策略蒸馏实现可解释强化学习

Shaker Al-Tamari, Waled Kadour

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对安全关键领域中深度强化学习的黑箱问题，利用策略蒸馏框架，以高性能TD3为教师模型，基于浅层决策树生成可解释学生代理，通过特定方法生成数据集，实现性能与教师相当并保持系统稳定性和可解释性。

Comments 6 pages, 7 figures

Agentic Permissions Policy Algebra for Taint Confinement in LLM Agents

用于大语言模型代理中污点限制的代理权限策略代数

Arseny Kravchenko, Vadim Liventsev, Innokentii Konstantinov, Ildar Iskhakov, Matvey Kukuy

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究大语言模型代理处理混合机密数据时的安全风险，提出APPA框架，通过引擎管理上下文分支等解决可用性瓶颈，经双幺半群模型证明相关特性，实验表明其能抑制数据泄露并恢复部分被污点跟踪损失的效用。

Comments Preprint. Submitted to the 19th ACM Workshop on Artificial Intelligence and Security (AISec '26). 10 pages, 2 tables, 1 figure

Constrained Reinforcement Learning Using Successor Representations

使用后继表示的约束强化学习

Michael Girstl, Alexander Mattick, Christopher Mutschler

机构 * Technical University of Darmstadt (TU Darmstadt)（达姆施塔特工业大学） ； Hessian Center for Artificial Intelligence (hessian.AI)（黑森州人工智能中心） ； Fraunhofer Institute for Integrated Circuits IIS, Fraunhofer IIS（弗劳恩霍夫集成电路研究所IIS） ； University of Technology Nuremberg (UTN)（纽伦堡工业大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对现实世界强化学习中策略难适应成本函数变化的问题，提出SafeDSR方法，通过引入可学习权重矩阵扩展深度后继表示到约束强化学习，能快速重训策略，在二维导航环境展示竞争力与灵活性。

Comments published in Transactions for Machine Learning Research 2026

Journal ref Michael Girstl, Alexander Mattick, & Christopher Mutschler (2026). Constrained Reinforcement Learning Using Successor Representations. Transactions on Machine Learning Research

Constitutional governance for societies of AI agents in the built environment: a research agenda

建筑环境中人工智能代理社会的宪法治理：一项研究议程

Ali Ghoroghi

专题命中 安全训练 ：safety(abstract)；分类 cs.CY

AI总结 本文针对建筑环境中人工智能代理社会的治理提出研究议程，围绕深度不确定性下改造的机制设计、建筑运营中代理的物理信息验证、冲击下城市基础设施的抗脆弱协调三个问题，借鉴多代理系统研究成果，阐述基础、识别问题并概述相关要求。

Comments 23 pages, 2 figures. Supplementary material is included in the same PDF

Decentralized Granular Access Control for Agentic AI Systems in Critical Infrastructure

关键基础设施中智能体人工智能系统的去中心化粒度访问控制

Arun Malik, Deepal Jayasinghe, Bradley Klemick, Prachi Shah, Nitish Talasu, Vineet Tushar Trivedi

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究关键基础设施中智能体人工智能系统的安全挑战，提出去中心化多层访问控制架构，含复合身份模型等四项创新，基于OWASP威胁分类法设计，经云提供商生产验证，能有效实施粒度访问控制并防止特权升级。

Comments 7 pages, 9 figures, 7 tables

Optimal Reward Shaping: Autonomous Car Parking Case Study

最优奖励塑造：自动驾驶汽车停车案例研究

Emre Özkaya, Nicolas R. Gauger

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究非完整约束下无模型强化学习奖励函数设计难题，提出含覆盖门控对齐反馈等的参数化奖励塑造框架，通过联合元优化及基于代理的贝叶斯优化，优化后的深度Q网络代理在停车任务中表现出色。

Comments 12 pages, 8 figures. Includes supplementary video demonstration and open-source code link

Separating Clicks from Baits: Using Large Language Models to Detect Misleading YouTube Thumbnails

从诱饵中分离点击：使用大语言模型检测误导性的YouTube缩略图

Wajiha Naveed, Muhammad Muneeb Pervez, Zaeem Mohtashim Khan, Zafar Ayyub Qazi, Zartash Afzal Uzmi

专题命中 安全训练 ：trustworthy(abstract)

AI总结 研究针对YouTube等平台误导性缩略图问题，提出用大语言模型的多模态检测管道，构建数据集并评估多个模型，发现Claude 3.5 Sonnet性能突出，通过失败分析为视频平台发展提供方向。

Comments Accepted to the 21st International AAAI Conference on Web and Social Media (ICWSM 2027)

Journal ref Proceedings of the International AAAI Conference on Web and Social Media, 2027

The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

门总是关闭：关于向冻结的视觉语言模型注入辅助信号

Moshiur Farazi, Sameera Ramasinghe, Bekir Sait Ciftler, Mahbub Ahmed Turza, Shafin Rahman

机构 * University of Doha for Science and Technology（多哈科技大学） ； Pluralis Research（普卢拉利斯研究公司） ； North South University（南北大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 研究视觉语言模型中辅助信号注入问题，发现优化器常使门控路径关闭。利用抑制现象，通过双曲视觉关系图的几何辅助损失正则化LoRA微调，实验表明该方法能保持关系准确率，还指出嵌入范数对齐及固定注入的必要性。

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

TriShieldRAG：一种针对检索增强生成中知识腐败的三环深度防御框架

Susil Kumar Mohanty, Rohit Patel, Kosuru Yuvaraj, Jeenal Chaudhary, Disha Singhania

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对检索增强生成中知识腐败问题，构建TriShieldRAG框架，设置摄取防护、检索评分器和跨语言模型共识阶段三个环，推导环2和环3起作用的条件，评估表明该框架能大幅降低攻击成功率并保持良性查询准确性。

Gubernaut: A Deterministic Homeostatic Controller for Affect-Regulated LLM Agents, Validated Across Independent Model Families

Gubernaut：用于情感调节的大语言模型代理的确定性稳态控制器，在独立模型家族中得到验证

Dushyant Sharma

机构 * Gubernaut Research（Gubernaut研究） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型代理的故障模式，提出Gubernaut认知控制器，通过在四个前沿模型上预注册的评估协议验证，该控制器能使模型更平静，有恢复特征等机制，附带可重判记录及预注册故障模式。

Comments 26 pages, 7 figures, 3 tables. Data, transcripts, and analysis scripts: https://github.com/thegubernaut/Gubernaut_Validation Project page: https://gubernaut.com (archived at https://doi.org/10.5281/zenodo.21303518)

Visual Token Compression Enhances Robustness of MLLMs

视觉令牌压缩增强多模态大语言模型的鲁棒性

Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG

AI总结 研究如何增强多模态大语言模型的鲁棒性，核心方法是通过测量视觉令牌与语言特征空间的距离来识别并剪枝分布外视觉令牌，该方法能有效防御越狱攻击、减轻幻觉，提升模型在通用数据集上的表现。

Comments 20 pages, 16 figures. Accepted at ACM Multimedia 2026. Code: https://github.com/Eurek001/OOD-VTP

Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B

Semalith v1.4：一个经过校准的1.84亿参数安全分类器，在参数比Llama - Guard - 3 - 8B少44倍的情况下实现了先进的提示注入检测

Tejasvi C. Addagada

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对金融服务等场景中大语言模型安全分类需求，提出Semalith v1.4分类器，能单步实现三轴安全分类，经训练和对比测试，在提示注入检测上表现出色且参数少，还给出不同场景下的部署建议。

Comments 16 pages, 8 tables, no figures

Just Testing, Move Along: Evasion of LLM-based System Log Interpretation by Prompt Injection

只是测试，继续前进：通过提示注入规避基于大语言模型的系统日志解释

Max Landauer, Florian Skopik, Markus Wurzenberger, Franciszek Górski, Mateusz Krzysztoń

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 研究基于大语言模型的系统日志解释中提示注入攻击问题，提出评估框架，利用真实攻击日志痕迹创建对抗示例，证明攻击可致恶意日志误分类，且LLMs解释含对抗指标可用于检测攻击。

Agentic Cloud Decoys: A Deception-Driven Framework for Autonomous Intrusion Investigation

智能云诱饵：一种用于自主入侵调查的欺骗驱动框架

Mohan Manivannan, Dalal Alharthi

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究针对云遥测使入侵理解困难的问题，提出云诱饵人工智能代理框架，通过会话聚合运算符、动态提示生成等方法，在十个AWS S3场景测试中效果良好，能压缩调查路径，多数场景可完全重建，且延迟短。

Are You Still the Agent I Authorized? Earned Authority under a Fixed Ceiling for Evolving Agents

你还是我授权的那个智能体吗？在固定上限下演化智能体的获得性权限

Zhaoxi Zhang, Xiaomei Zhang

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究长期存在的人工智能智能体部署后演化引发的授权问题，提出状态边界模型阐述授权连续性，通过固定过渡包络和效果上限，区分请求与实现效果，证明突变不会超上限，还映射了六种突变类别的授权后果。

How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift

大语言模型任务适应如何重塑对齐：行为和表征漂移的多维研究

James Elcock, William F. Shen, Xinchi Qiu, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型任务适应对对齐的影响，通过系统评估监督微调、KL正则化SFT和可验证奖励强化学习等方法，发现训练后调整非均匀重塑对齐，不同方法影响各异，强调任务适应是对齐干预，应进行多维对齐评估。

Comments 21 pages, 7 figures (includes references and appendices)

HALLELUAI: A Hallucination-Aware AI System for Ultra-Realistic Image-to-Video Generation at Scale

HALLELUAI：一个用于大规模超逼真图像到视频生成的幻觉感知人工智能系统

Aniket Sakpal, Yang Jiang, Rouzbeh Davoudi, Shayan Hassantabar, Mani Najmabadi

机构 * Expedia Group（亿客行集团） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 针对AI生成视频时质量控制难的问题，HALLELUAI系统集成视频调节与智能再生模块，能评估风险并迭代修复。经人工参与评估，该系统可输出超逼真视频，推动了可信AI视频内容发展，实现大规模图像到视频生成。

Comments 10 pages, 4 figures, 3 tables

Robust Conformalized Selection with Noisy Responses

具有噪声响应的鲁棒共形选择

Chengyao Yu, Hongxin Wei, Bingyi Jing

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 研究在含噪声响应数据下的选择问题，提出鲁棒共形选择框架RCS，通过将标签噪声转化为协变量偏移问题，实现有效FDR控制，经实验验证了该方法在模拟和真实数据集上的有效性。

DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation

DynaCalKV：通过头部分组和自适应秩分配实现键值缓存压缩

Tan T. Nguyen, Quan V. Dang

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。

Spectral Dynamics of Semantic Drift in Clinical Multi-Agent Language Model Networks

临床多智能体语言模型网络中语义漂移的谱动力学

Amritesh Banerjee

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 研究临床多智能体语言模型网络中语义漂移的谱动力学，通过映射多智能体通信不确定性轨迹到嵌入空间，揭示结构瓶颈危害。提出动态谱监测技术，经图拉普拉斯算子特征分解确保全局状态扩散，保障自主医疗诊断可靠性。

MPR-CiteG: Enhancing RAG with Multi-Portfolio Retrieval and Citation-Grounded Generation

MPR-CiteG：通过多组合检索和引用基础生成增强RAG

Hyewon Lee, Minkyung Song, Junghyun Oh, Seunghoon Han, Sungsu Lim

机构 * Chungnam National University（忠南国立大学） ； Data Intelligence Laboratory（数据智能实验室） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 该研究针对生成式AI检索低效与缺来源验证问题，提出双组件MPR-CiteG框架，用多组合检索器高效检索，引用基础生成模块确保输出事实一致且有源可溯，经实验验证其有效性与可靠性，助力构建更可信准确的大语言模型。

Comments 12 pages, 1 figure, 7 tables. The 1st International Workshop on Retrieval-Driven Generative AI & ScienceON AI Challenge 2025@CIKM