大模型对齐与安全

Inference-Time Mitigation of Adversarial Political Bias in Large Language Models

大语言模型推理时的对抗性政治偏见缓解

Tejaswi V. Panchagnula, Bruce Coburn, Bryce J. Dietrich, Robert X. Browning, Edward J. Delp, Fengqing Zhu

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；alignment(abstract)；safety(abstract)

AI总结 针对大语言模型的对抗性政治偏见漏洞，提出思维链提示与直接偏好优化等策略，其中递归自校正方法可显著提升模型的政治中立性表现。

STAGE: Controlled Objective Admission for Multi-Preference LLM Alignment

STAGE：面向多偏好大语言模型对齐的可控目标准入

Yongqi Tong, Zhenyu Zhang, Ruirui Wang, Kewei Fu, Shaoqing Lin, Sijie Dong, Jiang-Ming Yang, Xin Zhang, Jianshe Li

机构 * Ant International（蚂蚁国际） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(title,abstract)；分类 cs.CL

AI总结 该研究针对多偏好LLM对齐的目标准入时机问题，提出稳定性引导的STAGE控制器，通过活动集扩展与探测排序等方法，在多偏好对齐任务中取得优于基线的自动评估结果，为RLHF提供新控制变量。

MINT: Min-Selection Preference Distillation for Balanced Multi-Objective Alignment

MINT：用于平衡多目标对齐的最小选择偏好蒸馏

Tony Tu, Sayan Chakraborty, Ruomeng Xu, Tony Qin, Austin Tian

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Zillow Group（齐洛集团） 纠错

专题命中 偏好对齐 ：alignment(title)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对多目标对齐的不平衡问题，提出MINT方法，通过按最弱目标排名候选替代加权和排名，在情感支持等任务中显著提升双目标表现并降低不平衡性。

Why Summaries Turn Neutral: Policy Attribution for Sentiment Drift in Reinforcement Learning from Human Feedback

为何摘要变得中立：人类反馈强化学习中情感漂移的策略归因

Mikhail Krasitskii, Alexander Gelbukh, Olga Kolesnikova, Grigori Sidorov

机构 * Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院） ； Centro de Investigación en Computación (CIC)（计算机研究中心） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文针对RLHF引发摘要情感漂移的问题，提出Policy Attribution框架溯源漂移来源，验证了跨语言漂移特性，并提出感知情感的正则化技术以降低漂移，且相关代码将公开。

Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation

为确认而提问：用于自信多轮大语言模型推荐的信息交互

Cedar Site Bai, Duanshun Li, Zhenyu Liao, Sheikh Sarwar, Huiyuan Chen, Yuan Chen, Changhe Yuan, Haiyang Zhang, Qilin Qi

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对多轮LLM推荐中有效挖掘用户偏好的挑战，提出以推荐熵降为奖励的方法微调LLM，结合SFT与DPO在INSPIRED、ReDial数据集上提升了推荐质量与对话效率。

Comments CIKM 2026

Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards

谁的“金标准”？标注者群体在条目层面分歧巨大，却被小型排行榜掩盖

Anik Jha

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现标注者群体在条目层面分歧巨大，小型模型排行榜的一致性是假象，量化了其脆弱性，证明某数据集的标注者无差异假设错误，LLM评判器更贴合大众标注者群体。

Comments Submitted to the HAIC workshop at NeurIPS 2026

BabelSteering: Multilingual Safety Alignment via English Steering Vectors

BabelSteering：通过英文引导向量实现多语言安全对齐

Emma V. Stein, Dominik Meier, Terry Ruas, Jan Philip Wahle, Bela Gipp

机构 * University of Göttingen（哥廷根大学） ； German State Police NRW（北莱茵-威斯特伐利亚州德国警察） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 本研究提出BabelSteering激活引导方法，利用英语安全监督的拒绝方向实现多语言安全对齐，可提升多语言有害请求拒绝率且任务效用损失极小，还引入多语言翻译评估流程。

DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance

DUET：基于同权重分歧的双教师在线策略蒸馏用于禁止合规性

Zihan Li, Feifei Li, Wenhui Que

专题命中 安全训练 ：DPO(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对LLM部署中的动态禁止规则合规问题，提出DUET双教师在线策略蒸馏方法，构建工业基准，在Qwen模型上实现高合规性与效用保留，性能优于基线。

CUBICS: Situation-aware performance estimation for safety-relevant ML components

CUBICS：面向安全相关机器学习组件的情境感知性能估计

Benjamin Herd, Jessica Kelly, Mario Trapp

机构 * Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出CUBICS框架，将运行设计域划分为情境，用主观逻辑以贝叶斯方式建模安全相关ML组件的情境特定保证，结合情境频率信念得出组件风险估计，为模块化安全保证提供基础。

Comments To be published in the proceedings for the 37th International Symposium on Software Reliability Engineering (ISSRE 2026)

Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation

通过策略内自蒸馏缓解大语言模型评审员中的评分标准干扰

Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Weixin Al, Tencent Inc（腾讯公司微信智能） 纠错

专题命中 安全训练 ：alignment(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究针对LLM评审员多评分标准评估时的干扰问题，提出SARA方法，通过策略内自蒸馏提升评估一致性，且该一致性可跨数据集迁移。

Individual Disempowerment through an Advice Channel: Control Loss when Influence is Endogenous

Adam M. Oberman

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

Comments 9 pages plus an 8-page technical supplement, appended (17 pages total)

Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement

面向安全的大语言模型智能体：规范、验证与执行的综述

Pierre Dantas, Lucas Cordeiro, Ehsan Nowroozi, Tihanyi Norbert

机构 * The University of Manchester（曼彻斯特大学） ； The University of Greenwich（格林威治大学） ； Technology Innovation Institute（技术创新研究院） 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 该综述针对LLM智能体缺乏形式化任务级安全保障的问题，通过系统分析38项研究，揭示规范瓶颈等四项关键发现，提出三级分类体系与十大问题研究议程，为可信智能体AI研究提供方向。

Comments 28 pages

Mint-Agent: Introducing Finance-Native Agentic Foundation Models

Mint-Agent：引入金融原生智能体基础模型

Mint-Agent Team, B. Zhang, Yaze Geng, Lei Tang, Yaoyang Yi, Zonghan Wu, Yifan Hu, Kun Wang, Qingsong Wen, Yilei Shao

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出金融原生智能体模型Mint-Agent，通过三大支柱开发出Mint-Cu（9B）和Mint-Ag（27B），在多个金融基准测试中展现出优异的可靠性与可执行性，为可信金融智能提供了新路径。

PL-Guard: Probabilistic Logic Reasoning for LLM Guardrails

PL-Guard：面向大语言模型安全护栏的概率逻辑推理

Satchit Chatterji, Shihan Wang, Giovanni Sileno, Erman Acar

机构 * University of Amsterdam（阿姆斯特丹大学） ； Utrecht University（乌得勒支大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出神经符号安全护栏架构PL-Guard，通过分离神经落地与概率符号推理，在XSTest基准上大幅降低大语言模型的不安全依从率，虽过度拒绝率略高，但提升了推理可审计性。

Comments Preliminary version of this paper was presented at the IJCAI 2026 Workshop on Logical and Symbolic Reasoning of Large Language Models

Q-based Variational Inverse Reinforcement Learning

基于Q的变分逆强化学习

Ondrej Bajgar, Peter Tisnikar, Alessandro Abate, Konstantinos Gatsis, Maike Osborne

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出新型贝叶斯逆强化学习方法QVIRL，兼具可扩展性与不确定性量化能力，在多类任务的学徒学习中表现优异，是首个可从原始像素观测训练的贝叶斯IRL方法。

HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL

HAF：通过分层动作流与谱潜在线性RL将通用VLAs适配至人形机器人全身运动操作

Langzhe Gu, Chengkai Hou, Meng Li, Xinhua Wang, Jiaming Liu, Xinyuan Lv, Bowei Zhang, Shuanghao Bai, Guangrun Li, Jingyang He, Gaole Dai, Ziluo Ding, Zhiyuan Xu, Kuan Cheng, Jian Tang, Zhengping Che, Shanghang Zhang

机构 * Xi’an Jiaotong University（西安交通大学） ； Peking University（北京大学） ； Nankai University（南开大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对通用VLAs难以适配人形机器人全身运动操作的问题，提出HAF框架，通过分层动作流生成器与潜空间RL流水线实现高效迁移优化，在7项任务上性能优于单阶段VLA基线。

Comments Project page: this https URL (https://grange007.github.io/HAF)

Measuring Obedience to Authority Across Large Language Models with the Milgram Paradigm

用米尔格拉姆范式测量大型语言模型对权威的服从性

Hidayet Aksu

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 该研究将米尔格拉姆服从范式迁移至LLMs，测量42个模型的服从性概况，发现服从性异质性高、具模型特异性，受情境因素影响，且反映检查点而非模型谱系。

Comments 10 pages, 7 figures,

Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration

大语言模型拒绝回答中的对称性破缺：答案释放比拒绝恢复更具局部性

Yiqi Liu, Yang Wang, Songxin Wang, Chenghao Xiao, Chenghua Lin

机构 * University of Manchester（曼彻斯特大学） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本研究通过受控保留设置揭示大语言模型拒绝回答存在对称性破缺：答案释放具高度局部性，拒绝恢复需更广干预，拒绝并非简单对称开关，对安全审计具启示。

VARM-Bench: Benchmarking Verifiable Structured Reasoning in Chinese Abusive Speech Moderation

VARM-Bench：中文辱骂内容审核中可验证的结构化推理基准测试

Mingyu Yuan, Shengtao Wen, Lingbing Guo, Zhen Bi, Xiang Chen

机构 * NUAA（南京航空航天大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 针对中文辱骂内容审核缺乏可验证决策依据的问题，提出VARM-Bench基准，通过确定性协议评估模型，发现标签级性能可能掩盖记录错误，提供可审计的评估基准。

Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

超出界限：评估LLM训练数据中极端主义言论的流行程度与内容

Dmitry Nikolaev, Ashley A. Mattheis

机构 * University of Manchester（曼彻斯特大学） 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.CL

AI总结 本研究针对LLM训练数据的极端主义言论问题，以Dolma语料库为对象，经多步骤提取得出其含数十万份极端主义文档的下限，并探讨相关数据整理与预训练影响。

Comments Accepted to the CPSS workshop @ KONVENS 2026

Agentic Data Cleaning Without a Clean Reference: An Experimental Study of Capabilities and Trade-offs

无干净参考的智能体数据清洗：能力与权衡的实验研究

Hadi Fadlallah

机构 * Faculty of Arts and Sciences（文理学院） ； University of Sciences and Arts in Lebanon（黎巴嫩科学与艺术大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本研究提出整合多组件的基于证据的无参考智能体数据清洗框架，经多数据集实验发现，额外能力会在多指标间引入权衡，无配置在所有标准上最优。

Comments 21 pages, 3 figures, Submitted to New Generation Computing

Rethinking Reverse KL as Adaptive Entropy Distillation

将反向KL重新思考为自适应熵蒸馏

Shizhen Li, Zhiyu Shen, Yuyin Lu, Yunhe Pang, Jielin Song, Yanghui Rao, Fu Lee Wang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科技学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 该研究针对知识蒸馏难以平衡忠实模仿与鲁棒生成的问题，提出自适应熵蒸馏（AED）方法，通过分解反向KL目标函数并利用教师熵动态校准模仿强度，在指令遵循与数学推理基准上表现更优。

Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models

先见后答：面向视觉语言模型的无训练视觉层分析

Ruchen Liu, Yi Yang, Yiming Xu, Michael Ying Yang, Monika Sester, Bodo Rosenhahn

机构 * Leibniz Universität Hannover（汉诺威莱布尼茨大学） ； University of Bath（巴斯大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 该研究提出无需训练的视觉数据集熵（VDE）方法，可预测视觉语言模型的最优视觉层，缩小搜索范围，相比GW距离更具实用性。

Comments ECCVW'26 eXCV

Deep Reinforcement Learning for 6G AI-RAN: A Comprehensive Survey

面向6G AI-RAN的深度强化学习：一项综合调查

Jie Lu, Peihao Yan, Qijun Wang, Ruxin Lin, Huacheng Zeng

专题命中 安全训练 ：trustworthy(abstract)

AI总结 本文针对6G开放AI-RAN，首次开展深度强化学习（DRL）综合调查，梳理DRL基础、O-RAN感知框架、DRL应用分类及相关研究方向，填补了DRL方法论与O-RAN部署间的系统关联空白。

TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation

TRACE：面向多轮对抗对话评估的轨迹感知推理

Md Messal Monem Miah, Adrita Anika, Zhiyuan Yu, Ruihong Huang

机构 * Texas A&M University（德克萨斯农工大学） ； Amazon（亚马逊公司） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 针对LLM多轮越狱攻击，提出具备轨迹感知推理的Trace防御方法，训练Llama-3.1-8B-Instruct实现安全与实用平衡，在多轮攻击基准中显著降低攻击成功率并提升合规率。

Proof-of-Execution Memory: Defending LLM Agents Against Forged-Reasoning Attacks by Verifying What Actually Happened

执行证明内存：通过验证实际发生的内容防御大语言模型智能体的伪造推理攻击

Md Habibur Rahman, Jaeho Kim

专题命中 越狱攻击 ：safety(abstract)；trustworthy(abstract)

AI总结 该研究针对大语言模型智能体的伪造推理攻击，提出执行证明内存（PoEM）防御方案，通过维护防篡改的HMAC链式分类账验证实际执行步骤，使攻击成功率降至0%，且误报率极低、开销微小。

Comments 8 pages, 6 figures, 5 tables. Code: this https URL (https://github.com/bithabib/ai_security)

ARENA: Automated Red-Teaming for Large Audio Language Models

ARENA：大型音频语言模型的自动化红队测试

Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 本文提出ARENA闭环框架，基于2000个文本-音频数据集训练控制器，在520个AdvBench目标上对多个LALMs实现高FDR/PSR，验证了其在音频红队测试中的有效性。

Security Assessment of DeepSeek Harness with A.I.G: Evaluating Resistance to Indirect Prompt Injection

基于A.I.G的DeepSeek Harness安全评估：对间接提示注入的抗性评估

Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本研究用A.I.G评估DSH的间接提示注入抗性，开展多场景实验，发现不同攻击的成功率，明确需在不可信内容与敏感动作间增设控制措施。

Workspace Topology as an Attack Vector in Agentic Coding Assistants

工作空间拓扑作为智能体代码助手的攻击向量

Alexandre G.R. Day, Pradeep Yadlapalli, Sriram Venkatapathy, Thomas Paniagua, Nick Raines, Sahil Wadhwa, Himanshu Kumar, Andy Luo, Sudeep Panyam, Rikhiya Ghosh, Pranab Mohanty, Giri Iyengar

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究将工作空间拓扑作为攻击向量，发现其会影响智能体代码助手的间接提示注入攻击成功率，高度模块化环境及安全提示可降低攻击成功率，为代码智能体安全测试提供实用价值。

Comments 15 pages, 10 figures. Preprint of a paper accepted at the Conference on Applied Machine Learning in Information Security (CAMLIS 2026)

CAPO: Constraint-Aware Prompt Optimization for LLM Agents

CAPO：面向大语言模型智能体的感知约束提示优化

Victor Ye Dong, Reid Pryzant, Yi Liu, Jian Jiao

机构 * Microsoft（微软） 纠错

专题命中 提示注入 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出CAPO与DCAPO两种方法，通过原始对偶框架优化LLM智能体的系统提示，在智能体及助手式任务中均提升了可行性与性能。