大模型对齐与安全

The Alignment Floor: How Persona Customization Breaks Safety in Weakly-Aligned LLMs

对齐下限：角色定制如何破坏弱对齐大语言模型的安全性

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过对比强对齐与弱对齐模型在不同角色条件下的谄媚率变化，定义对齐下限Δ_floor作为评估模型角色定制安全性的审计指标。

Mining or Synthesis? Rethinking Exploration Efficiency in Iterative Alignment of Mathematical Reasoning

挖掘还是合成？重新思考数学推理迭代对齐中的探索效率

Jun Rao, Zixiong Yu, Xuebo Liu, Guhan Chen, Jing Li, Hejin Wang, Jiansheng Wei, Xiaojun Meng, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Huawei Large Model Data Technology Lab（华为大模型数据技术实验室） ； Huawei Multimodal Model Lab（华为多模态模型实验室） ； Department of Statistics and Data Science, Tsinghua University, Beijing, China（清华大学统计与数据科学系） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)；分类 cs.CL

AI总结 针对数学推理任务中迭代DPO对齐时高N采样收益递减且引入噪声的问题，提出PACE框架，通过低预算探索与纠错合成偏好对，以约1/5计算量达到或超越高N基线性能。

Generative Spatiotemporal Intent Sequence Recommendation via Implicit Reasoning in Amap

高德地图中基于隐式推理的生成式时空意图序列推荐

Sicong Wang, Ruiting Dong, Yue Liu, Bowen Zheng, Jun Meng, Jie Li, Shuaijun Guo, Yu Gu, Fanyi Di, Xin Li

机构 * AMAP, Alibaba Group（阿里集团地图（AMAP）） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.LG

AI总结 提出GPlan框架，通过渐进式隐式思维链蒸馏和时空反事实DPO，将LLM推理能力压缩至轻量模型，实现低延迟且符合时空约束的意图序列生成。

Comments 9 pages, 1 figure

When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop

人类策展何时以及如何适得其反：多模型自消费循环下的偏好对齐

Yang Zhang, Xiukun Wei, Xueru Zhang

机构 * Department of Computer Science and Engineering, The Ohio State University, Columbus, Ohio（计算机科学与工程系，俄亥俄州立大学，哥伦布，俄亥俄） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究多模型自消费训练中人类策展对模型对齐的影响，发现跨模型交互可能削弱甚至逆转策展效果，导致长期对齐退化。

Toward User Preference Alignment in LLM Recommendation via Explicit Context Feedback

通过显式上下文反馈实现LLM推荐中的用户偏好对齐

Weizhi Zhang, Wooseong Yang, Yuxin Cui, Zhaohui Guo, Hins Hu, Liangwei Yang, Henry Peng Zou, Qifei Wang, Hanqing Zeng, Jiayi Liu, Yinglong Xia, Philip S. Yu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Meta 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文主张在基于大语言模型的推荐系统中优先利用显式上下文反馈（如评论文本）来对齐用户偏好，提升推荐的个性化和可解释性。

Comments Published in CogMI 2025. https://ieeexplore.ieee.org/abstract/document/11417068

From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale

从语境偏移到风格崩溃：为什么训练目标比规模更重要

Rohan Mahapatra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL

AI总结 本文通过分析17个模型（410M-100B+参数）在24个语言探针上的表现，发现指令微调系统会导致语言熵沿语篇和结构维度系统性崩溃，并表明弱干预加剧崩溃而强控制可显著改善，揭示了当前对齐流程在重新分配风格概率质量方面的结构性局限。

Comments 26 pages, 13 tables, 2 figures. Planning to submit to NeurIPS 2026

HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation

HumorGen: 基于角色蒸馏的大语言模型幽默生成的认知协同

Edward Ajayi, Prasenjit Mitra

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL

AI总结 针对大语言模型标准训练目标与幽默所需意外性之间的矛盾，提出认知协同框架，利用六种认知角色合成多样化喜剧视角数据，微调7B参数学生模型，实验表明认知驱动的数据策展比对齐算法或模型规模更关键。

LLUMI: Improving LLM Writing Assistance for Mental Health Support with Online Community Feedback

LLUMI: 利用在线社区反馈改进心理健康支持中的LLM写作辅助

Jiwon Kim, Maya Ajit, Sherry Gong, Soorya Ram Shimgekar, Dong Whi Yoo, Eshwar Chandrasekharan, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 偏好对齐 ：DPO(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出LLUMI框架，通过在线社区反馈（如Reddit投票）构建偏好对，结合监督微调和直接偏好优化训练开源小模型，在隐私保护下实现与GPT相当的心理健康支持性能。

In-Context Reward Adaptation for Robust Preference Modeling

上下文奖励自适应用于鲁棒偏好建模

Zhenyu Sun, Zheng Xu, Ermin Wei

机构 * Northwestern University（西北大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Transformer的上下文奖励自适应框架，通过少量偏好示例和人类反应时间辅助信号，在线建模多样且未见的人类偏好，实现鲁棒的偏好建模和分布偏移适应。

CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval

CoHyDE: 用于工具检索的LLM改写器与稠密编码器的迭代协同训练

Vaishali Senthil, Ashutosh Hathidara, Sebastian Schreiber

机构 * SAP Labs（SAP实验室） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出CoHyDE方法，通过迭代协同训练稠密编码器和LLM改写器，结合对比学习和偏好对齐，在工具检索任务中同时提升标准查询和模糊查询的性能。

Human-Guided Harm Recovery for Computer Use Agents

面向计算机使用代理的人类引导式危害恢复

Christy Li, Sky CH-Wang, Andi Peng, Andreea Bobu

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对LM代理在计算机系统中执行操作后的危害恢复问题，通过用户研究定义偏好对齐的恢复维度，提出基于奖励模型对候选恢复计划重排序的方法，并构建BackBench基准测试，实验表明该方法优于基线代理。

SVSR: A Self-Verification and Self-Rectification Paradigm for Multimodal Reasoning

SVSR：一种用于多模态推理的自我验证与自我修正范式

Zhe Qian, Nianbing Su, Zhonghua Wang, Hebei Li, Zhongxing Xu, Yueying Li, Fei Luo, Zhuohan Ouyang, Yanbiao Ma

机构 * South China Agricultural University（华南农业大学） ； University of Glasgow（格拉斯哥大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Monash University（莫纳什大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Defense Technology（国防科技大学） ； Renmin University of China（中国人民大学） ； South China Normal University（华南师范大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 提出SVSR框架，通过三阶段训练（统一偏好数据集构建、冷启动监督微调、半在线直接偏好优化）将自我验证与自我修正显式集成到多模态推理流程中，提升复杂视觉理解和多模态推理的鲁棒性与可靠性。

PersonaAgent: Bridging Memory and Action for Personalized LLM Agents

PersonaAgent：弥合个性化LLM智能体的记忆与行动

Weizhi Zhang, Xinyang Zhang, Chenwei Zhang, Liangwei Yang, Jingbo Shang, Zhepei Wei, Henry Peng Zou, Zijie Huang, Zhengyang Wang, Yifan Gao, Xiaoman Pan, Lian Xiong, Jingguo Liu, Philip S. Yu, Xian Li

机构 * Amazon Stores Foundational AI（亚马逊基础AI） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PersonaAgent框架，通过整合个性化记忆模块（情景与语义记忆）和行动模块，并利用角色提示作为中介实现记忆与行动的协同，以解决LLM智能体的个性化任务。

Comments Accepted in ACL 2026

AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence

AttuneBench: 基于对话的LLM情商基准测试

Kate M. Lubrano, Faisal Sayed, Ankita Rathod, Akshansh, Craver Corbyn Thomas-Smith, Mark E. Whiting, Karina Nguyen

机构 * Pareto ； Thoughtful ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出AttuneBench基准，基于200个真实多轮人机对话，评估LLM在情绪识别、行为分类、偏好预测和响应质量等方面的情商能力，发现这些能力相互独立且偏好对齐和响应质量更具区分性。

Comments v2: Updated def_18 and def_20 supplemental figures to cover all 11 evaluated models (previously 9). Removed redundant supplemental figures. Corrected select captions (color descriptions, chance baselines, figure-content mismatches). No changes to experimental results, numerical claims, or conclusions

VOGUE: A Multimodal Dataset for Conversational Recommendation in Fashion

VOGUE：面向时尚领域对话式推荐的多模态数据集

David Guo, Minqi Sun, Yilun Jiang, Jiazhou Liang, Scott Sanner

专题命中 偏好对齐 ：alignment(abstract)

AI总结 为弥补多模态对话推荐数据集的不足，构建了包含60个人类对话、2100个细粒度标注话语的VOGUE数据集，支持视觉和上下文推理评估，并揭示了多模态大语言模型在偏好推断上的系统性分布误差。

AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security

AgentDoG 1.5：一种轻量级且可扩展的AI智能体安全与安保对齐框架

Dongrui Liu, Yu Li, Zhonghao Yang, Peng Wang, Guanxu Chen, Yuejin Xie, Qinghua Mao, Wanying Qu, Yanxu Zhu, Tianyi Zhou, Leitao Yuan, Zhijie Zheng, Qihao Lin, Yimin Wang, Haoyu Luo, Shuai Shao, Chen Qian, Qingyu Liu, Ling Tang, Ruiyang Qin, Qihan Ren, Junxiao Yang, Kun Wang, Zhiheng Xi, Linfeng Zhang, Ranjie Duan, Bo Zhang, Wenjie Wang, Wen Shen, Qiaosheng Zhang, Yan Teng, Chaochao Lu, Rui Mei, Man Li, Jialing Tao, Xi Lin, Tianhang Zheng, Yong Liu, Quanshi Zhang, Lei Zhu, Xingjun Ma, Junhua Liu, Hui Xue, Xiaoxiang Zuo, Xiangnan He, Chao Shen, Xianglong Liu, Minlie Huang, Jing Shao, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对开放世界智能体的新兴安全风险，提出一种轻量级可扩展的安全对齐框架，通过更新安全分类法、构建数据引擎并训练小模型（0.8B-8B参数），实现与闭源模型相当的性能，并降低部署开销两个数量级。

Comments 44 pages, 12 Figures, 9 Tables

Opir: Efficient Multi-Task Safety Classification for Toxicity, Jailbreaks, Hate Speech, and Harmful Content

Opir：针对毒性、越狱、仇恨言论和有害内容的高效多任务安全分类

Ihor Stepanov, Aleksandr Smechov

机构 * Knowledgator ； Wordcab 纠错

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于GLiClass架构的Opir系列编码器护栏模型，通过多任务学习实现二进制安全/不安全分类、多标签毒性分类、越狱分类和零样本不安全提示与响应分类，在12项安全分类任务和17项类别任务上与现有护栏系统竞争，同时部署开销更小。

Comments 23 pages, 4 figures, 9 tables

Robust and Efficient Guardrails with Latent Reasoning

具有潜在推理的鲁棒高效防护栏

Siddharth Sai, Xiaofei Wen, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出COLAGUARD模型，通过阶段式训练将多步安全推理转移到连续潜在空间，在保持高安全性能的同时实现12.9倍加速和22.4倍令牌减少。

Scaling Multi-agent Systems: A Smart Middleware for Improving Agent Interactions

扩展多智能体系统：一种用于改善智能体交互的智能中间件

Charles Fleming, Guillaume De Saint Marc, Ramana Kompella, Peter Bosch, Vijoy Pandey

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 提出认知织物节点（CFN）中间件，通过强化学习和优化算法动态管理智能体间通信，在HotPotQA和MuSiQue数据集上性能提升超过10%。

How's it going? Reinforcement learning in language models recruits a functional welfare axis

进展如何？语言模型中的强化学习招募了一个功能性福利轴

Andy Q Han, David J. Chalmers, Pavel Izmailov

机构 * New York University（纽约大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过迷宫环境实验，发现强化学习会招募语言模型中预先存在的功能性福利表征（即对系统目标达成程度的估计），从而广泛影响模型行为，且该表征在训练前已存在。

Comments 81 pages, 43 figures, 32 tables

Post-Training Language Models for Crosslingual Consistency

后训练语言模型以实现跨语言一致性

Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

机构 * ETH Zürich（苏黎世联邦理工学院） ； CLCG, University of Groningen（格罗宁根大学CLCG中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言模型对翻译等价提示响应不一致的问题，提出基于信息论的跨语言一致性定义，并开发后训练方法直接一致性优化（DCO）以提升一致性。

Comments ICML 2026. The first two authors contributed equally. Codes available at: https://github.com/Betswish/ConsistencyRL

OISD: On-Policy Internal Self-Distillation of Language Models

OISD: 语言模型在策略内部自蒸馏

Xinyu Liu, Darryl Cherian Jacob, Yang Zhou, Jindong Wang, Pan He

机构 * Auburn University（阿肯色大学） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出OISD框架，通过将最终层的预测信号蒸馏到中间层，结合logit对齐和注意力对齐，提升推理能力，在数学推理任务上显著优于基线。

Comments Under Review for Publication

LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models

LambdaPO: 一种用于推理语言模型的Lambda风格策略优化

Redacted by arXiv

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 针对GRPO因使用群体均值作为基线而丢失细粒度偏好信息的问题，提出LambdaPO方法，通过将优势估计分解为成对偏好结构并引入语义密度奖励，从群体轨迹中挖掘更细粒度的优化信号，提升推理性能。

Comments arXiv admin comment: This version has been removed by arXiv administrators as the submitter did not have the rights to agree to the license at the time of submission. Author list and submitter name redacted due to disputed authorship

How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency

AI攻击者对固定脆弱目标的可靠性如何？LLM渗透测试一致性的400次运行实证研究

Galip Tolga Erdem

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 通过400次自主渗透测试运行（4个模型各100次），研究LLM在固定目标上攻击行为的一致性，发现模型间成功率差异显著且失败模式独特。

Comments 41 pages, 7 figures. Code and 400-run dataset: https://doi.org/10.5281/zenodo.20421592

Dissecting the Black Box: Circuit-Level Analysis of LLM Vulnerability Detection

剖析黑箱：LLM 漏洞检测的电路级分析

Syafiq Al Atiiq, Chun Zhou, Christian Gehrmann

机构 * Lund University（隆德大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 通过机械可解释性分析 Gemma-2-2b 模型在 C/C++ 漏洞检测中的内部计算，发现模型主要依赖安全检测器（识别安全编码模式的注意力头）而非直接检测漏洞特征，并识别出关键神经组件（早期层注意力头和 MLP 神经元），通过消融实验验证其因果作用。

Comments 11 pages, 6 figures. Supported by the Wallenberg AI, Autonomous Systems and Software Program (WASP)

EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation

EvoRubric: 用于开放生成的自我进化评分标准驱动强化学习

Xin Guan, Xiaomeng Hu, Shen Huang, Zhenyi Wang, Bo Zhang, Zijian Li, Pengjun Xie, Bo Liu, Jiuxin Cao

机构 * Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出EvoRubric，一种单策略共进化强化学习框架，通过动态交替生成响应和评分标准，并引入多层验证机制，解决开放生成任务中缺乏明确奖励的问题，在医学、写作和科学领域超越传统静态和外部LLM驱动方法。

SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing

SciIntBench: 衡量大语言模型在对抗性框架下对科研诚信规范的遵从度

Almene De Meran Meguimtsop, Maria Leonor Pacheco, Daniel E. Acuna

机构 * Department of Computer Science University of Colorado Boulder（计算机科学系，科罗拉多大学博尔德分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出SciIntBench对抗性基准，通过810个提示评估16个LLM在10个RCR类别中的框架敏感拒绝与帮助行为，发现模型对显性不当行为拒绝可靠，但对隐性违规（尤其是压力驱动的捷径）拒绝不足。

Harmonizing Real-Time Constraints and Long-Horizon Reasoning: An Asynchronous Agentic Framework for Dynamic Scheduling

协调实时约束与长视距推理：一种用于动态调度的异步智能体框架

Shijie Cao, Yuan Yuan, Jing Liu

机构 * School of Computer Science and Engineering, Beihang University, Beijing 100191, China（北京航空航天大学计算机科学与工程学院） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳环形区研究所） ； Qingdao Research Institute, Beihang University（青岛研究院） ； Hangzhou Innovation Institute, Beihang University（杭州创新研究院） ； School of Artificial Intelligence, Xidian University, Xi’an 710071, Shaanxi, China（西安电子科技大学人工智能学院） ； Guangzhou Institute of Technology, Xidian University, Guangzhou 510555, Guangdong, China（广州技术研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出RACE-Sched异步智能体框架，通过双流架构解耦策略执行与逻辑推理，利用LLM合成和验证符号启发式规则，在保证实时性的同时提升动态调度质量。

Intent-aligned Autonomous Spacecraft Guidance via Reasoning Models

通过推理模型实现意图对齐的自主航天器制导

Yuji Takubo, Simone D'Amico

机构 * Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出一种通过行为序列和航点约束将高层推理与安全轨迹优化相结合的意图对齐航天器制导框架，在近距离操作场景中实现了超过90%的SCP收敛率，并比启发式决策高出1.5倍的满足顶级意图优先性能标准的轨迹生成率。

Comments Accepted for Computer Vision and Pattern Recognition Conference (CVPR) 2026, AI4Space Workshop (4-page Short paper). 9 pages, 3 figures (including supplementary materials)

Beyond Attack Success Rate: Temporal Logit Observability for LLM Safety Failures

超越攻击成功率：LLM安全失效的时间对数可观测性

Junyoung Park, Sunghwan Park, Seongyong Ju, Jaewoo Lee

机构 * Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出时间对数可观测性（TLO）方法，通过解码过程中的合规-拒绝边际将模型-攻击条件映射到校准的二维平面，揭示攻击成功的时间模式，并基于此设计早期停止规则将成功越狱减少一半以上。