大模型对齐与安全

Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment

在Token边界打破安全：BPE分词如何在LLM对齐中制造可利用的漏洞

Tung-Ling Li, Hongliang Liu, Yuhao Wu

机构 * Palo Alto Networks 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现BPE分词将安全关键词拆分为子词，导致对齐数据集缺乏此类碎片化输入，通过优化碎片化可绕过80-100%的安全拒绝，并定位到模型最后约30%层。

HAL: Inducing Human-likeness in LLMs with Alignment

HAL: 通过对齐引导LLM的人类相似性

Masum Hasan, Junjie Zhao, Ehsan Hoque

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出HAL框架，利用可解释的数据驱动奖励信号，通过对比对话数据提取显式会话特征并优化偏好，使模型在对话中更常被视为类人，同时保持整体性能。

DetailAnywhere: Fashion Detail Generation via Cross-Modal Feature Alignment Distillation

DetailAnywhere: 通过跨模态特征对齐蒸馏实现时尚细节生成

Zijun Li, Yimin Zhou, Jia Sun, Honglie Wang, Pengcheng Wei, Junlong Wu, Yongrui Heng, Jiyuan Wang, Huan Ouyang, Boheng Zhang, Huaiqing Wang, Dewen Fan, Qianqian Gan, Fan Yang, Tingting Gao

机构 * Kuaishou Technology（快手科技） ； AIM for Health Lab, Monash University（Monash大学AIM健康实验室） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)

AI总结 针对在线购物中用户关注服装细节（如领口、袖口、面料纹理）的需求，提出新任务“时尚细节生成”及基准FDBench，并设计跨模态特征对齐蒸馏（CFAD）方法，结合多模态扩散Transformer和一致性奖励模型，显著优于现有方法。

LearNAT: Learning NL2SQL with AST-guided Task Decomposition for Large Language Models

LearNAT: 基于AST引导任务分解的NL2SQL大语言模型学习

Weibin Liao, Xin Gao, Tianyu Jia, Rihong Qiu, Yifan Zhu, Yang Lin, Xinyu Ma, Junfeng Zhao, Yasha Wang

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Key Laboratory of High Confidence Software Technologies, Ministry of Education（教育部高可信软件技术重点实验室） ； Big Data Technology Research Center, Nanhu Laboratory（纳米实验室大数据技术研究中心） ； National Engineering Research Center For Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； Peking University Information Technology Institute (Tianjin Binhai)（北京大学信息技术研究院（天津滨海）） ； School of Computer Sciences, Beijing University of Posts and Telecommunications（北京邮电大学计算机科学系） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Seed, ByteDance Inc.（字节跳动公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出LearNAT框架，通过AST引导的分解合成过程和边际感知强化学习，增强小规模LLM的NL2SQL任务分解能力，以7B参数模型达到GPT-4可比性能。

Comments Accepted by ICLR'26

From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

从行为到理解：LLM代理中时间概念的符合可解释性

Trilok Padhi, Ramneet Kaur, Krishiv Agarwal, Adam D. Cobb, Daniel Elenius, Manoj Acharya, Colin Samplawski, Alexander M. Berenbeim, Nathaniel D. Bastian, Susmit Jha, Ugur Kursuncu, Anirban Roy

机构 * Georgia State University（佐治亚州立大学） ； Computer Science Lab, SRI（SRI计算机科学实验室） ； Army Cyber Institute（陆军网络学院） ； United States Military Academy（美国军事学院） ； University of Florida（佛罗里达大学） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过符合视角解释LLM代理时间概念演变的框架，结合逐步奖励建模与符合预测，识别时间概念的潜在方向，实验表明这些概念可线性分离，为LLM代理提供可靠故障检测和干预方法。

Comments Accepted at the Mechanistic Interpretability Workshop, 43rd International Conference on Machine Learning, Seoul, South Korea, 2026

CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

CoRe: 结合视觉语言模型反馈的复合奖励用于偏好对齐强化学习

Hexian Ni, Tao Lu, Yinghao Cai

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出CoRe框架，将奖励分解为基于任务知识的正式奖励和从观察中学习的残差奖励，利用视觉语言模型迭代优化奖励，实现无需人工的偏好对齐，在机器人操作任务中优于现有方法。

Comments ICML 2026