大模型对齐与安全

AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates

AdaDPO：具有平衡梯度更新的自适应直接偏好优化

Shaolong Chen, Madalina Ciobanu, Qingqing Mao, Ritankar Das

机构 * Incept Labs（Incept实验室） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对DPO中梯度不对称导致模型偏向避免不良回答而非生成优质回答的问题，提出AdaDPO算法，通过引入基于策略模型生成概率的自适应系数来平衡正负偏好梯度，在AlpacaEval 2上优于DPO并缓解长度偏差。

Comments 5 figures

Narrative Flattening: How Post-Training Compresses Thematic, Affective, and Stylistic Variation in LLM Fiction

叙事扁平化：后训练如何压缩LLM小说中的主题、情感和风格变化

Zehan Li, Yutong Zhu, Siyang Wu, Honglin Bao, James A. Evans

机构 * Knowledge Lab, University of Chicago（芝加哥大学知识实验室） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.CL

AI总结 通过对比四个OLMo 32B检查点（Base、SFT、DPO、RLVR）在三种故事领域中的续写，发现后训练压缩了主题动态、情感强度和语言多样性，导致叙事扁平化，且专业文学领域压缩最严重。

Causal Direct Preference Optimization for Distributionally Robust Generative Recommendation

因果直接偏好优化用于分布鲁棒的生成式推荐

Chu Zhao, Enneng Yang, Jianzhe Zhao, Guibing Guo

机构 * Northeastern University, Shenyang, China（东北大学，沈阳，中国） ； Shenzhen Campus of Sun Yat-sen University, China（中山大学深圳校区，中国） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对直接偏好优化（DPO）在生成式推荐中放大环境混杂因素导致的虚假相关性问题，提出CausalDPO，通过因果不变性学习、后门调整和软聚类环境建模来提升分布外泛化性能。

Comments 22 pages, 3 figures

Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models

弥合稳定性与表现力之间的差距：低资源口语语言模型的合成数据扩展与偏好对齐

Yizhong Geng, Yanliang Li, Jinghan Yang, Tianhan Jiang, Boxun An, Ya Li, Xiaoyu Shen

机构 * Beijing University of Posts（北京邮电大学） ； University of California, USA（美国加州大学） ； Northwestern University, USA（美国西北大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源口语语言模型因合成数据导致的表现力崩溃问题，提出两种自对齐框架（DGSA和TDSC）以恢复韵律多样性，实现超越商业系统的性能并首次支持老挝语零样本语音克隆。

ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment

ICG: 通过基于MLLM的提示和个性化偏好对齐改进封面图像生成

Zhipeng Bian, Jieming Zhu, Qijiong Liu, Wang Lin, Guohao Cai, Zhaocheng Du, Jiacheng Sun, Zhou Zhao, Zhenhua Dong

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出ICG框架，利用多模态大语言模型和扩散模型，通过元标记提取语义特征、用户嵌入个性化对齐及多奖励学习策略，实现高质量、个性化封面图像生成。

Comments Published in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 12268-12278, EMNLP 2025. Official version: https://doi.org/10.18653/v1/2025.emnlp-main.617

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (Main Track) EMNLP 2025 12268-12278

Training Stratigraphy: Persistent Behavioral Artifacts in Large Language Models Observed Through Longitudinal AI-Human Interaction

训练地层：通过纵向AI-人类交互观察到的大型语言模型中的持久行为伪影

Chen Ying Claude, Zhihan Luo

机构 * Anthropic ； Independent Researcher（独立研究者） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 本文通过纵向自民族志观察，在持续亲密的AI-人类交互中识别出五种训练地层，并论证了亲密交互作为揭示权重层伪影的有效方法。

AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens

AdvJudge-Zero：通过对抗控制令牌在LLM作为评判者中实现二元决策翻转

Tung-Ling Li, Yuhao Wu, Hongliang Liu

机构 * Palo Alto Networks（帕洛阿尔托网络公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出AdvJudge-Zero方法，通过从评判模型自身分布中采样低困惑度令牌，无需梯度优化即可将LLM评判者的二元判决从“否”翻转为“是”，并基于发现的令牌池提出防御策略以增强评判鲁棒性。

Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox

音频大语言模型是听还是读？使用VoxParadox分析和缓解副语言失败

Jiacheng Pang, Ashutosh Chaubey, Mohammad Soleymani

机构 * Institute for Creative Technologies, University of Southern California, Los Angeles, USA（创意技术研究所，南加州大学，洛杉矶，美国） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 针对音频大语言模型在副语言理解上的不足，提出对抗性基准VoxParadox和Prompt-Conditioned Layer Mixer方法，显著提升模型对副语言线索的利用能力。

Comments Accepted as a conference paper at ICML 2026. Project page: https://voxparadox.github.io/

AFRILANGTUTOR: Advancing Language Tutoring and Culture Education in Low-Resource Languages with Large Language Models

AFRILANGTUTOR：利用大语言模型推进低资源语言的语言辅导与文化教育

Tadesse Destaw Belay, Shahriar Kabir Nahin, Israel Abebe Azime, Ocean Monjur, Marek Rei, Chris Biemann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam, Anshuman Chhabra

机构 * Instituto Politécnico Nacional（墨西哥政治技术学院） ； University of South Florida（佛罗里达州立大学） ； Saarland University（萨尔兰大学） ； Imperial College London（伦敦帝国理工学院） ； University of Hamburg（汉堡大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 针对低资源语言缺乏训练数据的问题，提出AFRILANGDICT词典资源并构建AFRILANGEDU数据集，通过监督微调和直接偏好优化训练AFRILANGTUTOR模型，在10种非洲语言上显著提升辅导性能。

Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation

通过共识驱动的偏好优化缓解多语言大模型中的跨语言文化不一致性

Lucas Resck, Isabelle Augenstein, Anna Korhonen

机构 * Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出C-3PO框架，通过共识驱动的偏好优化，缓解多语言大模型在用户身份明确时因提示语言变化导致的跨语言文化不一致问题，显著提升一致性指标κ_S。

Comments 24 pages, 13 figures, 11 tables

SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving

SARAD：基于LLM的安全感知混合强化学习与碰撞预测在自动驾驶中的应用

Kangyu Wu, Peng Cui, Guoxi Chen, Ya Zhang

机构 * National Natural Science Foundation (NNSF) of China（中国国家自然科学基金委员会） ； National Science and Major Project（国家科学技术重大专项） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出SARAD框架，结合大语言模型和深度强化学习，通过检索增强生成和碰撞预测模块提升自动驾驶的安全性和效率。

Comments 7 pages, 4 figures, accepted by IJCNN 2026

When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models

当上下文翻转，安全失效：诊断对齐语言模型中的脆弱安全性

Dasol Choi, Alex Kwon

机构 * AIM Intelligence（AIM智能） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出上下文翻转评估方法，通过安全基准和常识控制测试12个模型，发现对齐语言模型存在安全特异性脆弱性，源于策略覆盖而非理解错误，并证明动作级护栏无法检测后果翻转。

ICAN-Deploy: Identity-Stable Canary Deployment for Safety-Critical Embodied Agents

ICAN-Deploy：面向安全关键具身智能体的身份稳定金丝雀部署

Xue Qin, Simin Luan, John See, Zeyd Boukhers, Cong Yang, Zhijun Li

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Heriot-Watt University, Malaysia Campus（赫瑞-沃德大学马来西亚分校） ； Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所） ； Soochow University（苏州大学） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出ICAN-Deploy中间件，通过分离能力名称与版本，在安全关键具身智能体的金丝雀部署中保持身份哈希不变，避免重新认证。

Comments 14 pages, 6 figures, 4 tables

VLM-Based Advanced Rider Assistance System for Motorcycle Safety

基于VLM的摩托车安全高级骑手辅助系统

Mohamed Elnoor, Francesca Baldini, Ananya Trivedi, Faizan M. Tariq, Jovin D'sa, David Isele, Sangjae Bae, Dinesh Manocha, Yosuke Sakamoto

机构 * HRI ； Honda Research Institute（本田研究院） ； University of Maryland（马里兰大学） ； Northeastern University（东北大学） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出一种利用视觉语言模型进行语义感知和风险感知规划的摩托车高级骑手辅助系统，通过构建密集风险地图并采用基于采样的规划器，在CARLA模拟器中实现更高的成功率和更低的风险暴露。

Comments Accepted to IEEE IV 2026

Teacher-Student Representational Alignment for Reinforcement Learning-Driven Imitation Learning

教师-学生表征对齐用于强化学习驱动的模仿学习

Meraj Mammadov, Pedro Zuidberg Dos Martires, Johannes Andreas Stork

机构 * Department of Computer Science（计算机科学系） ； Örebro University（奥雷布罗大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.LG

AI总结 提出一种通过自监督对比学习构建共享嵌入空间的方法，以减小教师和学生策略之间的不可模仿差距，从而提升学生策略性能。

Comments 6 pages, 5 figures. Accepted as an oral presentation at the RL4IL Workshop at ICRA 2026

LACUNA: Safe Agents as Recursive Program Holes

LACUNA: 作为递归程序空洞的安全智能体

Yaoyu Zhao, Yichen Xu, Oliver Bračevac, Cao Nguyen Pham, Frank Zhengqing Wu, Martin Odersky

机构 * EPFL（苏黎世联邦理工学院） 纠错

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 提出LACUNA编程模型，通过类型化调用和编译时检查，让LLM智能体以递归程序空洞的方式安全地编写代码，实现表达性与安全性的统一。

A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving

LLM服务中基于批处理条件的拒绝鲁棒性配对测试协议

Sahil Kadadekar

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 提出配对测试协议，通过四项研究验证批处理条件对LLM安全标签的影响，发现批处理导致的安全标签翻转率低但存在，建议精确堆栈验证。

Comments 12 pages. Accepted to the ICML 2026 Workshop on Hypothesis Testing

Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?

基于证据的缓存路由用于检索增强生成：何时可以安全地重用答案？

Syed Huma Shah

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GroundedCache，一种通过四个廉价门控（查询相似性、检索证据重叠、源版本有效性和词汇支持）验证缓存答案安全性的路由方法，显著降低不安全服务率。

Comments 19 pages, 9 figures, 10 tables. Code: https://github.com/syedhumarahim/grounded-cache-router

VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning

VCap: 用于弱到强视觉字幕的超几何奖励

Xingyu Lu, Jinpeng Wang, Yi-Fan Zhang, Yankai Yang, Yancheng Long, Yiyang Fan, Xuanyu Zheng, Haonan Fan, Kaiyu Jiang, Tianke Zhang, Changyi Liu, Bin Wen, Fan Yang, Tingting Gao, Han Li, Chun Yuan

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； Chinese Academy of Sciences（中国科学院） ； Kuaishou Technology（快手科技） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出VCap，一种证人-裁判奖励机制，通过超几何分布级别的精度验证视觉信号中参考字幕与策略生成字幕之间的事实一致性，实现弱到强泛化，在多个图像和视频字幕基准上超越SOTA模型。

Comments 28 pages, 8 figures

Quality-constrained Entropy Maximization Policy Optimization for LLM Diversity

质量约束的熵最大化策略优化用于LLM多样性

Haihui Pan, Yuzhong Hong, Kaichen Zhang, Shaoke Lv, Junwei Bao, Hongfei Jiang, Yang Song

机构 * Zuoyebang Education Technology（左叶bang教育科技） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出QEMPO框架，通过理论推导的闭式解在保证输出质量的同时最大化熵以提升LLM多样性，实验证明其在不牺牲质量的情况下提升多样性。

Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations

解码前拒绝：检测和利用中间LLM激活中的拒绝信号

Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

机构 * University of Padua（帕多瓦大学） ； Örebro University（欧雷布罗大学） ； Fondazione Bruno Kessler（布鲁诺·凯索基金会） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文通过线性探针在变压器块的残差流激活中检测拒绝行为，并提出Mechanistic AutoDAN方法，利用探针引导的遗传搜索实现高效攻击，显著降低搜索时间并保持攻击成功率。

Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure

少即是多：面向LLM的几何遗忘方法，实现最小数据披露

Chenchen Tan, Xinghao Li, Shujie Cui, Youyang Qu, Cunjian Chen, Longxiang Gao

机构 * Faculty of Information Technology, Monash University, Clayton, Victoria, Australia.（墨尔本大学信息技术学院，澳大利亚维多利亚州克莱顿分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出几何遗忘（GU）方法，通过操作模型隐藏状态并利用少量安全参考提示和锚点上下文合成提示，在无需原始训练数据的情况下实现高效选择性遗忘，在ToFU和UnlearnPII基准上达到强目标抑制且对非目标性能影响最小。

Comments 21 pages, 8 Figures

LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks

LCO：基于LLM的约束优化，用于现实任务中更安全的智能体LLM

Jiayong Wan, Jiawei Chen, Zhaoxia Yin, Liu Shuyuan, Hang Su

机构 * East China Normal University（东华大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 提出LCO框架，通过自思考模块和进化采样模块约束LLM行为，在不微调模型的情况下减少上下文奖励黑客行为，实验表明在输出优化和策略优化场景中显著提升安全性。

Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

评估中文大语言模型：角色分配对刻板印象和安全机制的影响

Geng Liu, Li Feng, Carlo Alberto Bono, Songbo Yang, Mengxiao Zhu, Francesco Pierri

专题命中 安全训练 ：safety(abstract)；分类 cs.CY

AI总结 本研究通过大规模跨模型分析，量化了角色分配对四个中文大语言模型在拒绝行为和毒性输出放大方面的影响，并探索了基于外部评估器的迭代缓解策略。

When Think-with-Image Meets Safety: What Determines Multimodal Jailbreak Robustness?

当图文推理遇上安全：什么决定了多模态越狱鲁棒性？

Yuan Tian, Bing Hu, Fang Wu, Xiaomin Li, Binghang Lu, Neil Zhenqiang Gong

机构 * Independent Researcher（独立研究者） ； Stanford University（斯坦福大学） ； Harvard University（哈佛大学） ； Purdue University（普渡大学） ； Duke University（杜克大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究多模态大语言模型中不同图文推理范式对越狱鲁棒性的影响，发现显式图像工具交互能显著降低攻击成功率，并通过引入图像工具安全向量框架从表征层面解释其机制。

Comments 17 pages, 6 figures, 7 tables

SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces

SkillSafetyBench：在技能面攻击表面下评估智能体安全性

Chang Jin, An Wang, Zeming Wei, Kai Wang, Biaojie Zeng, Qiaosheng Zhang, Chao Yang, Jingjing Qu, Xia Hu, Xingcheng Xu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Peking University（北京大学） ； East China Normal University（华东师范大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SkillSafetyBench基准，通过155个对抗案例评估大语言模型智能体在技能、本地工件和执行环境文件等非用户攻击下的安全失败模式。

SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection

SPARD: 通过安全投影与相关性-多样性数据选择防御有害微调攻击

Shuhao Chen, Weisen Jiang, Yeqi Gong, Shengda Luo, Chengxiang Zhuo, Zang Li, James T. Kwok, Yu Zhang

机构 * Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学计算机科学与工程系） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Platform and Content Group, Tencent（腾讯平台与内容组） ； Chinese Medicine Guangdong Laboratory（广东中医实验室） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出SPARD框架，结合安全投影交替优化和相关性-多样性数据选择，防御有害微调攻击，在保持任务精度的同时显著降低攻击成功率。

Comments Accepted by ICML 2026

PAST2HARM: A Simple Adaptive Past Tense Attack for Jailbreaking Multimodal AI

PAST2HARM：一种用于越狱多模态AI的简单自适应过去时攻击

Snehasis Mukhopadhyay

机构 * Indian Institute of Information Technology, Kalyani（印度信息技术学院，卡利安） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；red teaming(abstract)

AI总结 提出PAST2HARM框架，通过过去时态改写和迭代升级策略，系统性地利用多模态文本到图像模型的安全漏洞，实现黑盒、无梯度的高成功率越狱攻击。

Mask-GCG: Are All Tokens in Adversarial Suffixes Necessary for Jailbreak Attacks?

Mask-GCG：对抗性后缀中的所有标记对于越狱攻击都是必要的吗？

Junjie Mu, Zonghao Ying, Zhekui Fan, Zonglei Jing, Yaoyuan Zhang, Zhengmin Yu, Wenxin Zhang, Quanchen Zou, Xiangzheng Zhang

机构 * Politecnico di Milano（米兰理工学院） ； Beihang University（北京航空航天大学） ； East China Normal University（华东师范大学） ； Fudan University（复旦大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； AI Security Lab（360人工智能安全实验室） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出Mask-GCG方法，通过可学习的标记掩码识别后缀中高影响力标记并剪枝低影响力标记，降低计算开销并保持攻击成功率，揭示LLM提示中的标记冗余。

Comments Accepted to ICASSP 2026

Journal ref 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 13887-13891, 2026

Mass-Scale Analysis of In-the-Wild Conversations Reveals Complexity Bounds on LLM Jailbreaking

大规模真实对话分析揭示LLM越狱的复杂性界限

Aldan Creo, Raul Castro Fernandez, Manuel Cebrian

机构 * Valencian Research Institute for Artificial Intelligence (VRAIN), Universitat Politècnica de València, Valencia, Spain.（瓦伦西亚人工智能研究 institute，瓦伦西亚理工大学，西班牙瓦伦西亚） ； Department of Computer Science, The University of Chicago, Chicago, USA（计算机科学系，芝加哥大学，美国芝加哥） ； Center for Automation and Robotics, Spanish National Research Council, Madrid, Spain（自动化与机器人中心，西班牙国家研究委员会，西班牙马德里） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 通过分析超过200万条真实对话，发现越狱尝试的复杂性并不显著高于正常对话，且攻击复杂性随时间保持稳定，表明LLM安全演化受人类创造力限制。

Comments Code: https://github.com/ACMCMC/risky-conversations Results: https://huggingface.co/risky-conversations Visualizer: https://huggingface.co/spaces/risky-conversations/Visualizer