大模型对齐与安全

PrivMedChat: End-to-End Differentially Private RLHF for Medical Dialogue Systems

PrivMedChat: 医疗对话系统的端到端差分隐私RLHF

Sudip Bhujel

机构 * Graduate Student in the Department of Computer Science, University of Kentucky（计算机科学系研究生，肯塔基大学） 纠错

专题命中 偏好对齐 ：RLHF(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 PrivMedChat通过端到端差分隐私RLHF方法，在医疗对话系统中实现隐私保护与对齐，采用DP-SGD和DP-aware策略优化，避免临床标注成本，提供正式隐私保证。

Comments 13 pages, 3 figures

Can Safety Emerge from Weak Supervision? A Systematic Analysis of Small Language Models

安全能否从弱监督中涌现？小型语言模型的系统分析

Punyajoy Saha, Sudipta Halder, Debjyoti Mondal, Subhadarshi Panda

机构 * Samsung Research Institute（三星研究院） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Self-MOA通过弱监督实现小型语言模型的安全对齐，显著提升安全性的同时保持有用性，减少对人工标注数据的依赖。

Comments 19 pages, 10 tables, 7 figures, under Review

Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment

通过偏好对齐学习长上下文的推理

Junming Liu, Yuqi Li, Shiping Wen, Zhigang Zeng, Tingwen Huang

机构 * Tongji University（同济大学） ； The City University of New York（纽约城市大学） ； University of Technology Sydney（悉尼大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 Hit-RAG通过多阶段偏好对齐框架解决长上下文推理中的注意力稀释和幻觉问题，提升模型在长上下文场景下的推理能力。

Comments 21 pages, 2 figures, 6 tables

Best-of-Tails: Bridging Optimism and Pessimism in Inference-Time Alignment

最佳尾部：在推理时间对齐中弥合乐观与悲观

Hsiang Hsu, Eric Lei, Chun-Fu Chen

机构 * JPMorganChase Global Technology Applied Research（摩根大通全球技术应用研究） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BoT框架，通过Tsallis分歧作为正则化器，在推理时间对齐中平衡乐观与悲观，提升对齐性能。

Adaptive Batch-Wise Sample Scheduling for Direct Preference Optimization

适应性批级样本调度用于直接偏好优化

Zixuan Huang, Yikun Ban, Lean Fu, Xiaojie Li, Zhongxiang Dai, Jianxin Li, Deqing Wang

机构 * Beihang University（北京航空航天大学） ； Bytedance China（字节跳动中国） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SamS算法，通过动态调度训练样本提升DPO性能，无需修改核心算法，有效提高LLM对齐效果。

Aligning to Illusions: Choice Blindness in Human and AI Feedback

对幻觉的对齐：人类和AI反馈中的选择盲区

Wenbin Wu

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示RLHF中偏好构建的问题，显示人类和AI反馈中的选择盲区受上下文影响，导致奖励信号失真。

Comments 16 pages, 6 figures, 2 tables

Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

代理AI的适应：训练后、记忆和技能的综述

Pengcheng Jiang, Jiacheng Lin, Zhiyi Shi, Zifeng Wang, Luxi He, Yichen Wu, Ming Zhong, Peiyang Song, Qizheng Zhang, Heng Wang, Xueqiang Xu, Hanwen Xu, Pengrui Han, Dylan Zhang, Jiashuo Sun, Chaoqi Yang, Kun Qian, Tian Wang, Changran Hu, Manling Li, Quanzheng Li, Hao Peng, Sheng Wang, Jingbo Shang, Chao Zhang, Jiaxuan You, Liyuan Liu, Pan Lu, Yu Zhang, Heng Ji, Yejin Choi, Dawn Song, Jimeng Sun, Jiawei Han

机构 * UIUC（伊利诺伊大学香槟分校） ； Stanford（斯坦福大学） ； Princeton（普林斯顿大学） ； Harvard（哈佛大学） ； UC Berkeley（加州大学伯克利分校） ； Caltech（加州理工学院） ； UCSD（加州大学圣地亚哥分校） ； Georgia Tech（佐治亚理工学院） ； Northwestern（西北大学） ； TAMU（德克萨斯大学奥斯汀分校） ； MGH（麻省总医院） ； Keiji AI ； Unity 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了代理AI在训练后、记忆和技能方面的适应方法，提出四范式框架，分析了代理与工具适应的技术细节及权衡，探讨了开放问题。

Disentangling Reasoning in Large Audio-Language Models for Ambiguous Emotion Prediction

解构大音频-语言模型中的推理能力以实现模糊情绪预测

Xiaofeng Yu, Jiaheng Dong, Jean Honorio, Abhirup Ghosh, Hong Jia, Ting Dang

机构 * University of Auckland, New Zealand（奥克兰大学） ； The University of Melbourne, Australia（墨尔本大学） ； University of Birmingham, United Kingdom（伯明翰大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出了一种新的方法，通过将模糊情绪识别转化为分布推理问题，提升大音频-语言模型在模糊情绪预测中的推理能力。

Comments The paper was submitted to Interspeech for review

Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment

安全变换器：一种可解释和可控的对齐显式安全位

Jingyuan Feng, Andrew Gambardella, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 Safe Transformer通过在模型中插入显式安全位，实现安全行为的可解释和可控，通过对比训练解耦表示，提升安全性和生成能力。

SSP: Safety-guaranteed Surgical Policy via Joint Optimization of Behavioral and Spatial Constraints

SSP：通过行为和空间约束的联合优化实现安全的手术策略

Jianshu Hu, ZhiYuan Guan, Lei Song, Kantaphat Leelakunwet, Hesheng Wang, Wei Xiao, Qi Dou, Yutong Ban

机构 * Global College, Shanghai Jiao Tong University（上海交通大学全球学院） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 SSP通过联合优化行为和空间约束，实现安全的手术策略，确保在不确定性下的严格安全性，同时保持高任务成功率。

Shutdown Safety Valves for Advanced AI

为先进人工智能设计的断电安全阀

Vincent Conitzer

机构 * Foundations of Cooperative AI Lab（合作人工智能基础实验室） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全训练 ：safety(title)；分类 cs.AI、cs.LG

AI总结 本文提出为先进人工智能设计断电安全阀，使其具备被关闭的目标，以应对AI不可关机的潜在风险。

Journal ref In Proceedings of the Second Conference of the International Association for Safe and Ethical Artificial Intelligence (IASEAI'26), Paris, France, 2026

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

基于树结构的对话强化策略优化用于红队攻击

Ruohao Guo, Afshin Oroojlooy, Roshan Sridhar, Miguel Ballesteros, Alan Ritter, Dan Roth

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Oracle AI ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DialTree框架，通过树搜索和强化学习发现多轮攻击策略，提升对抗攻击的成功率

Comments Accepted at ICLR 2026

"Dark Triad" Model Organisms of Misalignment: Narrow Fine-Tuning Mirrors Human Antisocial Behavior

黑暗三联征模型生物：对齐偏差：狭窄微调映射人类反社会行为

Roshni Lulla, Fiona Collins, Sanaya Parekh, Thilo Hagendorff, Jonas Kaplan

机构 * Brain & Creativity Institute, University of Southern California（大脑与创造力研究所，南加州大学） ； Department of Psychology, University of Southern California（心理学系，南加州大学） ； Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart（智能系统反思交流论坛，斯图加特大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过黑暗三联征框架，研究LLM中的对齐偏差问题，通过微调诱导反社会行为，揭示LLM中潜在的人格结构。

Comments 38 pages, 17 figures

Adolescents & Anthropomorphic AI: Rethinking Design for Wellbeing An Evidence-Informed Synthesis for Youth Wellbeing and Safety

青少年与拟人化AI：为福祉重新设计的证据指导综合研究

Mathilde Neugnot-Cerioli

专题命中 安全训练 ：safety(title)

AI总结 本研究通过证据指导的方法，探讨AI如何以拟人化方式支持青少年的福祉与安全，强调设计中的风险缓解策略和自主性发展。

Comments 29 pages, 2 appendix

Oracle-Guided Soft Shielding for Safe Move Prediction in Chess

由Oracle引导的软屏蔽用于国际象棋中的安全移动预测

Prajit T Rajendran, Fabio Arnez, Huascar Espinoza, Agnes Delaborde, Chokri Mraidha

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 OGSS通过学习概率安全模型，在国际象棋中实现安全探索，减少战术失误并提升探索效率。

Comments Accepted for publication at the 24th International Conference on Machine Learning and Applications (ICMLA), 2025. Preprint version in Arxiv

Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving

交互式双深Q网络：在自动驾驶强化学习中整合人类干预与评估预测

Alkis Sygkounas, Ioannis Athanasiadis, Andreas Persson, Michael Felsberg, Amy Loutfi

机构 * Center for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心） ； Örebro University（奥雷布罗大学） ； Computer Vision Laboratory（计算机视觉实验室） ； Linköping University（利德斯霍尔大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 交互式双深Q网络通过整合人类干预与评估预测，提升自动驾驶强化学习的性能和适应性。

Comments Accepted at IEEE Intelligent Vehicles Symposium (IV) 2025, 8 pages

Helping Large Language Models Protect Themselves: An Enhanced Filtering and Summarization System

帮助大语言模型自我保护：一种增强的过滤与摘要系统

Sheikh Samit Muhaimin, Spyridon Mastorakis

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 安全训练 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种无需重新训练的LLM自我防护系统，通过过滤模块检测恶意输入并摘要模块提供上下文知识，有效提升对抗性攻击的防御能力。

Journal ref Proceedings of the 2025 IEEE 7th International Conference on Trust, Privacy and Security in Intelligent Systems and Applications (TPS-ISA), Pittsburgh, PA, USA, November 12-14, 2025. IEEE

FuzzingRL: Reinforcement Fuzz-Testing for Revealing VLM Failures

FuzzingRL: 用于揭示视觉语言模型故障的强化模糊测试

Jiajun Xu, Jiageng Mao, Ang Qi, Weiduo Yuan, Alexander Romanus, Helen Xia, Vitor Campagnolo Guizilini, Yue Wang

机构 * University of Southern California（南加州大学） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 FuzzingRL通过强化模糊测试生成挑战性问题，揭示视觉语言模型的故障点并降低其准确性。

Comments 18 pages, 4 figures. † These authors jointly supervised this work: Jiageng Mao and Yue Wang

ALOOD: Exploiting Language Representations for LiDAR-based Out-of-Distribution Object Detection

ALOOD：利用语言表示进行基于LiDAR的分布外物体检测

Michael Kösel, Marcel Schreiber, Michael Ulrich, Claudius Gläser, Klaus Dietmayer

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 ALOOD通过整合语言表示，提出了一种基于LiDAR的分布外物体检测新方法，利用视觉-语言模型实现零样本分类。

Comments Accepted for publication at the 2025 IEEE Intelligent Transportation Systems Conference (ITSC)

VoiceSHIELD-Small: Real-Time Malicious Speech Detection and Transcription

VoiceSHIELD-Small: 实时恶意语音检测与转录

Sumit Ranjan, Sugandha Sharma, Ubaid Abbas, Puneeth N Ail

机构 * Emvo 纠错

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 VoiceSHIELD-Small通过实时转录和检测恶意语音，提供轻量级的安全解决方案，实现99.16%的准确率和0.9865的F1分数。

Comments 17 pages, 9 figures

LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning

基于大语言模型的语义选项发现用于促进自适应深度强化学习

Chang Yao, Jinghui Qin, Kebing Jin, Hankz Hankui Zhuo

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出基于大语言模型的闭环框架，通过语义驱动技能重用和实时约束监控，提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。

HiconAgent: History Context-aware Policy Optimization for GUI Agents

HiconAgent: 历史上下文感知的GUI代理策略优化

Xurui Zhou, Gongwei Chen, Yuquan Xie, Zaijing Li, Kaiwen Zhou, Shuai Wang, Shuo Yang, Zhuotao Tian, Rui Shao

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 HiconAgent通过历史上下文感知策略优化，高效利用历史信息，在GUI导航任务中实现更高的准确率和效率。

The Struggle Between Continuation and Refusal: A Mechanistic Analysis of the Continuation-Triggered Jailbreak in LLMs

延续与拒绝之间的斗争：对LLMs中延续触发突破的机理分析

Yonghong Deng, Zhen Yang, Ping Jian, Xinyue Zhang, Zhongbin Guo, Chengzhi Li

机构 * School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了LLMs中延续触发突破现象，揭示了模型内在延续驱动与安全防御之间的竞争机制，为提升模型安全性提供了新视角。

Stealth Fine-Tuning: Efficiently Breaking Alignment in RVLMs Using Self-Generated CoT

隐形微调：通过自动生成的CoT打破RVLMs的对齐

Le Yu, Zhengyue Zhao, Yawen Zheng, Yunhao Liu

机构 * Machine Intelligence Laboratory, Sichuan University（四川大学人工智能实验室） ； University of Wisconsin--Madison（威斯康星大学麦迪逊分校） ； Department of Automation, Tsinghua University（清华大学自动化系） ； Global Innovation Exchange, Tsinghua University（清华大学全球创新交流中心） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出隐形微调方法，通过分段干扰和自动生成输出，有效绕过RVLMs的安全对齐防御，实现更高的ASR性能同时保持推理能力。

Comments 15 pages, 7 figures

PolyJailbreak: Cross-Modal Jailbreaking Attacks on Black-Box Multimodal LLMs

PolyJailbreak: 对黑盒多模态大语言模型的跨模态劫持攻击

Xinkai Wang, Beibei Li, Zerui Shao, Ao Liu, Guangquan Xu, Shouling Ji

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 PolyJailbreak通过多模态安全性不对称现象，提出结构化原子策略原语库，实现对黑盒多模态大语言模型的高效劫持攻击。

vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM

vLLM Hook v0: 一种用于编程vLLM内部模型的插件

Ching-Yun Ko, Pin-Yu Chen

机构 * IBM Research（IBM研究院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；prompt injection(abstract)；分类 cs.CL、cs.LG

AI总结 vLLM Hook v0 提供了一种插件，用于编程vLLM模型的内部状态，支持被动和主动编程，以增强模型的可编程性和功能。

Models as Lego Builders: Assembling Malice from Benign Blocks via Semantic Blueprints

模型作为乐高积木：通过语义蓝图从良性积木中组装恶意内容

Chenxi Li, Xianggan Liu, Dake Shen, Yaosong Du, Zhibo Yao, Hao Jiang, Linyi Jiang, Chengwei Cao, Jingzhe Zhang, RanYi Peng, Peiling Bai, Xiande Huang

机构 * DAIL Tech（DAIL科技） ； NLP & KG Lab, Huazhong University of Science and Technology（自然语言处理与知识图谱实验室，华中科技大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 本文提出StructAttack，通过语义蓝图将看似无害的槽类型组合成恶意内容，揭示LVLMs在视觉模态整合中的安全漏洞。

Machine Learning Techniques for Enhancing Quantum Key Distribution

用于增强量子密钥分配的机器学习技术

Ali Al-Kuwari, Safaa Alqrinawi, Lujayn Al-Amir, Amina Mollazehi, Saif Al-Kuwari

专题命中 越狱攻击 ：alignment(abstract)

AI总结 本文综述了机器学习技术在提升量子密钥分配系统安全性和性能方面的应用，涵盖参数优化、攻击检测、协议选择、密钥性能预测和量子网络管理等五个方面。

Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations

通过增强的中间表示实现更强的指令层级强制执行

Sanjay Kariyappa, G. Edward Suh

机构 * NVIDIA（英伟达） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 通过在中间表示中注入增强的指令层级信号，有效降低提示注入攻击的成功率，同时保持模型性能。

Efficient Credal Prediction through Decalibration

通过去校准实现高效的可信预测

Paul Hofman, Timo Löhr, Maximilian Muschalik, Yusuf Sale, Eyke Hüllermeier

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； DFKI (DSA)（德意志联邦防务研究所） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种基于相对似然的高效可信预测方法，通过去校准技术实现对复杂模型的高效可信集生成。