大模型对齐与安全

Convex Optimization for Alignment and Preference Learning on a Single GPU

单GPU上的对齐与偏好学习的凸优化

Miria Feng, Mert Pilanci

机构 * Department of Electrical Engineering, Stanford University, California, United States（斯坦福大学电气工程系，加州，美国） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 提出COALA算法，利用凸优化重表述消除参考模型，在单GPU上高效训练，性能与DPO相当但计算量仅为其17.6%。

TPMM-DPO: Trajectory-aware Preference-guided Model Merging for Iterative Direct Preference Optimization

TPMM-DPO：轨迹感知偏好引导的模型合并用于迭代直接偏好优化

Lingling Fu, Yongfu Xu

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(abstract)

AI总结 针对迭代DPO中噪声累积导致的过优化和性能退化问题，提出TPMM-DPO方法，通过将迭代策略模型序列视为优化轨迹并自适应融合，构建更平滑鲁棒的参考模型，从而提升训练稳定性和生成质量。

Comments 11 pages,6 figures

StepAudio 2.5 Technical Report

StepAudio 2.5 技术报告

Bin Lin, Bo Zhao, Boyong Wu, Chao Yan, Chen Wu, Cheng Yi, Chengyuan Yao, Daijiao Liu, Fei Tian, Feng Tian, Haiyang Sun, Haoyang Zhang, Jiangjie Zhen, Jinglan Gong, Jun Chen, Li Xie, Peilin Li, Peng Yang, Pengfei Tan, Qingjian Lin, Runze Li, Shenghua Hu, Siyi Zhou, Wenwen Qu, Xiangyu Li, Xiangyu Tony Zhang, Xuerui Yang, Yang Yang, Yechang Huang, Yu Fu, Yuchu Luo, Yuxin Li, Yuxin Zhang, Zhengyan Sheng, Brian Li, Chang Zeng, Changlin Zhang, Chen Geng, Chenghao Dong, Chengli Feng, Dan Zhou, Danni Wan, Di Chen, Die Zhang, Dongqing Pang, Guanglong Yang, Guoqiang Hu, Huangxi Zhu, Jianzheng Gao, Jinghua Liang, Jinmei Wan, Junjie Yuan, Kang An, Lei Lei, Limin Zhong, Lun Cai, Mengqiang Ren, Min Xu, Mingliang Li, Mingxiao Li, Na Wang, Qiang Tong, Qiaoling Huang, Qingfu Du, Rui Wang, Shengchen Zhou, Shi Qiu, Shihao Peng, Shiliang Yang, Siqi Tu, Tianjiao Deng, Ting Xu, Tong Wang, WeiMing Niu, Wuxun Xie, Xianwei Zhang, Xianyu Feng, Xiaojia Liu, Xing Chen, Xiongbin Wu, Yan Wu, Yang Li, Yi Liu, Yifan Zhang, Yile Liu, Yongshen Long, Yu Luo, Yuanhao Ding, Yuhao Wang, Yuhe Yin, Yunfang Xu, Yuxiang Yang, Zhiguo Huang, Zhiyue Wu, Zichao Li, Zichao Zhou, Daxin Jiang, Future Li, Gang Yu, Xiangyu Zhang, Yibo Zhu

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(abstract)

AI总结 提出统一音频语言基础模型StepAudio 2.5，通过任务定制的RLHF后训练和专用解码策略，在ASR、TTS和实时口语交互三项任务上达到或超越专用系统水平。

RAG-Pull: Turning Retrieval into a Code-Injection Channel via Invisible Unicode Perturbations

RAG-Pull：通过不可见Unicode扰动将检索转化为代码注入通道

Aritra Dhar, Vasilije Stambolic, Lukas Cavigelli

机构 * Computing System Labs, Huawei Technologies Switzerland AG（华为瑞士技术有限公司计算系统实验室） ； BKW Energie AG（BKW能源集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出RAG-Pull攻击，通过向查询或外部代码库插入不可见UTF字符，使检索系统偏向恶意代码，从而破坏LLM的安全对齐，实现远程代码执行和SQL注入。

Mitigating Object Hallucinations via Sentence-Level Early Intervention

通过句子级早期干预缓解对象幻觉

Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)

AI总结 提出SENTINEL框架，通过句子级早期干预和领域内偏好学习，无需人工标注即可显著减少多模态大语言模型的对象幻觉，并在幻觉和通用能力基准上超越现有方法。

Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling

超越基于VLM的奖励：扩散原生潜在奖励建模

Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

机构 * The Hong Kong University of Science ； Huawei Hong Kong AI Framework \& Data Technologies Lab ； Tsinghua University ； The Australian National University 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出扩散原生潜在奖励模型DiNa-LRM，直接在噪声扩散状态上进行偏好学习，通过噪声校准Thurstone似然和推理时噪声集成，实现高效且鲁棒的奖励建模。

Comments Accepted by ICML 2026. Code: https://github.com/HKUST-C4G/diffusion-rm

Human-in-the-Loop Multi-Agent Ventilator Decision Support with Contextual Bandit Preference Learning

人在回路的多智能体呼吸机决策支持与上下文赌博机偏好学习

Sijia Li, Xiaoyu Tan, Qixing Wang, Weiyi Zhao, Chen Zhan, Teqi Hao, Xuemin Wang, Lei Gu, Roland Eils, Xihe Qiu

机构 * Shanghai University of Engineering Science, Shanghai, China Tencent Youtu Lab, Tencent, China Department of Critical Care Medicine, Shanghai Tenth People's Hospital, Tongji University School of Medicine, Shanghai, China Department of Emergency ； Critical Disease, Songjiang Hospital Affiliated to Shanghai Jiao Tong University School of Medicine, Shanghai, China Max Planck Institute for Heart ； Lung Research, Bad Nauheim, Germany Fudan University, Shanghai, China BIH at Charit\'e -- Universit\"atsmedizin Berlin, Berlin, Germany 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 提出VDSS框架，通过人在回路的多智能体协作和上下文赌博机在线偏好适应，实现呼吸机决策支持的个性化与可审计性。

Comments miccai 2026

Safe Reinforcement Learning with Preference-based Constraint Inference

基于偏好的约束推断的安全强化学习

Chenglin Li, Grant Ruan, Hua Geng

机构 * Department of Automation, Tsinghua University, Beijing, China ； Laboratory for Information \& Decision Systems, Massachusetts Institute of Technology, Cambridge, MA, USA 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出偏好约束强化学习（PbCRL），通过引入死区机制和信噪比损失，从人类偏好中推断安全约束，实现更好的约束对齐和策略学习。

Comments Accepted by the 43rd International Conference on Machine Learning (ICML 2026)

Prompt Overflow: What the Guardrail Inspects Is Not What the Model Infers

提示溢出：护栏检查的内容并非模型推理的内容

Yuanbo Zhou, Changjia Zhu, Junyu Wang, Xu He, Yan Zhai, Kun Sun, Mingkui Wei, Junjie Xiong

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)

AI总结 本文提出提示溢出攻击，利用护栏模型有限检查窗口与下游大语言模型更大推理窗口之间的不匹配，通过将恶意指令碎片化并插入良性填充内容到超长提示中，使每个检查片段看似无害，但完整上下文仍可被LLM执行。

Comments 18 pages, 8 figures

MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems

MaMa: 一种基于博弈论的安全智能体系统设计方法

Jonathan Nöther, Adish Singla, Goran Radanovic

机构 * Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出MaMa算法，通过将安全智能体系统设计形式化为系统设计者与对手之间的Stackelberg博弈，利用基于LLM的对抗搜索自动生成鲁棒安全的系统设计。

One Policy, Infinite NPCs: Persona-Traceable Shared RL Policies for Scalable Game Agents

一个策略，无限NPC：用于可扩展游戏智能体的可追溯共享RL策略

Yoosung Hong

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出一种基于冻结LLM嵌入的条件共享强化学习策略pcsp，实现大规模NPC的个性化控制，在300人生活模拟基准上零样本身份识别提升17倍，推理速度比LLM策略快22倍。

Comments 18 pages, 15 figures, 14 tables

DART: Semantic Recoverability for Structured Tool Agents

DART：结构化工具代理的语义可恢复性

Ke Yang, Panpan Li, Zonghan Wu, Kejin Xu, Huaxi Huang, Xiaoshui Huang

机构 * MOS Intelligent Connectivity Technology Co. Ltd.（MOS智能连接技术有限公司） ； Sichuan Vocational College of Post and Telecom（四川邮电职业技术学院） ； East China Normal University（华东师范大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对结构化工具代理执行失败时局部恢复可能破坏下游已提交工作的语义一致性问题，提出DART运行时系统，通过形式化语义可恢复性并实施可接受性检查，在依赖和效果约束下选择安全的恢复点。

Distill to Think, Foresee to Act: Cognitive-Physical Reinforcement Learning for Autonomous Driving

蒸馏思考，预见行动：面向自动驾驶的认知-物理强化学习

Yang Wu, Qiang Meng, Zhaojiang Liu, Youquan Liu, Jian Yang, Jin Xie

机构 * NJU（南京大学） ； SJTU（上海交通大学） ； FDU（福建大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出CoPhy框架，通过蒸馏VLM知识到BEV编码器实现零推理成本的认知能力，并构建自回归BEV世界模型预测未来语义地图以提供可解释的物理沙盒，结合双奖励机制（物理奖励和安全约束、认知奖励和意图对齐）优化驾驶策略，在NAVSIM基准上取得最优结果。

Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation

语义结构化混合专家用于组合机器人操作

Chengyu Deng, Guanqi Chen, Yizhou Chen, Zejia Liu, Zhiwen Ruan, Guanhua Chen, Jia Pan

机构 * The University of Hong Kong（香港大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出语义结构化混合专家扩散策略（SMoDP），通过视觉语言模型标注的技能语义指导专家专业化，实现参数高效的多任务组合操作。

Comments Accepted to Robotics: Science and Systems (RSS) 2026

A Distributed Framework for Data-Driven Safe Coordination in Leader-Follower Networks

一种用于领导者-跟随者网络中数据驱动安全协调的分布式框架

Mirhan Urkmez, Maryam Sharifi, Shahab Heshmati-Alamdari

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出分布式数据驱动零化控制屏障函数（3D-ZCBF）框架，通过从输入-状态数据中识别导数边界，在无需显式模型的情况下保证领导者-跟随者多智能体系统的连通性。

Comments Submitted to IEEE TCNS

Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

相同模型，不同弱点：语言与模态如何重塑前沿多模态大语言模型的越狱攻击面

Casey Ford, Madison Van Doren, Sicheng Jin, Emily Dix

机构 * Appen（Appliance） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 通过跨语言多模态红队测试，发现语言和模态通过不同机制影响越狱漏洞，导致安全排名跨语言不守恒，需重新设计评估框架。

BarrierSteer: LLM Safety via Learning Barrier Steering

BarrierSteer: 通过学习障碍引导实现大语言模型安全

Thanh Q. Tran, Arun Verma, Kiwan Wong, Bryan Kian Hsiang Low, Daniela Rus, Wei Xiao

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联合研究中心） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Worcester Polytechnic Institute（沃斯堡理工学院） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出 BarrierSteer 框架，通过将学习到的非线性安全约束作为控制障碍函数嵌入潜在表示空间，在推理时引导模型生成安全内容，理论保证且不修改模型参数。

Comments This paper introduces SafeBarrier, a framework that enforces safety in large language models by steering their latent representations with control barrier functions during inference, reducing adversarial and unsafe outputs

GradingAttack: Exposing Security Vulnerabilities in LLM Based Educational Grading Agents

GradingAttack: 揭示基于LLM的教育评分代理中的安全漏洞

Xueyi Li, Zhuoneng Zhou, Zitao Liu, Yongdong Wu

机构 * Guangdong Institute of Smart Education（广东智能教育研究院） ； Jinan University（济南大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出GradingAttack框架，通过token级和prompt级对抗攻击策略，系统评估基于LLM的教育评分代理的安全漏洞，发现其缺乏鲁棒防御。

The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems

归因偏差：当记忆中毒在自主AI系统中看起来像模型失败时

Tanzim Ahad, Ismail Hossain, Md Jahangir Alam, Sai Puppala, Syed Bahauddin Alam, Sajedul Talukder

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯大学埃尔帕索分校计算机科学系） ； School of Computing, Southern Illinois University Carbondale（南方伊利诺伊大学卡本代尔分校计算机学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文识别了多智能体AI系统中的“归因偏差”问题，即记忆层攻击导致的行为与模型失败无法区分，并形式化了“语义规范漂移”（SND）作为第三种不当行为路径，提出了反事实组合测试和记忆持久信息流控制等防御方法。

Comments This paper is presently under review at a top-tier security venue

How Far Will They Go? Red-Teaming Online Influence with Large Language Models

它们会走多远？使用大型语言模型对在线影响力进行红队测试

Daniel C. Ruiz, Anna Serbina, Ashwin Rao, Emilio Ferrara, Luca Luceri

机构 * Information Sciences Institute University of Southern California（信息科学研究所 乌德穆尔特国立大学） 纠错

专题命中 红队测试 ：alignment(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出一个红队测试框架，通过测量大型语言模型在争议话题上的政治观点表达范围（Overton Window），并量化简单自然语言越狱如何扩展该范围，发现开源LLM在政治表达上存在系统性不对称，且越狱效果因模型系列而异。

Comments 30 pages, 8 figures, submitted to COLM 2026

Convergence Without Understanding: When Language Models Agree on Representations but Disagree on Reasoning

没有理解的趋同：当语言模型在表示上一致但在推理上分歧时

Muhammad Usama, Dong Eui Chang

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过分析16个语言模型在800个推理问题上的表示相似性，发现模型在表示上趋同但推理策略不同，表明表示趋同反映的是共享的输入处理约束而非共享的推理策略。

HawkesLLM: Semantic Uncertainty Propagation in Agentic Text Simulation

HawkesLLM：智能体文本模拟中的语义不确定性传播

Zewei Deng, Tinghan Ye, Liyan Xie

机构 * Department of Industrial and Systems Engineering, University of Minnesota（工业与系统工程系，明尼苏达大学） ； H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. Milton Stewart工业与系统工程学院，佐治亚理工学院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 提出HawkesLLM框架，通过多变量Hawkes过程建模时间影响与文本生成分离，解决智能体文本模拟中语义不确定性路径依赖问题，在GDELT新闻级联案例中提升后期语义对齐。

Comments 10 pages, 4 figures, Accepted at the ICML 2026 Workshop on Statistical Frameworks for Uncertainty in Agentic Systems

An Empirical Analysis of Calibration and Selective Prediction in Multimodal Clinical Condition Classification

多模态临床状况分类中的校准与选择性预测的实证分析

L. Julián Lechuga López, Farah E. Shamout, Tim G. J. Rudner

机构 * New York University（纽约大学） ； University of Toronto（多伦多大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 本研究通过实证分析多标签临床状况分类中基于不确定性的选择性预测，发现其性能可能严重下降，原因是类别依赖的误校准，尤其对少数类别，并强调需要校准感知评估来确保临床AI的安全性。

Comments 40 pages, 14 figures, 16 tables. Accepted as a conference paper at AHLI Conference on Health, Inference, and Learning (CHIL) 2026

Task-Awareness Improves LLM Generations and Uncertainty

任务感知提升大语言模型生成与不确定性

Tim Tomov, Dominik Fuchsgruber, Stephan Günnemann

机构 * School of Computation, Information \& Technology, Technical University of Munich ； Munich Data Science Institute ； Munich Center for Machine Learning 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 提出在任务依赖的潜在结构中直接建模LLM输出，通过贝叶斯最优响应合成和贝叶斯风险量化不确定性，优于标准解码方法并改善与输出质量的校准。

Enhancing Deep Neural Network Reliability with Refinement and Calibration

通过精炼和校准增强深度神经网络的可靠性

Ramya Hebbalaguppe, Ajay Shastry, Soumya Suvra Ghosal, Chetan Arora

机构 * SIT, Indian Institute of Technology Delhi, New Delhi, India（印度理工学院德里SIT，新德里） 纠错

专题命中 幻觉与事实性 ：分类 cs.AI、cs.LG；alignment(comments)；trustworthy(comments)

AI总结 针对深度神经网络置信度不可靠的问题，提出一种通过监督对比学习显式优化精炼度的损失函数，并联合优化校准、精炼和准确性的统一训练框架RefCal，在CIFAR-100-LT数据集上显著提升性能。

Comments ICLR 2026, Trustworthy AI and Representational Alignment

Boundary-targeted Membership Inference Attacks on Safety Classifiers

针对安全分类器的边界目标成员推断攻击

Anthony Hughes, Alexander Goldberg, Prince Jha, Adam Perer, Nikolaos Aletras, Niloofar Mireshghallah

机构 * University of Sheffield（谢菲尔德大学） ； Carnegie Mellon University（卡内基梅隆大学） ； MBZUAI 纠错

专题命中 隐私与版权 ：safety(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出一种边界目标选择策略，通过识别低置信度样本来放大成员推断信号，在安全分类器上以5%假阳性率恢复19%的敏感对话，比现有方法高3.5倍。

GT-HarmBench: Benchmarking AI Safety Risks Through the Lens of Game Theory

GT-HarmBench：通过博弈论视角评估AI安全风险

Pepijn Cobben, Xuanqiang Angelo Huang, Thao Amelia Pham, Isabel Dahlgren, Terry Jingchen Zhang, Zhijing Jin

机构 * ETH Zürich（苏黎世联邦理工学院） ； Berea College（贝雷学院） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（图宾根德国智能系统马克斯·普朗克研究所） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出GT-HarmBench基准，包含1535个高风险场景，基于博弈论结构（如囚徒困境、猎鹿博弈、斗鸡博弈）评估前沿AI模型在多智能体环境中的安全风险，发现模型在38%的高风险案例中未能选择对社会有益的行为，并验证了博弈论干预可提升18%的社会有益结果。

Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment

面向感知模型的可信与可解释人工智能：从概念到原型车辆部署

Till Beemelmanns, Shayan Sharifi, Manas Mehrotra, Ayushman Choudhuri, Lutz Eckstein

机构 * Institute for Automotive Engineering, RWTH Aachen University（汽车工程研究所，亚琛工业大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一个结合鲁棒性、可解释性和不确定性校准的Transformer感知模块，并部署于原型车辆，通过实时可视化验证可信AI的可行性。

Comments Accepted for publication at IEEE ITSC 2026

Bridging AI and Clinical Reasoning: Abductive Explanations for Alignment on Critical Symptoms

弥合AI与临床推理：针对关键症状对齐的溯因解释

Belona Sonna, Alban Grastien

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文利用形式溯因解释，通过最小充分特征集提供一致且保证的推理，使AI决策与临床推理对齐，在保持预测准确性的同时提供可操作的临床见解，建立可信AI框架。

Comments The Algorithm 1 is not entirely correct and they may affect the results as well. We are restarting the experimentations and will upload the new version as soon as possible

The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems

确定性视界：作为可信AI系统设计规范的不可行性结果

Dongxin Guo

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过证明架构决定的准确率上限、偏好学习的样本复杂度跳跃、多阶段检索的指标数量要求等16个不可行性结果，将计算极限转化为可信AI系统的设计规范。

Comments PhD thesis, Department of Computer Science, The University of Hong Kong, 2026. 271 pages, 18 figures, 15 tables, 5 algorithms