大模型对齐与安全

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

多目标偏好优化：提升生成模型的人类对齐

Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(title,abstract)；DPO(abstract,abstract_cn)；safety(abstract)

AI总结 针对RLHF和偏好优化方法假设单一目标的问题，提出多目标偏好优化框架MOPO，通过约束KL散度最大化主要目标并保障次要目标下限，在合成基准和人类偏好数据上实现帕累托最优策略。

Comments arXiv admin note: text overlap with arXiv:2406.18853 by other authors

Effects of Personality- and Opinion-Alignment in Human-AI Interaction

人格与观点一致性在人机交互中的影响

Maximilian Eder, Clemens Lechner, Maurice Jakesch

专题命中 偏好对齐 ：alignment(title,abstract)；trustworthy(abstract)

AI总结 研究探讨了AI助手的人格和观点一致性如何影响用户交互结果和感知，发现观点一致性的AI更受信任和受欢迎，但人格一致性影响不显著。

VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

VALUEFLOW：迈向大语言模型中多元化和可引导的基于价值的对齐

Woojin Kim, Sieun Hyeon, Jusang Oh, Jaeyoung Do

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能交叉学科项目） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出VALUEFLOW框架，通过分层价值嵌入、强度标注数据库和锚定评估器，实现大语言模型在价值强度上的可控对齐，解决现有方法在提取、评估和引导方面的不足。

Comments Accepted in ICML 2026 (Oral). Code available at https://github.com/AIDASLab/VALUEFLOW

Adaptive Pluralistic Alignment: A pipeline for dynamic artificial democracy

自适应多元对齐：动态人工民主的流水线

Rachel Freedman

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 提出自适应多元对齐（APA）流水线，通过低秩奖励基分解和陪审团投票机制，动态追踪社会价值观演变，避免价值锁定，无需重复预训练或大规模数据收集。

From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

从“弱”信号到强模型：基于LoRA合并的偏好增量聚合

Qi Sun, Siyue Zhang, Yulin Chen, Yuxiang Xue, Ru Peng, Chen Zhao

机构 * NYU Shanghai（纽约大学上海校区） ； NTU（国立台湾大学） ； NYU（纽约大学） ； ZJU（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出偏好增量聚合（PDA）框架，通过从弱-更弱模型对中提取偏好增量并转化为LoRA适配器，再经几何对齐合并（GAM）聚合多个“弱”信号，以提升强模型性能。

Teach a Reward Model to Correct Itself: Reward Guided Adversarial Failure Discovery for Robust Reward Modeling

教会奖励模型自我修正：奖励引导的对抗性失败发现以实现鲁棒奖励建模

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学College Park分校） ； Capital One 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出REFORM框架，通过奖励引导的受控解码自动发现奖励模型失败模式，并利用生成的对抗样本自我改进，提升鲁棒性而不牺牲奖励质量。

Journal ref ACL 2026 Main Conference [Oral]

Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

面向风险感知强化学习的情景生成与近似安全保证

Mohit Prashant, Arvind Easwaran

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对强化学习策略对转移扰动敏感导致不安全行为的问题，提出使用变分自编码器近似状态空间分布，通过构造上下界屏障证书并采样非鲁棒区域状态来收紧概率安全保证。

Comments 8 pages, preprint

Agentic Physical AI toward a Domain-Specific Foundation Model for Energy Systems: A Case Study on Nuclear Reactor Control

面向能源系统的领域特定基础模型的具身物理人工智能：以核反应堆控制为例

Yoon Pyo Lee, Samrendra Roy, Kazuma Kobayashi, Sajedul Talukder, Diab Abueidda, Seid Koric, Souvik Chakraborty, Syed Bahauddin Alam

机构 * The Grainger College of Engineering, Nuclear, Plasma & Radiological Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格雷格学院工程学院、核等工程学院） ； Department of Nuclear Engineering, Hanyang University（汉阳大学核工程系） ； University of Texas - El Paso（德克萨斯大学埃尔帕索分校） ； National Center for Supercomputing Applications（国家超级计算应用中心） ； Department of Applied Mechanics, Indian Institute of Technology Delhi（印度德里理工学院应用力学系） ； Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（印度德里理工学院亚里人工智能学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出通过紧凑语言模型作为具身物理人工智能，利用基于物理模拟器验证的策略优化替代感知推理，在核反应堆控制任务中实现领域特定基础模型，并展示了规模扩展带来的可靠性提升和策略集中化行为。

Comments Accepted for publication in npj Artificial Intelligence

InvEvolve: Evolving White-Box Inventory Policies via Large Language Models with Performance Guarantees

InvEvolve：通过具有性能保证的大语言模型进化白盒库存策略

Chenyu Huang, Jianghao Lin, Zhengyang Tang, Bo Jiang, Ruoqing Jiang, Benyou Wang, Lai Wei

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Boston College（波士顿大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出InvEvolve框架，利用强化学习训练的大语言模型，结合置信区间认证，在线生成具有统计安全保证的白盒库存策略，在合成和真实零售数据上优于经典和深度学习方法。

Step-Wise Refusal Dynamics in Autoregressive and Diffusion Language Models

自回归与扩散语言模型中的逐步拒绝动态

Eliron Rahimi, Elad Hirshel, Rom Himelstein, Amit LeVi, Avi Mendelson, Chaim Baskin

机构 * Department of Computer Science, Technion – Israel Institute of Technology（技术学院计算机科学系，以色列技术学院） ； INSIGHT Lab, School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Israel（内斯坦实验室，贝内-加隆大学内加尔分校，以色列） ； Computer Science Department, University of Haifa, Haifa, Israel（海法大学计算机科学系，海法，以色列） 纠错

专题命中 安全训练 ：jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 研究扩散语言模型（DLM）与自回归（AR）模型在拒绝有害生成行为上的差异，发现扩散重掩码机制可促进恢复，提出逐步拒绝内部动态（SRI）信号，并基于此构建无需修改推理的越狱检测器。

Comments Preprint

Robust Driving Control for Autonomous Vehicles: An Intelligent General-sum Constrained Adversarial Reinforcement Learning Approach

自动驾驶鲁棒控制：一种智能一般和约束对抗强化学习方法

Junchao Fan, Qi Wei, Ruichen Zhang, Yang Lu, Jianhua Wang, Xiaolin Chang, Bo Ai

机构 * Beijing Key Laboratory of Security and Privacy in Intelligent Transportation（北京智能交通安全与隐私重点实验室） ； Beijing Jiaotong University（北京交通大学） ； College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） ； School of Computer Science and Technology（计算机科学与技术学院） ； Taiyuan University of Technology（太原科技大学） ； School of Electronics and Information Engineering（电子与信息工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对深度强化学习在自动驾驶中易受对抗攻击的问题，提出智能一般和约束对抗强化学习（IGCARL），通过战略性目标对手和鲁棒驾驶代理的交互训练，在约束优化下提升策略稳定性，实验表明成功率比现有方法提高至少27.9%。

Constricting Tubes for Prescribed-Time Safe Control

为指定时间安全控制设计的约束管

Darshan Gadginmath, Ahmed Allibhoy, Fabio Pasqualetti

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出了一种约束控制屏障函数框架，用于具有输入约束的控制仿射系统指定时间控制。通过构造一个随时间变化的安全管，从包含初始条件的放松集缩小到目标集，确保在用户指定的截止时间内恢复。框架通过单个仿射约束每时间步，实现可扩展性。

Comments 8 pages, 6 figures

GradShield: Alignment Preserving Finetuning

GradShield: 保持对齐的微调

Zhanhao Hu, Xiao Huang, Patrick Mendoza, Emad A. Alghamdi, Basel Alomair, Raluca Ada Popa, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） ； HUMAIN ； King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹科学与技术城） ； University of Washington, Seattle（华盛顿大学（西雅图）） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 提出GradShield过滤方法，通过计算微调隐式危害分数并采用自适应阈值，在微调前移除有害数据，保持LLM安全对齐，攻击成功率低于6%。

Latent-space Attacks for Refusal Evasion in Language Models

潜在空间攻击用于语言模型的拒绝规避

Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

机构 * University of Cagliari（卡利亚里大学） ； University of Genova（热那亚大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 本文研究了如何通过潜在空间攻击来规避语言模型的拒绝行为，提出了一种受控的潜在空间攻击方法，以提高攻击成功率，优于现有方法。

EVA: Evolving Semantic Adversaries for Red-Teaming GUI Agents Against Environmental Injection Attacks

EVA: 针对环境注入攻击的红队GUI智能体的演化语义对抗方法

Yijie Lu, Manman Zhao, Tianjie Ju, Zihe Yan, Xinbei Ma, Yuan Guo, Daizong Ding, Gongshen Liu, Zhuosheng Zhang

机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Independent Researcher（独立研究者） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 提出EVA框架，通过演化语义对抗载荷攻击多模态大语言模型驱动的GUI智能体，揭示语义欺骗是攻击成功的关键，实现85%攻击成功率且快速收敛。

Comments Accepted by

From Storage to Steering: Memory Control Flow Attacks on LLM Agents

从存储到操控：针对LLM代理的内存控制流攻击

Zhenlin Xu, Xiaogang Zhu, Yu Yao, Minhui Xue, Yiliao Song

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文研究了内存控制流攻击对LLM代理的影响，提出MEMFLOW框架以系统识别和量化此类攻击，发现超过90%的测试在严格安全约束下仍易受攻击，揭示了严重的安全风险。

TRUE: A Trustworthy Unified Explanation Framework for Large Language Model Reasoning

TRUE：一种用于大语言模型推理的可信统一解释框架

Yujiao Yang

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出TRUE框架，通过可执行推理验证、可行域DAG建模和因果故障模式分析，为LLM推理提供实例级、局部结构级和类别级的多层次可验证解释。

Toward Trustworthy Digital Twins in AI Agent-based Wireless Network Optimization: Challenges, Solutions, and Opportunities

迈向可信的AI代理无线网络优化数字孪生：挑战、解决方案与机遇

Zhenyu Tao, Wei Xu, Xiaohu You

专题命中 安全评测 ：trustworthy(title,abstract)

AI总结 本文提出一种新的数字孪生评估框架，用于确保AI代理基于网络优化的数字孪生的可信度，通过任务导向的评估方法减少训练和测试成本，同时保持部署性能。

Stable Reasoning, Unstable Responses: Mitigating LLM Deception via Stability Asymmetry

稳定推理，不稳定响应：通过稳定性不对称缓解大语言模型欺骗

Guoxi Zhang, Jiawei Chen, Tianzhuo Yang, Lang Qin, Juntao Dai, Yaodong Yang, Jingwei Yi

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； School of Chinese as a Second Language, Peking University（北京大学第二语言学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型内在欺骗问题，提出稳定性不对称正则化（SAR），通过惩罚内部思维链稳定性与外部响应稳定性之间的不对称性来抑制欺骗，实验证明其有效性且不损害模型能力。

Bounded-Abstention Pairwise Learning to Rank

有界弃权成对学习排序

Antonio Ferrara, Andrea Pugnana, Francesco Bonchi, Salvatore Ruggieri

机构 * Intesa Sanpaolo AI Research（Intesa Sanpaolo AI研究中心） ； University of Trento（特伦托大学） ； University of Pisa（比萨大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于条件风险阈值的成对排序弃权方法，理论刻画最优策略，设计模型无关的插件算法，实验验证有效性。

Comments KDD 2026

LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation

LLM作为元评判者：用于NLP评估指标验证的合成数据

Lukáš Eigler, Jindřich Libovický, David Hurych

机构 * Faculty of Mathematics and Physics, Charles University（数学与物理系，查尔斯大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出LLM作为元评判者框架，通过控制语义退化生成合成数据替代人工判断，验证NLG评估指标，在多语言问答中元相关性超过0.9。

Comments 16 pages, 1 figure, 14 tables

QUARE: Quality-Aware Requirements Analysis through Multi-Agent Dialectical Negotiation

QUARE：通过多智能体辩证协商进行质量感知的需求分析

Haowei Cheng, Milhan Kim, Foutse Khomh, Teeradaj Racharak, Nobukazu Yoshioka, Naoyasu Ubayashi, Hironori Washizaki

专题命中 安全评测 ：safety(abstract)

AI总结 QUARE通过多智能体辩证协商解决需求质量分析中的多属性冲突，生成高质量需求规格，提升合规性和可验证性。

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

模态间隙驱动的子空间对齐训练范式用于多模态大语言模型

Xiaomin Yu, Yi Xin, Yuhui Zhang, Wenjie Zhang, Chonghan Liu, Hanzhen Zhao, Chen Liu, Xiaoxing Hu, Ziyue Qiao, Hao Tang, Xiaobin Hu, Chengwei Qin, Hui Xiong, Yu Qiao, Shuicheng Yan

机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学） 纠错

专题命中 其他安全 ：alignment(title,abstract)；分类 cs.AI

AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。

MidSteer: Optimal Affine Framework for Steering Generative Models

MidSteer：用于引导生成模型的最优仿射框架

Tatiana Gaintseva, Andrew Stepanov, Ziquan Liu, Martin Benning, Gregory Slabaugh, Jiankang Deng, Ismail Elezi

机构 * University of Basel（巴塞尔大学） ； University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MidSteer，一种基于仿射变换的最优概念引导框架，通过最小干扰实现生成模型中的概念切换，并在视觉扩散模型和大型语言模型上验证其有效性。

Beyond Output Matching: Preserving Internal Geometry in NVFP4 LLM Distillation

超越输出匹配：在NVFP4 LLM蒸馏中保留内部几何结构

Fangbo Tu, Junhua Zhao, Chi Liu, Xin Chen, Haifeng Wu, Jian Wan, Srinivasan Manoharan

机构 * Fangbo Tu（图方波） ； Junhua Zhao（赵俊华） ； Chi Liu（刘驰） ； Xin Chen（陈新） ； Haifeng Wu（吴海峰） ； Jian Wan（万健） ； Srinivasan Manoharan（曼纳哈兰） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对NVFP4低精度量化蒸馏中仅输出匹配导致内部表示退化的问题，提出CKA-QAD方法，通过CKA引导的层间Gram矩阵对齐保留内部几何结构，提升推理和编码任务准确率。

Comments 13 pages,1 figures

A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting

Pythia多跳设置中跨模型激活迁移的负面结果

Peiyan Zhang, Jason Xin

机构 * Independent Researcher（独立研究者） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI

AI总结 研究在Pythia-160M到Pythia-410M的多跳推理设置中，通过线性翻译层传递隐藏状态是否能够改善下游回答，结果发现离线表示对齐不足以实现有用的因果通信。

Comments 16 pages, 6 figures

RAVEN: Retrieval-Augmented Vulnerability Exploration Network for Memory Corruption Analysis in User Code and Binary Programs

RAVEN: 用于用户代码和二进制程序中内存损坏分析的检索增强漏洞探索网络

Parteek Jamwal, Minghao Shao, Boyuan Chen, Achyuta Muthuvelan, Asini Subanya, Boubacar Ballo, Kashish Satija, Mariam Shafey, Mohamed Mahmoud, Moncif Dahaji Bouffi, Pasindu Wickramasinghe, Siyona Goel, Yaakulya Sabbani, Hakim Hacid, Mthandazo Ndhlovu, Eleanna Kafeza, Sanjay Rawat, Muhammad Shafique

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI

AI总结 提出RAVEN框架，结合LLM代理与检索增强生成，自动生成遵循Google Project Zero模板的漏洞分析报告，在105个样本上平均质量得分54.21%。

Mining Useful General Data for Low-Resource Domain Adaptation

挖掘低资源领域适应的有用通用数据

Pingjie Wang, Hongcheng Liu, Yusheng Liao, Ziqing Fan, Yaxin Du, Shuo Tang, Yanfeng Wang, Yu Wang

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL

AI总结 针对低资源领域数据稀缺问题，提出NTK-Selector方法，利用神经正切核从通用数据中筛选有用样本，显著提升领域适应效果。

Comments 39 pages