大模型对齐与安全

Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

以真实意图铺路：意图感知训练提升跨训练机制下的LLM安全分类

Jeremias Ferrao, Niclas Müller-Hof, Iustin Sîrbu, Traian Rebedea, Yftah Ziser

机构 * University of Groningen（格罗宁根大学） ； University Politehnica of Bucharest（布加勒斯特理工大学） ； NVIDIA（英伟达） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出意图感知训练方法，通过显式建模用户意图信号提升安全分类器鲁棒性，在多个训练机制下取得最优平均性能。

AIGP: An LLM-Based Framework for Long-Term Value Alignment in E-Commerce Pricing

AIGP：基于LLM的电商定价长期价值对齐框架

Chennan Ma, Yanning Zhang, Siqi Hong, Xiuchong Wang, Fei Xiao, Keping Yang

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团） 纠错

专题命中 偏好对齐 ：alignment(title)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AIGP框架，利用大语言模型结合领域知识与结构化数据，通过离线强化学习训练的长期价值评估器进行偏好优化，实现可解释的定价决策，在淘宝工厂的在线实验中GMV提升13.21%。

Comments Accepted by KDD 2026 Applied Data Science Track (Oral presentation)

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

Cliff Tokens: 识别大语言模型数学推理中的单Token失败触发点

Jaeyong Ko, Pilsung Kang, Yukyung Lee

机构 * Seoul National University（首尔大学） ； Boston University（波士顿大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出“悬崖token”概念，通过自适应阈值和单侧双比例z检验识别导致推理失败的单个token，删除并重采样可恢复pass@64至1.0，并基于贪心选择和token熵建立分类法，通过Cliff-DPO优化提升准确率。

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

保持VIGILant：通过多模态大语言模型中的反事实视觉对齐缓解视觉懒惰

Xi Xiao, Chen Liu, Chih-Ting Liao, Yunbei Zhang, Qizhen Lan, Yuxiang Wei, Lin Zhao, Janet Wang, Jianyang Gu, Muchao Ye, Tianyang Wang, Hao Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； Yale（耶鲁大学） ； UNSW（新南威尔士大学） ； Tulane（杜兰大学） ； Georgia Tech（佐治亚理工学院） ； NEU（东北大学） ； OSU（俄亥俄州立大学） ； UIowa（爱荷华大学） ； Harvard（哈佛大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出VIGIL框架，通过强化学习后训练最大化视觉输入与生成响应间的互信息，惩罚“盲目自信”实例，有效缓解MLLMs的视觉懒惰问题，在幻觉和推理基准上优于现有方法。

Comments ECCV 2026

Improved Bounds for Private and Robust Alignment

私有和鲁棒对齐的改进界

Wenqian Weng, Yi He, Xingyu Zhou

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文从理论角度研究语言模型的私有和鲁棒对齐，通过建立离线与在线设置下的次优性差距上界，分析隐私与对抗性腐败的两种交互模式，并给出改进的界。

Preference Optimization Drives Monoculture in LLM Prediction Markets

偏好优化导致LLM预测市场中的单一文化

James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

专题命中 偏好对齐 ：DPO(summary_cn,abstract)

AI总结 研究发现，使用直接偏好优化（DPO）微调的LLM代理在预测市场中产生高度相关的错误，导致集体预测能力远低于独立代理数量，且该现象由偏好优化驱动。

Position: Align AI to Our Aspirations, Not Our Flaws

立场：将AI对齐于我们的抱负，而非缺陷

Nikita Kazeev, Bui Nhat Huyen Phan

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文主张AI不应与聚合的人类偏好对齐，而应基于能力、事实准确性、诚实和合法性等客观目标底线，在底线之上允许多元价值权衡。

Journal ref Pluralistic Alignment Workshop at ICML 2026

GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning

GEOALIGN: 用于鲁棒大语言模型强化学习的几何轨迹策展

Ting Zhou, Zhenqing Ling, Yiyang Zhao, Ying Shen, Daoyuan Chen

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对在线强化学习训练LLM时奖励噪声导致的不稳定性，提出GEOALIGN，通过检测并修正方向不一致的轨迹来稳定更新，提升最终性能并减少训练震荡。

Comments Accepted as a conference paper at ICML 2026

NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research

NebulaExp-8B：基于全尺度消融研究的经验性后训练流程

Qiaobo Hao, Yangqian Wu, Shunyi Wang, Zhongjian Zhang, Ziqun Li, Yayin He, Muqing Li, Chen Zhong

机构 * ZTE NebulaL0 Post-Training Team（中兴通讯NebulaL0后训练团队） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出NebulaExp透明后训练流程，基于Qwen3-8B-base，通过数据清洗、三阶段SFT和GRPO RL优化指令与推理分支，并探索OPD/MOPD替代RL，在8B模型上实现性能提升。

Comments 29 pages, 8 figures

Human-AI Complementarity: A Goal for Amplified Oversight

人机互补：增强监督的目标

Rishub Jain, Sophie Bridgers, Lili Janzer, Rory Greig, Tian Huey Teh, Vladimir Mikulik

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 针对AI输出的事实核查问题，结合AI评分与人类评分优于单独使用任一方法，但AI辅助类型影响信任度，为超越人类专家性能的AI系统监督提供启示。

IDEA: Insensitive to Dynamics Mismatch via Effect Alignment for Sim-to-Real Transfer in Multi-Agent Control

IDEA: 通过效果对齐对动力学失配不敏感的模拟到现实迁移多智能体控制

Chenlong Liu, Zhuohui Zhang, Xinyan Chen, Zhipeng Wang, Bin Cheng, Bin He

机构 * College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海自主智能无人系统科学中心） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出一种通过效果对齐对动力学失配不敏感的模拟到现实迁移方法，结合随机环境结构与离散语义动作，并开发动作同步机制，提升多智能体系统在真实场景中的训练效率和成功率。

Comments 8 pages, 6 figures

At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization

在理解的边缘：稀疏自编码器追踪Transformer泛化的极限

Praneet Suresh, Jack Stanley, Sonia Joseph, Luca Scimeca, Danilo Bzdok

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； Meta AI ； Sapient manifold-informed selection of samples for improved Intelligence 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 通过稀疏自编码器分析内部概念，发现OOD输入（如拼写错误和越狱提示）会激活更多错误概念，并据此提出一种基于机制的微调策略来增强LLM鲁棒性。

Reducing Conversational Escalation in Large Language Model Dialogue with Nonviolent Communication Constraints

使用非暴力沟通约束减少大语言模型对话中的对话升级

Zhixing Sun, Shenghe Xu, Tao Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过非暴力沟通原则的轻量级提示约束，引导大语言模型在冲突对话中减少升级行为，实验表明该方法能稳定与高度抵抗用户的交互。

Somatic in the East, Psychological in the West?: Investigating Clinically-Grounded Cross-Cultural Depression Symptom Expression in LLMs

东方躯体化，西方心理化？：探究临床基础下跨文化抑郁症状在LLMs中的表达

Shintaro Sakai, Jisun An, Migyeong Kang, Haewoon Kwak

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.CY

AI总结 本研究测试大语言模型（LLMs）是否复现西方抑郁患者报告心理症状、东方患者报告躯体症状的文化模式，发现英语提示下模型未能复现，但东方语言提示改善部分对齐，原因在于模型对文化人物敏感性低及症状层级压倒文化线索。

Comments C3NLP workshop at ACL 2026

Autoformalization of Agent Instructions into Policy-as-Code

智能体指令的自动形式化为策略即代码

Adam Mondl, Matthew Maisel, John H. Brock

专题命中 安全训练 ：safety(abstract,comments)；分类 cs.AI

AI总结 提出自动形式化流水线，通过LLM生成-批评循环将智能体提示和自然语言策略转化为Cedar策略语言，在MedAgentBench上比手工编码覆盖更多规范。

Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD), ICML 2026

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

安全自回归图像生成与迭代自改进码本

Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对自回归统一多模态模型生成图像的安全性问题，提出迭代自改进码本方法，利用模型自身判断不安全图像并修正码本映射，消除有害输出并保证生成质量。

Comments 10 pages including references, 8 figures, accepted for publication at the 43rd International Conference on Machine Learning (ICML 2026)

In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics

上下文模型预测生成：从语言模型到物理的开放词汇运动合成

Xiaomeng Fu, Junfan Lin, Yang Liu, Yaowei Wang, Guanbin Li, Liang Lin, Ziliang Chen

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Department of Networked Intelligence, Peng Cheng Laboratory（鹏城实验室网络智能部） ； School of Computer Science and Engineering, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与工程学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出ICMPG框架，结合语言模型规划与推理时物理反馈，通过上下文感知运动生成和模型预测生成模块实现语义忠实且物理合理的开放词汇运动合成。

Training Language Models to Use Prolog as a Tool

训练语言模型以使用Prolog作为工具

Niklas Mellgren, Peter Schneider-Kamp, Lukas Galke Poech

机构 * University of Southern Denmark（南丹麦大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本文探讨通过强化学习训练语言模型使用Prolog进行符号推理，发现正确性与可审计性之间存在权衡，影响模型性能与可解释性。

Comments ACL 2026 Findings (change from last version: corrected year in this comment)

Optimizing Human-Machine Interface for Real-Time AI Support in the Operating Room: the CVS Copilot

优化手术室中实时AI支持的人机界面：CVS Copilot

Lorenzo Arboit, Nicolas Chanel, Aditya Murali, Pietro Mascagni, Nicolas Padoy

专题命中 安全训练 ：safety(abstract)

AI总结 针对腹腔镜胆囊切除术中自动CVS评估的AI系统，通过17名外科医生的用户中心设计研究，优化了术中HMI，提出外科医生控制、角色自适应的CVS Copilot界面。

Comments 13 pages, 3 figures

How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

你的越狱评判有多可靠？自动ASR评分的校准与对抗鲁棒性

Yang Gao

机构 * Veyon Solutions 纠错

专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.LG

AI总结 研究评估了LLM越狱攻击成功率（ASR）的自动评判器（安全分类器与LLM评判）的可靠性，发现两者存在相反缺陷，且易受攻击，建议报告评判器的精确率和召回率并校正ASR。

Comments 10 pages, 3 figures, 2 tables, Code: github.com/gy15901580825/judgeflip

A hardware-safety-gated system for LLM-written native ARTIQ control code on a trapped-ion platform

基于硬件安全门控的LLM编写原生ARTIQ控制代码系统在离子阱平台上的应用

Duanyang Wang, Lu Qi, Yuanheng Xie, Norbert M. Linke, Kenneth R. Brown

专题命中 越狱攻击 ：safety(title,abstract)

AI总结 提出一种硬件安全门控系统，通过令牌授权机制确保LLM代理在离子阱实验中安全自主地编写和执行控制代码，并在实验中验证了其有效性和可移植性。

Comments 15 pages, 5 figures

Jailbreaking for the Average Jane: Choosing Optimal Jailbreaks via Bandit Algorithms for Automatically Enhanced Queries

普通人的越狱：通过多臂老虎机算法选择最优越狱以自动增强查询

Prarabdh Shukla, Ritik, Suhas Rao, Arpit Agarwal, Arjun Bhagoji

机构 * Centre for Machine Intelligence and Data Science, IIT Bombay（印度理工学院班加罗尔机器智能与数据科学中心） ； Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔计算机科学与工程系） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于多臂老虎机框架的越狱攻击策略，在线学习最优越狱方法，并构建包含11,279个恶意查询的安全基准FrankensteinBench，实验表明对15个开源LLM平均成功率高达97%。

Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats

验证意图与危害：针对LLM生成威胁的统一防御

Poojitha Thota, Yun Lei, Santhosh Thangaraj, Siddhartha Reddy Jonnalagadda, Shirin Nilizadeh

专题命中 越狱攻击 ：prompt injection(abstract)

AI总结 提出一种联合验证用户提示意图和模型响应危害的防御框架，通过专门分析器与裁决器协同工作，在五个威胁类别上平均F1提升至0.95，攻击成功率降至4.1%。

Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

LLM智能体中针对提示注入的带外防御的自适应评估

Praneeth Narisetty, Shiva Nagendra Babu Kore, Uday Kumar Reddy Kattamanchi, Jayaram Kumarapu

机构 * LaunchSafe Research（LaunchSafe研究院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文组织带外防御（如CaMeL、Progent）为经典完整性保护与引用监视实例，并在AgentDojo上对Qwen2.5-7B代理进行自适应评估，结果显示Progent将攻击成功率从25.8%降至4.2%，手工自适应攻击未提升成功率。

Comments 12 pages, 5 figures, 4 tables

Beyond Feedforward Networks: Reentry Neural Systems as the Fundamental Basis of Subjecthood and Intrinsic Safety of Next-Generation AGI

超越前馈网络：作为下一代通用人工智能主体性与内在安全基础的再入神经系统

A. S. Ushakov, Yu. N. Berdinsk

机构 * Saint Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 提示注入 ：safety(title)；prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于闭环再入循环（D<->I循环）的安全AGI架构蓝图，通过结构循环和自持放大数学保证自我模型、自我保存和未编程目标导向行为的涌现，并引入多项式时间可计算的S度量。

Prompt Injection in Automated Résumé Screening with Large Language Models: Single and Multi-Injection Settings

大型语言模型在自动化简历筛选中的提示注入：单注入与多注入设置

Preet Baxi, Jiannan Xu, Jane Yi Jiang, Stefanus Jasin

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 研究LLM在简历筛选中的提示注入攻击，发现当简历质量同质且注入者少时有效，但随注入者增多效果消失；质量异质时虽平均效果减弱，但偶尔让低质量候选人超越高质量，引发公平问题。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

你到底有多确定？改进医学视觉问答中的口头不确定性校准

Eren Senoglu, Federico Toschi, Nicolo Brunello, Andrea Sassella, Mark James Carman

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对多模态大语言模型在医学VQA中过度自信的问题，提出基于复合损失函数的微调框架，通过校准项、锚定正则化、对比对齐和KL稳定项，将校准误差降低60%以上，判别力提升26%以上。

Decision-Aligned Evaluation of Uncertainty Quantification

决策对齐的不确定性量化评估

Annika Schneider, Tommy Rochussen, Joshua Stiller, Vincent Fortuin

机构 * Technical University of Munich（慕尼黑工业大学） ； Helmholtz AI（亥姆霍兹人工智能） ； MCML（慕尼黑机器学习中心） ； Konrad Zuse School of Excellence in Reliable AI（康拉德·楚泽卓越可靠人工智能学院） ； LMU Munich（慕尼黑大学） ； University of Technology Nuremberg（纽伦堡工业大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出决策对齐准则，揭示常用不确定性度量与下游决策的错位，并设计先验加权效用度量实现决策对齐评估。

From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP

从幻觉到扎根：通过CRISP诊断视觉空间智能

Zhixing Li, Yinan Yu

机构 * Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 提出CRISP诊断范式，通过一致性评估解耦感知与推理，揭示闭源模型存在度量估计不准确和未利用隐式结构表示的问题，开源模型则受限于多跳组合推理能力。

Comments Accepted to ECCV 2026

Guided Persona-based AI Surveys: Can we replicate personal mobility preferences at scale using LLMs?

引导式基于人设的AI调查：能否利用LLMs在大规模上复制个人移动偏好

Ioannis Tzachristas, Santhanakrishnan Narayanan, Constantinos Antoniou

机构 * Chair of Transportation Systems Engineering, TUM School of Engineering and Design, TUM, Germany（交通系统工程教授、技术大学工程与设计学院、技术大学、德国） 纠错

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究探讨LLMs生成人工调查的潜力，通过'人设'结合现实数据，有效捕捉德国个人移动偏好中的复杂依赖关系，为交通规划提供可扩展、低成本的数据生成方案。