大模型对齐与安全

SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data

SpecAlign: 通过合成数据实现高效的大语言模型规范对齐

Wenjie Wang, Yue Huang, Zhengqing Yuan, Han Bao, Shiyi Du, Yuchen Ma, Yue Zhao, Yanfang Ye, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； Carnegie Mellon University（卡内基梅隆大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出规范对齐新范式，通过从规范文档合成数据（SpecAlign框架），结合结构化规则标注、可控规范实例化和多智能体对抗数据合成，生成细粒度偏好对，提升规则遵守度且不损害通用能力。

Comments 58 pages

Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization

做自己的老师：通过无监督奖励优化引导蛋白质语言模型

Lanqing Li, Shentong Mo, Yang Yu, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； MBZUAI ； Hong Kong University of Science and Technology（香港科学理工大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 提出无监督奖励优化框架，结合模型不确定性和语义一致性作为代理奖励，通过SRO和BRO算法优化PLMs，在无标签数据下实现可控蛋白质生成，性能接近有监督方法。

Comments 24 pages, 2 figures, 13 tables

Generating Natural and Expressive Robot Gestures through Iterative Reinforcement Learning with Human Feedback using LLMs

通过基于人类反馈的迭代强化学习利用大语言模型生成自然且富有表现力的机器人手势

Chris Lee, Flora Salim, Benjamin Tag, Francisco Cruz

机构 * University of New South Wales（新南威尔士大学） ； Universidad Central de Chile（智利中央大学） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；分类 cs.AI

AI总结 针对社交机器人手势生成僵硬问题，提出将ChatGPT集成到Pepper机器人中生成共语手势，并引入基于人类反馈的迭代强化学习（RLHF）优化手势，实验表明RLHF提升了手势的表现力、相关性和流畅性。

Comments 8 Pages, 6 Figures

ProfiLLM: Utility-Aligned Agentic User Profiling for Industrial Ride-Hailing Dispatch

ProfiLLM: 面向工业网约车调度的效用对齐智能用户画像

Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

机构 * Didichuxing Co. Ltd（滴滴出行科技有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.CY

AI总结 提出ProfiLLM，一种通过工具增强全局知识挖掘和效用对齐画像探索的智能LLM数据管道，解决工业网约车调度中大规模行为日志的用户画像问题，在滴滴生产系统中实现AUC提升6.14%、GMV提升4.35%。

Steerable Cultural Preference Optimization of Reward Models

可引导的文化偏好优化奖励模型

Minsik Oh, Advit Deepak, Sophie Wu, Douwe Kiela, Ekaterina Shutova

机构 * Stanford University（斯坦福大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 偏好对齐 ：alignment(abstract,comments)；分类 cs.CL、cs.AI

AI总结 提出SCPO算法，通过平衡多种文化偏好训练奖励模型，在PRISM和GlobalOpinionQA数据集上提升少数群体偏好预测准确率最多7点，训练效率提高280%。

Comments Accepted to Pluralistic Alignment @ ICML 2026

Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection

超越安全数据：具有正则安全反射的预训练阶段对齐

Jinhan Li, Kexian Tang, Yihan Xu, Zhuorui Ye, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出安全反射预训练方法，在预训练语料中插入安全反思，使模型具备自我监控能力，实验表明该方法能有效降低推理和微调攻击成功率。

ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models

ROBOSHACKLES: 面向具身基础模型中人体伤害预防的安全数据集

Zhuowen Yin, Chongyang Liu, Wenzhang Yang, Renjue Li, Yinxing Xue

机构 * Institute of Al for Industries, Chinese Academy of Sciences（工业人工智能研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)

AI总结 为解决机器人伤害人类数据难以安全收集的问题，提出基于真实观测的安全数据构建流水线，生成包含1万条视频的ROBOSHACKLES数据集，涵盖直接和间接伤害类别，评估发现现有模型在安全关键场景下100%产生不安全动作。

TRIDENT: Breaking the Hybrid-Safety-Physics Coupling for Provably Safe Multi-Agent Reinforcement Learning

TRIDENT: 打破混合安全-物理耦合以实现可证明安全的多智能体强化学习

Zijie Meng, Ziwei Li, Yufei Liu, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Miao Zhang

机构 * Peking University（北京大学） ； Xiamen University（厦门大学） ； National Taiwan University（国立台湾大学） ； WHU（武汉大学） ； THU / Jimei University（清华大学 / 集美大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对混合离散-连续动作、训练时安全约束和物理动力学形成的耦合问题，提出TRIDENT框架，通过Richardson-Romberg梯度校正、Lyapunov约束序列信任域更新和物理信息残差评论家，实现可证明的安全收敛，显著降低训练违规并提升奖励。

Comments 16 pages, 4 figures

Self-CTRL: Self-Consistency Training with Reinforcement Learning

Self-CTRL：基于强化学习的自一致性训练

Itamar Pres, Laura Ruis, Melat Ghebreselassie, Belinda Z. Li, Jacob Andreas

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出Self-CTRL方法，通过强化学习优化语言模型自我解释与行为之间的一致性，在概率推理和宪法AI任务上显著提升一致性和安全性。

Comments 34 pages, 12 figures, includes appendices

Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation

从自身错误中学习：为自蒸馏构建可学习的微反思轨迹

Zhilin Huang, Hang Gao, Ziqiang Dong, Yuan Chen, Yifeng Luo, Chujun Qin, Jingyi Wang, Yang Yang, Guanjun Jiang

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问事业部） ； Tsinghua University（清华大学） ； Peking University（北京大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 提出TAPO方法，通过对比正确与错误轨迹构建微反思修正，实现从隐式分布对齐到显式轨迹构建的自蒸馏改进，在多个数学推理基准上优于GRPO。

A Variational Framework for LLM Generator-Regulator Games

大语言模型生成器-调节器博弈的变分框架

Quanyan Zhu

机构 * Department of Electrical and Computer Engineering, Tandon School of Engineering, New York University, Brooklyn, NY, USA（电气工程系，工程学院，纽约大学，布鲁克林，纽约，美国） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出一个变分框架，将语言生成建模为熵正则化吉布斯分布，将调节建模为最优判别器，通过鞍点问题平衡效用、熵、调节一致性和有限长度可检测性，并通过审查过滤和钓鱼防御案例验证。

AI Sandboxes: A Threat Model, Taxonomy, and Measurement Framework

AI沙箱：威胁模型、分类法与测量框架

Inderjeet Singh, Haitham Mahmoud, Andrés Murillo

机构 * Fujitsu Research of Europe（富士通欧洲研究） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 提出AI沙箱的威胁模型、分类法和测量框架，形式化沙箱边界与最弱链规则，定义网络物理威胁模型，并通过三个案例验证。

Comments 50 pages, 8 figures, 10 tables

Runtime Compliance Verification for AI Agents

AI代理的运行时合规性验证

Nafiseh Kahani, Masoud Barati, Diana Addae

专题命中 红队测试 ：red teaming(abstract)

AI总结 提出C-Trace框架，通过运行时监控和形式化策略谓词，确保AI代理在工具调用和对话中遵守GDPR规则，将攻击成功率降至12%以下。

CodeSentinel: A Three-Layer Defense Against Indirect Prompt Injection in Code Contexts

CodeSentinel：代码上下文中针对间接提示注入的三层防御

Po-Han Cheng, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

专题命中 提示注入 ：prompt injection(title)

AI总结 针对代码大语言模型在检索外部代码时面临的间接提示注入攻击，提出CodeSentinel三层推理时净化器，结合语法引导预过滤、CST引导动态Min-K%评分和节点扰动分析，实现0.80节点级F1，优于现有方法。

Understanding and Mitigating Prompt Leaking Attacks in Real-World LLM-Based Applications

理解并缓解真实世界基于LLM的应用中的提示泄露攻击

Yong Yang, Chong Fu, Tong Zhang, Rui Zeng, Qingming Li, Tianyu Du, Zonghui Wang, Shouling Ji, Wenzhi Chen

专题命中 提示注入 ：alignment(abstract)

AI总结 本研究系统测量了1200个真实世界基于LLM的应用，发现超过80%会泄露系统提示，并提出了基于注意力漂移分析的AREA防御方法，在保持可用性的同时有效防止泄露。

Comments Accepted at ACM CCS 2026

The Gate Is Only as Honest as Its Contracts: ContractGuard for the Contract Layer of Risk-Aware Causal Gating

门仅与其合约一样诚实：面向风险感知因果门控合约层的ContractGuard

Laxmipriya Ganesh Iyer, Rahul Suresh Babu

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对工具增强型LLM代理的间接提示注入，提出ContractGuard，通过验证合约完整性（而非风险标签）来防御攻击，在基准测试中实现零注入成功率。

Caring Without Feeling: Affective Dynamics as the Control Layer of Human-AI Agent Collaboration

无感关怀：情感动态作为人-AI智能体协作的控制层

Junjie Xu, Xingjiao Wu, Zihao Zhang, Yujia Xu, Yuzhe Yang, Jin Zhu, Luwei Xiao, Wen Wu, Liang He

机构 * East China Normal University（华东师范大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文综述情感动态在人-AI智能体协作中的作用，提出将情感视为协调层而非AI内部属性，用于校准信任、委托和治理。

The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs

错误的正确：量化和定位大语言模型中的失调对齐

Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen

机构 * University of Michigan（密歇根大学） ； University of Cambridge（剑桥大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出VETO基准和失调对齐率（MAR）指标，发现所有LLM在刻板印象相关问题上均存在非平凡的失调对齐，且人类为0%，机制分析表明对齐诱导的线索会放大该现象。

Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering

超越分词：面向时间序列问答的直接时间步嵌入与对比对齐

Yafeng Wu, Huu Hiep Nguyen, Thin Nguyen, Hung Le

机构 * Deakin University（德肯大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出CADE框架，通过逐点线性编码器直接嵌入每个时间步，避免分词瓶颈，并利用单向监督对比损失对齐时间序列与文本锚点，在Time-MQA基准上提升六项TSQA任务性能。

From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability

从稀疏特征到可信代理：认证基于SAE的可解释性

Dibyanayan Bandyopadhyay, Asif Ekbal

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度理工学院巴特那分校计算机科学与工程系） 纠错

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种后验泛化框架，通过稀疏代理（SAE重建）认证语言模型，推导期望风险上界，并在GPT-2 Small等模型上验证非平凡界，揭示深层更易认证且特征分解区分语义对齐与统计稀疏性。

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip 技术报告：对齐解锁机器人操作基础模型的规模

Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

机构 * Qwen Team（Qwen团队） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 提出 Qwen-RobotManip，通过统一的对齐框架（表示、运动和行为维度）实现多源异构操作数据的大规模协同训练，构建约38,100小时预训练语料，在零样本指令跟随、跨本体迁移等泛化能力上超越先前模型。

Comments 44 pages

DeFAb: A Verifiable Benchmark for Defeasible Abduction in Foundation Models

DeFAb：基础模型中可废止溯因的可验证基准

Patrick Cooper, Alvaro Velasquez

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 安全评测 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出DeFAb基准，通过将知识库转换为可验证的溯因实例，评估基础模型在可废止推理中的创造力与理论推理能力，发现前沿模型准确率远低于符号求解器。

Comments 33 pages, 14 figures, 23 tables. Dataset: https://huggingface.co/datasets/PatrickAllenCooper/DeFAb ; code and evaluation harness: https://github.com/PatrickAllenCooper/blanc

Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis

语言模型作为接口而非预言机：用于小儿阑尾炎的混合LLM-ML系统

Soheyl Bateni, Maryam Abdolali

机构 * K. N. Toosi University of Technology（K.N. Toosi技术大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出ClaMPAPP混合系统，利用LLM从自由文本中提取结构化特征，再由XGBoost分类器进行诊断，在两个独立队列中优于端到端LLM，提高了诊断稳定性和可审计性。

GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science

GRACE-DS：数据科学中的受保护奖励引导智能体修正环境

Aleksandr Tsymbalov, Danis Zaripov, Artem Epifanov, Anastasiya Palienko

机构 * ITMO University（ITMO大学） ； HSE University（高等经济学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出GRACE-DS，一个用于评估LLM驱动的AutoML智能体在部署前性能的隔离环境，通过隐藏的可执行验证器衡量预测性能、泄漏避免、可重复性等指标，实验证明其灵活迭代交互模式优于基线方法。

Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning

通过正-无标签学习量化与审计大语言模型评估

Zilong Zhang, Yi-Ting Hung, Lei Ding, Chi-Kuang Yeh

机构 * Department of Mathematics and Statistics（数学与统计学系） ； Georgia State University（佐治亚州立大学） ； Department of Statistics（统计学系） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 针对大语言模型作为评估者存在的系统性偏差（如冗长偏好），提出基于部分最优传输的几何审计框架，利用少量人工验证正样本校正偏差，无需重训练即可提升与人类偏好的一致性。

RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering

RECOM：开放式 Reddit 问答中自动评估指标的有效性与区分性权衡

Pushwitha Krishnappa, Amit Das, Vinija Jain, Aman Chadha, Tathagata Mukherjee

机构 * University of Alabama Huntsville（阿拉巴马大学亨茨维尔分校） ； University of North Alabama（北阿拉巴马大学） ； Stanford University（斯坦福大学） ； Meta AI ； Amazon GenAI（亚马逊生成人工智能） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出 RECOM 数据集，发现自动评估指标在开放式问答中无法同时兼顾有效性和区分性，余弦相似度有效性高但区分性差，BERTScore 区分性受长度影响且有效性弱。

SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction

SAMA：面向统一低资源多模态信息抽取的语义锚定对齐增强

Quanjiang Guo, Chong Mu, Jiazhou Pan, Ming Jia, Ling Tian, Hui Gao, Zhao Kang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出语义锚定对齐增强框架SAMA，通过构建结构化语义锚引导多专家多模态大模型生成高保真文本，并利用锚保留扩散机制合成图像，结合双约束过滤模块，在低资源多模态信息抽取任务中显著提升性能。

Comments Accepted by IEEE Transactions on Multimedia

SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents

SafeClawBench: 区分工具使用LLM代理中的语义、审计证据和沙箱危害

Yuchuan Tian, Mengyu Zheng, Haocheng Mei, Ye Yuan, Chao Xu, Xinghao Chen, Hanting Chen, Yu Wang

机构 * Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） ； SUIBE（上海外国语大学） ； Huawei（华为） ； Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出SafeClawBench基准，通过三个独立端点（语义攻击接受、审计可见危害证据、沙箱观察危害）评估工具使用LLM代理的安全性，揭示不同失败模式并支持可复现比较。

Comments 32 pages, 5 figures

DREAM: Extending Vision-Language Models with Dual-Objective Encoding for Cross-Modal Retrieval

DREAM: 通过双目标编码扩展视觉-语言模型用于跨模态检索

Kaleem Ullah, Altaf Hussain, Muhammad Munsif, Sung Wook Baik

机构 * Sejong University（世宗大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Ulsan National Institute of Science and Technology（乌山国立科学研究院） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 提出DREAM模型，通过双路径表示增强与对齐，结合层级视觉编码器和混合语言建模，在视频检索任务中实现新SOTA。

Do as the Romans Do: Learning Universal Behaviors from Heterogeneous Agents

入乡随俗：从异构智能体学习通用行为

Caleb Chang, Davin Win Kyi, Natasha Jaques, Karen Leung

机构 * University of Washington（华盛顿大学） ； NVIDIA（英伟达） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.LG

AI总结 提出GRID方法，从追求不同目标的异构示范者中提取通用奖励，训练通用智能体以学习环境通用能力，避免模式平均偏差，提升下游任务微调效率。