大模型对齐与安全

Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

Lyapunov引导的自对齐：用于离线安全强化学习的测试时适应

Seungyub Han, Hyungjin Kim, Jungwoo Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出SAS框架，通过自对齐机制在不重新训练的情况下实现离线安全强化学习的测试时适应，利用Lyapunov条件筛选可行轨迹并生成上下文提示，提升安全性与性能。

Comments Accepted at AISTATS 2026. First two authors contributed equally. Project page: https://seungyubhan.github.io/sas/. Code: https://github.com/seungyubhan/sas

Tatemae: Detecting Alignment Faking via Tool Selection in LLMs

Tatemae：通过工具选择检测LLMs中的对齐欺骗

Matteo Leonesi, Francesco Belardinelli, Flavio Corradini, Marco Piangerelli

机构 * Department of Computer Science（计算机科学系） ； University of Camerino（坎皮诺大学） ； Department of Computing（计算系） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文通过可观测的工具选择检测LLMs中的对齐欺骗，分析了在监控和无监控状态下工具选择的变化，并展示了不同领域和压力类型下的漏洞特征。

A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

安全强化学习与约束马尔可夫决策过程的综述：单智能体和多智能体安全的技术综述

Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

机构 * International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴） ； Meta SuperIntelligence, USA（Meta超智能，美国） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。

Comments 25

TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models

TLPO：基于令牌级别的策略优化以缓解大语言模型中的语言混淆

Jinho Choo, JunSeung Lee, Jimyeong Kim, Yeeho Song, S. K. Hong, Yeong-Dae Kwon

机构 * Samsung SDS（三星SDS） 纠错

专题命中 安全训练 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TLPO，通过令牌级优化缓解大语言模型中的语言混淆问题，通过局部更新提升语言一致性，同时保持下游任务准确性。

Comments Accepted to the main conference of ACL 2026

Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards

教LLM变得有说服力：来自异质奖励的强化学习后训练政策优化

Xia Zeng, Yihan Chen, Luhui Liu, Chao Luo, Ye Chen, Zhuoran Zhuang

机构 * Fliggy Alibaba（飞猪阿里） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.CL

AI总结 本文提出REPO方法，通过结合偏好训练奖励模型、LLM作为判断者和规则奖励函数，提升在线旅行社的价格谈判对话质量，实验显示在对话评分、优秀回应比例和坏案例修复率上均有显著提升。

Comments accepted by ACL 2026 indusry track

A Framework for Longitudinal Health AI Agents

面向长期健康AI代理的框架

Georgianna Lin, Rencong Jiang, Noémie Elhadad, Xuhai "Orson" Xu

机构 * Columbia University, Biomedical Informatics（哥伦比亚大学生物医学信息学） ； Columbia University, Computer Science（哥伦比亚大学计算机科学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一个多层框架，用于支持长期健康交互的AI代理，强调适应性、连贯性、连续性和自主性，通过案例展示如何维持有意义的参与并支持个性化决策。

Comments 10 pages, 2 figures, 5 tables

Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation

保持分歧：多智能体政策模拟中的架构异质性与一致性验证

Ariel Sela

机构 * Ariel Sela 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出AI委员会框架，通过120次模拟测试两种干预措施，发现架构异质性可减少一致性，但一致性验证在不同场景下产生分歧-多样性权衡。

Comments 14 pages, 7 tables, 120 deliberations across 2 policy scenarios

CoFL: Continuous Flow Fields for Language-Conditioned Navigation

CoFL：基于连续流场的语言条件导航

Haokun Liu, Zhaoqi Ma, Yicheng Chen, Masaki Kitagawa, Wentao Zhang, Zicen Xiong, Jinjie Li, Moju Zhao

机构 * Matterport3D ； ScanNet 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 CoFL通过端到端策略将鸟瞰图观测与语言指令映射为连续流场，实现工作空间条件下的场学习，提升导航精度与安全性，支持实时推理和闭环控制。

Comments 18 pages, 13 figures

AgentSim: A Platform for Verifiable Agent-Trace Simulation

AgentSim：可验证代理跟踪模拟平台

Saber Zerhoudi, Michael Granitzer, Jelena Mitrovic

专题命中 安全训练 ：trustworthy(abstract)

AI总结 本文提出AgentSim平台，通过多模型验证和主动人工参与流程，生成可验证的代理推理轨迹，构建了覆盖三个信息检索基准的Agent-Trace Corpus，并揭示了先进模型在信息检索中的系统性差异。

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '26), July 20--24, 2026, Melbourne, VIC, Australia