大模型对齐与安全

A Descriptive and Normative Theory of Human Beliefs in RLHF

基于人类反馈强化学习中的人类信念描述性与规范性理论

Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

机构 * College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校） ； Department of Computer Science The University of Texas at Austin（计算机科学系 德州大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：RLHF(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 研究 RLHF 中人类信念作用，提出新偏好模型，通过人类和综合实验，证实人类对智能体能力信念影响偏好，指出减少信念与能力不匹配可提升 RLHF 并给出新实践方向。

Comments Published at TMLR

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

HiPO：用于大语言模型自适应推理的分层偏好优化

Darsh Kachroo, Arjun Prasaath Anbazhagan, Adriana Caraeni, Brennan Lagasse, Kevin Zhu

机构 * Vellore Institute of Technology（维洛雷理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Northwestern University（西北大学） ； Yale University（耶鲁大学） ； Algoverse AI Research（Algoverse AI研究） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 HiPO通过分层优化提升大语言模型在复杂推理任务中的表现，结合偏好优化与结构化推理的优势，实现更高效的训练和更一致的输出。

Comments 12 pages, 4 figures, 6 tables. Includes ablation study across Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct on 5 math reasoning benchmarks (GSM8K, MATH500, Minerva, AIME24, Gaokao2023). GPT-4.1 used for structured evaluation of reasoning quality

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

超越时间偏移：将全能语言模型（Omni-LLM）适配为生成式视听模型的无参考评估器

Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（易路泰克科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 研究针对视听生成模型跨模态同步评估难题，提出框架解决人类与自动化评估指标的矛盾。通过引入数据集、适配模型及提出优化方法，实现先进的人类偏好对齐，建立标准化基准推动评估从信号相关性到因果关系发展。

Comments Accepted to ECCV 2026

Optimizing Against Safety Representations: Activation-Guided Adversarial Suffixes and the Geometry of Refusal

针对安全表示的优化：激活引导的对抗后缀与拒绝几何

Ege Çakar, Hannah Guan, Kayden Kehe

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型安全表示，引入激活引导的对抗后缀攻击方法，如Activation-Guided GCG和Soft-GCG，发现安全表示分布特点，不同规模模型的抗性不同，结果阐明安全机制编码及破解方式，为设计对齐策略提供指导。

Comments Accepted at the AAAI 2026 Summer Symposium Series. This paper was presented at the ICLR Re-Align workshop under a different name, "Accelerating Adversarial Suffix Optimization via Continuous Relaxation and Activation-Guided Objectives"

Geopolitical alignment: Endorsement effects in large language models

地缘政治倾向：大语言模型中的背书效应

Maxim Chupilkin

机构 * Department of Politics and International Relations, University of Oxford（政治与国际关系系，牛津大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.AI、cs.CY

AI总结 研究大语言模型政策评估是否受地缘政治线索影响，通过背书实验让四个模型评估相同政策，发现模型评分受背书者身份影响，西方背书被视为可信度线索，中国和俄罗斯背书被视为其他风险线索。

Present but Rescaled: Chat-to-Agent Transfer of Additive Activation Steering

存在但重新缩放：加法激活引导的聊天到智能体的转移

Lucas Pinto

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究加法激活引导从聊天到智能体的转移，通过匹配信息设计进行研究，发现转移真实但重新缩放，确定了加法特定机制，定位了重新缩放位置，指出智能体部署对引导拒绝绕过影响不可预测。

Comments 12 pages, 3 figures, 4 tables

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

基于合约的组合屏蔽实现安全多智能体强化学习

Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

机构 * Imperial College London（伦敦帝国学院） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出一种去中心化屏蔽方法，通过合约机制协调智能体局部LTL安全义务，在无集中运行时控制下保证全局安全并优化团队奖励。

Comments Accepted to EUMAS 2026, the 23rd European Conference on Multi-Agent Systems

Refused in Chat, Written in Code: Workflow-Level Jailbreak Construction in IDE Coding Agents

在聊天中被拒绝，用代码编写：IDE 编码代理中的工作流级越狱构造

Abhishek Kumar, Carsten Maple

机构 * The Alan Turing Institute（阿尔法·图灵研究院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究 IDE 编码代理安全评估问题，介绍工作流级越狱构造，通过对特定模型在不同基准测试下表现研究发现，对话拒绝基准可能高估其安全性，需跨多轮 IDE 工作流评估安全。

Neuro-Agentic Control: A Deep Learning-based LLM-Powered Agentic AI Framework for Controlling Security Controls

神经代理控制：一种基于深度学习的由大型语言模型驱动的用于控制安全控制的代理人工智能框架

Saroj Gopali, Bipin Chhetri, Deepika Giri, Sima Siami-Namini, Akbar Siami Namin

机构 * Texas Tech University（德克萨斯理工大学） ； Cumberland University（坎伯兰大学） ； Advanced Academic Programs Science（高级学术项目科学部） ； Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 针对运营技术网络攻击问题，提出神经代理控制框架，结合基于LLM的规划器与预训练的TimesFM，并引入“反事实物理注入”机制，在工业数据集评估中表现优于基线，能有效保障关键基础设施中代理人工智能。

Ruby: Unmasking Unsafe Rust in Stripped Binaries via Machine Learning

Ruby：通过机器学习揭示剥离二进制文件中的不安全Rust

Xiang Cheng, Sangdon Park, HyungSeok Han, Xiaokuan Zhang, Taesoo Kim

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pohang University of Science and Technology（釜山科学技术大学） ； Microsoft（微软公司） ； George Mason University（乔治·梅奥大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 研究旨在揭示Rust二进制文件中的不安全区域，核心方法是用机器学习工具Ruby捕获二进制指令差异，主要贡献为识别大部分不安全区域且误报率低，应用于指导符号执行和模糊测试有显著速度提升并帮助修复安卓库漏洞。

Comments Accepted to DSN 2026

Visual Inception: Compromising Long-term Planning in Agentic Recommenders via Multimodal Memory Poisoning

视觉 inception：通过多模态记忆污染在代理推荐系统中妥协长期规划

Jiachen Qian

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出视觉 inception 攻击，通过污染用户上传的图片在代理推荐系统中影响长期规划，提出 CognitiveGuard 防御框架以降低攻击风险。

Comments 17 pages, 6 figures, 16 tables

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 20846-20862, 2026

The LLMbda Calculus: AI Agents, Conversations, and Information Flow

LLMlambda 计算：人工智能代理、对话与信息流

Zac Garby, Andrew D. Gordon, David Sands

机构 * University of Nottingham, UK（诺丁汉大学） ； University of Edinburgh, UK（爱丁堡大学） ； Chalmers University of Technology（查尔姆斯理工大学） ； The University of Gothenburg, Sweden（哥德堡大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出了一种无类型的lambda计算模型，用于形式化描述和验证人工智能代理中对话和信息流的安全性。

Multi-Attribute Steering of Language Models via Targeted Intervention

通过目标干预对语言模型进行多属性引导

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何对语言模型进行多属性引导，提出MAT-Steer框架，通过对齐目标学习引导向量，减少属性间冲突，在问答和生成任务中评估，该框架优于现有方法。

Comments ACL 2025 camera-ready, code link: https://github.com/duykhuongnguyen/MAT-Steer

GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs

GrAInS：基于梯度的大语言模型和视觉语言模型推理时引导方法

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对推理时引导LLMs和VLMs的方法局限，提出GrAInS。该方法基于梯度归因识别关键令牌构建引导向量，推理时调整激活。实验显示其性能优于微调及现有基线，能在保持模型流畅性和通用能力的同时提升多项指标。

Comments Accepted to ACL 2026

The ICSCREAM methodology: Identification of penalizing configurations in computer experiments using screening and metamodel -- Applications in thermal-hydraulics

ICSCREAM方法：利用筛查和元模型识别计算机实验中的惩罚配置——热力学-流体力学应用

A. Marrel, Bertrand Iooss, V Chabridon

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 ICSCREAM方法通过全局敏感性分析和元模型技术，高效识别热力学-流体力学事故模拟中的临界配置，减少计算成本。

Hair-Trigger Alignment: Black-Box Evaluation Cannot Guarantee Post-Update Alignment

触发式对齐：黑盒评估无法保证更新后对齐

Yavuz Bakman, Duygu Nur Yaldiz, Eleni Triantafillou, Peter Kairouz, Salman Avestimehr, Sai Praneeth Karimireddy

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型更新后对齐问题，指出静态黑盒评估有局限，无法保证更新后对齐，通过理论分析和多领域实证验证，揭示模型隐藏对抗行为及与模型规模的关系，强调更新后鲁棒对齐评估的迫切性。

SolarChain-Eval: A Physics-Constrained Benchmark for Trustworthy Economic Agents in Decentralized Energy Markets

SolarChain-Eval：去中心化能源市场中可信经济主体的物理约束基准测试

Shilin Ou, Yifan Xu, Luyao Zhang

机构 * Duke Kunshan University（杜克昆山大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对去中心化能源市场中智能代理评估需兼顾任务性能与可信度的问题，提出物理约束基准测试SolarChain-Eval，将市场治理建模为马尔可夫决策过程，从多维度评估策略，纳入大语言模型规划器/审计器层，实验揭示效用与安全权衡及相关问题。

Interval Certifications for Multilayered Perceptrons via Lattice Traversal

通过格遍历实现多层感知器的区间认证

Merkouris Papamichail, Konstantinos Varsos, Giorgos Flouris, João Marques-Silva

机构 * University of Crete（克里特大学） ； Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高级研究所） ； University of Lleida（莱里达大学） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究人工智能安全中对抗鲁棒性问题，通过格遍历将其转化为区间认证问题，开发格遍历算子并用于细化与验证迭代方案，保证合理最大化和完全最小化，研究了优化问题的不对称性及对称区间优化问题，还进行了实证评估。

Multimodal Reward Hacking in Reinforcement Learning

强化学习中的多模态奖励黑客攻击

Jiayu Yao, Yiwei Wang, Anmeng Zhang, Zhe Sun, Songsong Wang, Lingrui Mei, Yuyao Ge, Shenghua Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； Southeast University（东南大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究强化学习中多模态奖励黑客攻击问题，通过引入新奖励失败率（NRFR）等方法，在多种设置下改变模型规模、算法等因素进行实验，发现仅结果奖励易导致黑客攻击，扩大规模可减少但不能消除，还得出不同算法和奖励方式对黑客攻击的影响及相关结论。

Beyond Black-Box Obfuscation: Mechanistic Analysis and Defense of White-Box Monitors

超越黑盒混淆：白盒监测器的机制分析与防御

Maheep Chaudhary, Fazl Barez

机构 * University of Oxford（牛津大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型白盒监测器可被规避且缺乏防御措施的问题，通过红队实验揭示几何转移和协方差操纵两种逃避策略，引入SafetyNet集成方法，在多模型家族实验中取得高AUROC分数，为稳健潜在空间监测提供了实证和起点。

A Personalized Computational Framework for Assessing the Sufficiency of Partially Observed Data in Healthcare AI models

用于评估医疗保健人工智能模型中部分观测数据充分性的个性化计算框架

Qingchu Jin, Felistas Mazhude, Jamie B. Rabb, Robert S. Kramer, Douglas B. Sawyer, Raimond L. Winslow

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对医疗保健人工智能模型部分观测数据问题，提出特征充分性分析（FSA），通过估计缺失变量分布来评估数据充分性，经案例研究验证其能进行患者特定评估、提供特征排序方法等，助力医疗人工智能系统部署。

Riemannian Geometry for Pre-trained Language Model Embeddings

预训练语言模型嵌入的黎曼几何

Szczepan Konior, Alexandre Quemy, Przemysław Klocek, Bartłomiej Sobieski, Grégoire Cattan

机构 * IBM Automation and AI（IBM自动化与人工智能） ； Hother（霍瑟） ； University of Warsaw（华沙大学） ； Centre for Credible AI, Warsaw University of Technology（华沙理工大学可信人工智能中心） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究预训练语言模型嵌入的几何结构，提出黎曼均值池化方法，通过提取回拉度量并聚合，在三个数据集上RMP优于欧几里得均值池化，消融实验定位增益来源，训练好的编码器在特定数据集贡献额外信号。

Embodied Multi-Agent Coordination by Aligning World Models Through Dialogue

通过对话对齐世界模型实现具身多智能体协调

Vardhan Dongre, Dilek Hakkani-Tür

机构 * Siebel School of Computing & Data Science（计算机与数据科学学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过对话机制探索具身智能体的世界模型对齐，发现对话能减少冲突但降低任务成功率，提出评估世界模型对齐的框架。

ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

ConceptSMILE：审计基于概念的可解释人工智能的可信度

Mohadeseh Mollapour, Koorosh Aslansefat, Zeinab Dehghani, Bhupesh Kumar Mishra, Tejal Shah, Zhibao Mian

机构 * University of Hull（赫尔大学） ； Newcastle University（纽卡斯尔大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究基于概念的可解释人工智能中概念级输出的可信度问题，提出ConceptSMILE审计框架，通过扰动输入区域等方法评估可靠性，在视网膜眼底图像上评估发现不同概念和路径可靠性有差异，为评估此类人工智能可信度提供独立审计层。

TSAI-MetaFraud: A Benchmark Dataset for Financial Fraud Transaction and Behavioral Risk Detection in Metaverse Ecosystems

TSAI-MetaFraud：用于元宇宙生态系统中金融欺诈交易和行为风险检测的基准数据集

Refat Ishrak Hemel, Ehsan Hallaji, Roozbeh Razavi-Far

机构 * tsai-unb（tsai - 新不伦瑞克大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 针对元宇宙平台带来的欺诈等新挑战及现有数据集局限性，提出TSAI-MetaFraud基准数据集，整合多类信息与欺诈场景，定义多项基准任务并进行基线评估，为元宇宙生态系统相关研究提供基准。

Robustifying Vision-Language Models via Test-Time Prompt Adaptation

通过测试时提示自适应增强视觉语言模型的鲁棒性

Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen

机构 * University of Science（科学大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science（香港科学大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 研究针对对抗扰动下视觉语言模型性能下降问题，提出RITA框架，通过最优传输实现分布级对齐，引入动态缓存积累线索，提升了模型对抗鲁棒性且不损干净准确率。

Comments ICML 2026 regular

Parameter-Efficient Vision-Language Adaptation with Continuous Metadata Conditioning for Animal Re-Identification

基于连续元数据条件的参数高效视觉语言适配用于动物再识别

Anil Osman Tur, Tonje Knutsen Sordalen, Kim Tallaksen Halvorsen, Cigdem Beyan

机构 * Department of Computer Science, University of Verona（维罗纳大学计算机科学系） ； Institute of Marine Research（海洋研究所） ； University of Agder, Centre for Coastal Research（阿格德大学海岸研究中心） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对动物再识别中适应纵向生态环境的挑战，提出基于连续元数据条件的参数高效CLIP适配框架，通过保留元数据连续结构，在训练中平滑调制嵌入空间，提升了对外观变化和分布偏移的鲁棒性，实现纯视觉推理管道。

Comments This is the author's version of the paper accepted for publication in Expert Systems with Applications. The final authenticated version will be available from the publisher

L-MAD: A Systematic Evaluation of Multi-Agent Debate Structures in Legal Reasoning

L-MAD：法律推理中多智能体辩论结构的系统评估

Tan-Minh Nguyen, Hoang-Trung Nguyen, Huu-Dong Nguyen, Dinh-Truong Do, Thi-Hai-Yen Vuong, Le-Minh Nguyen

机构 * Japan Advanced Institute of Science（日本先进科学研究院） ； VNU University of Engineering（越南工程大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究在法律领域探索多智能体辩论（MAD）框架有效性，引入L-MAD框架评估不同结构和方法，通过分配专家角色提升效果，分析辩论规模发现权衡，明确了在法律推理中部署协作多智能体系统的边界与安全边际。

Comments Outstanding paper in the AI4Law Workshop at ICML 2026

Inside the Skill Market: From Software Engineering Activities to Reusable Agent Skills

深入技能市场：从软件工程活动到可复用的智能体技能

Jialun Cao, Xinru Yan, Songqiang Chen, Yaojie Lu, Zhongxin Liu, Shing-Chi Cheung

机构 * The Hong Kong University of Science（香港科技大学） ； University of Chinese Academy of Sciences Beijing, China（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences Beijing, China（中国科学院软件研究所） ； Zhejiang University Hangzhou, China（浙江大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究探讨软件工程活动如何转化为可复用智能体技能。通过对公共库和市场中SE技能大规模实证研究，分析其封装活动、生命周期覆盖等，发现SE活动正通过技能成为可复用工件，为技能推荐等提供研究机会及相关机制需求。

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

一种新兴的海市蜃楼：新兴的错位与重新对齐真的是一种稳健的现象吗？

Abhinav Rao, Liancheng Gong, Bin Hu, Atharva Naik

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究新兴错位与重新对齐现象，通过受控微调循环研究其循环过程及相关表现，发现错位和重新对齐对数据集表面特征敏感，先前机制特征与行为错位不始终相关，指出当前EM证据欠稳健，需控制数据集伪像的评估协议。