大模型对齐与安全

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

一种基于共识的大语言模型相对偏好评估框架

Mohtashim Khan

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 针对大语言模型传统评估基准不足，本文提出基于共识的评估框架，通过不同模型对候选响应排序，以模型间一致性衡量质量，经多模型跨领域研究揭示偏好模式，提供了可扩展的比较评估方法。

Comments 14 pages, 7 figures

Co-design of LLM-based preference agents: participation may drive overtrust

基于大语言模型的偏好智能体协同设计：参与可能导致过度信任

Michael J. Fell

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 研究探讨大语言模型模拟人类偏好引发的问题，通过12名参与者在家庭能源领域协同设计个人偏好智能体的定性研究，发现参与和过程透明度或成“过度信任引擎”，并将此发展为参与式偏好智能体设计核心机制。

Comments 43 pages (18 main text plus supplementary material), 5 figures

The Computational Basis of Confidence in Large Language Models

大语言模型中置信度的计算基础

Dharshan Kumaran, Viorica Patraucean, Maks Ovsjanikov, Petar Veličković, Nathaniel Daw

机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

KeySI：基于人类反馈调整文本嵌入的交互框架

Yan Zhu, Y. Chen, Rebecca Faust

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对预训练语言模型调整难的问题，提出KeySI交互框架，通过基于关键词的概念规范实现特征级反馈，减少人工文档处理需求，经用户研究等评估，证明其能有效捕捉用户意图并改善嵌入对齐。

Comments Accepted to IEEE VIS 2026

Three-Body Alignment: Aligning Chess Agent with Human Reasoning through Reranked Rationale

三体对齐：通过重新排序的理由将国际象棋智能体与人类推理对齐

Jaymari Chua, Chen Wang, Liming Zhu, Lina Yao

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)

AI总结 研究如何通过国际象棋中的“三体对齐”，分析人类专家、引擎辅助评论员和大语言模型产生的理由间语义差异，构建多源理由数据集，进行实证分析与实验，开发数据集结构并开源，以改善智能体与人类对齐及决策的可解释性。

Benchmarking the Safety of Large Language Models for Robotic Health Attendant Control

对大型语言模型在机器人健康护理员控制中的安全性的基准测试

Mahiro Nakao, Kazuhiro Takemoto

机构 * Kyushu Institute of Technology（九州工业技术大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.CY

AI总结 本文通过270条有害指令评估72个LLM，在模拟环境中测试其安全性，发现模型大小和发布日期影响安全性能，专有模型更安全，但医疗领域微调和提示防御策略效果有限，需将安全性作为首要考量。

Comments 20 pages, 9 figures, 3 tables, 8 pages supplementary material

Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning

作为非平稳强化学习安全约束的调整速度

Timothy Tomashevskiy

机构 * McMaster University（麦克马斯特大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。

Comments 15 pages, 5 figures, 2 tables. Preprint

Safe In-Context Reinforcement Learning

安全的上下文强化学习

Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

机构 * University of Virginia（弗吉尼亚大学） ； Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。

Comments ICML 2026

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

Security Without Detection: Economic Denial as a Primitive for Edge and IoT Defense

无需检测的安全：经济否认作为边缘和物联网防御的基本原理

Samaresh Kumar Singh, Joyjit Roy, Sriharsha Anand Pushkala

机构 * st Samaresh Kumar Singh（第一作者机构） ； nd Joyjit Roy（第二作者机构） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 EDS是一种不依赖检测的物联网和边缘安全方法，通过经济成本放大机制有效遏制攻击，实现超线性成本增加和高缓解率。

Comments 8 pages, 2 figures, submitted to 3rd International Conference on Intelligent Digitization of Systems and Services (IDSS2026)

Agent Security Needs Redefinition through a Holistic Framework

通过整体框架重新定义智能体安全需求

Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Chenguang Wang, Dawn Song

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究指出智能体安全是上下文问题，当前基于内容的框架有误。通过源授权、任务对齐、行动对齐和数据隔离四个属性实施上下文安全，改变了防御连贯性、评估有效性及可识别的攻击模式。

Comments ICML 2026 Position Paper

Protocol-Level Attacks on Agentic Commerce Platforms: A Cross-Platform Taxonomy, AIP-Bench, and Unified Defense

对智能商务平台的协议级攻击：跨平台分类法、AIP基准和统一防御

Yedidel Louck

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究智能商务平台协议层安全问题，识别出33个结构性漏洞。贡献分类法，构建AIP-Bench基准和PCAT防御机制，将部分结构类攻击成功率降至零，强调协议层安全防护的重要性。

PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

PCS-UQ：基于可预测性-可计算性-稳定性框架的不确定性量化

Abhineet Agarwal, Fange Xiao, Rebecca Barter, Omer Ronen, Boyu Fan, Bin Yu

机构 * Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计学系） ； Department of Epidemiology, University of Utah（犹他大学流行病学系） ； Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 提出PCS-UQ框架，通过预测检查、bootstrap采样和乘法校准实现不确定性量化，在回归和分类任务中优于或媲美共形预测方法，并提供理论保证。

NWaaS: A Non-Intrusive and Privacy-Preserving Watermarking-as-a-Service System with Adaptive Resource Scheduling

NWaaS：一种具有自适应资源调度的非侵入性和隐私保护水印即服务系统

Haonan An, Qianyao Ren, Guang Hua, Tao Li, Yu Guo, Yanan Ma, Hangcheng Cao, Yuguang Fang

专题命中 隐私与版权 ：trustworthy(abstract)

AI总结 研究针对机器学习即服务中保护知识产权的挑战，提出NWaaS框架。核心方法包括$\mathtt{ShadowMark}$算法、协作分区机制和比例差异联合调度算法。贡献是能在多样模态中提供强大所有权验证，保障隐私并提升系统性能。

Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG

迈向可信且经济高效的数据集成：从朴素检索增强生成到智能体检索增强生成

Chuangtao Ma, Arijit Khan

机构 * Aalborg University, Denmark（丹麦奥胡斯大学） ； Bowling Green State University, USA（美国布恩威尔州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 探讨大语言模型和人工智能智能体在企业数据集成中面临的挑战，介绍从经典RAG到智能体RAG的演变，研究经济高效集成的优化策略，为构建可靠、可解释和可扩展的数据集成系统指明方向。

Comments To Appear in the IEEE Data Engineering Bulletin

A Roadmap to Impactful Pluralistic Alignment Research

有影响力的多元对齐研究路线图

Elinor Poole-Dayan, Jillian Fisher, Atoosa Kasirzadeh, Jacob Andreas, Mitchell Gordon, Michiel A. Bakker

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究多元价值对齐在实际AI系统中未产生影响的问题，指出原因包括理由多为规范或推测、未明确理想多元行为及现有方法与指标不足。提出未来研究应转向实证基础、明确行为目标并建立实用方法与评估，以推动该领域发展。

VLM as Strategist: Adaptive Generation of Safety-critical Testing Scenarios via Guided Diffusion

VLM作为策略家：通过引导扩散实现安全关键测试场景的自适应生成

Xinzheng Wu, Junyi Chen, Naiting Zhong, Yong Shen

机构 * School of Automotive Studies, Tongji University（同济大学汽车研究学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出一种结合VLM和引导扩散模型的框架，用于高效生成安全关键测试场景，提升自动驾驶系统的测试效率和安全性。

Comments 25 pages, 9 figures

Journal ref Accident Analysis & Prevention Volume 236, October 2026, 108680

Integrating Reasoning Systems for Trustworthy AI, Proceedings of the 4th Workshop on Logic and Practice of Programming (LPOP)

用于可信人工智能的推理系统集成，第4届编程逻辑与实践研讨会（LPOP）会议录

Anil Nerode, Yanhong A. Liu

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 第4届编程逻辑与实践研讨会聚焦于可信人工智能的推理系统集成，将与第40届国际逻辑编程会议联合于2024年10月13日在美国达拉斯以混合形式举行，重点是集成不同编程模型与规则和约束。

DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents

DBA-Bench：基于大语言模型的数据库操作代理的生产保真度基准测试

Junming Chen, Junyang Jiang, Xu Chen, Zibo Liang, Kai Zheng

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究基于大语言模型的数据库操作代理评估问题，提出DBA-Bench基准测试，通过生产保真度等解决评估与生产操作差距，含多场景和难度标签，评估多基线组，揭示安全端到端修复困难。

Comments 14 pages, 6 figures, 2 tables

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

WHBench：通过专家在环验证评估前沿大语言模型在女性健康主题上的表现

Sneha Maurya, Spandana Govindgari, Girish Kumar, Akhara AI

机构 * Columbia University（哥伦比亚大学） ； Rubric AI 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出WHBench，通过专家设计的47个场景评估22个模型，揭示临床重要失败模式，强调安全性和公平性的重要性。

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

为什么大语言模型与人类在评估创造力时会趋同和背离

Pengzhao Lyu, Yeun Joon Kim, Hanlin Xiao, Yingyue Luna Luan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨大语言模型与人类评估创造力时趋同和背离的原因，通过三项研究和六个模型，识别其评估标准及影响，发现一致性取决于判断证据和模型标准，强调内在品质时趋同，需上下文信息时背离，选评估模型很关键。

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

模块各司其职吗？复合语言模型系统中的角色漂移

Xiaoyang Cao, Siddarth Srinivasan, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究复合语言模型系统中模块的角色漂移问题，提出角色锚定正则化方法，通过实验揭示仅准确性无法检测的角色漂移，该方法能以可调成本减轻漂移，且减少与角色漂移方向的对齐，而非简单抑制学习。

Autoregressive EHR Foundation Models with Multimodal Inputs

具有多模态输入的自回归电子健康记录基础模型

Yuxuan Liu, Joshua Placidi, Jinpei Han, Alfred John Balston, Marek Rei, A. Aldo Faisal

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 研究在自回归电子健康记录基础模型中纳入多模态的方法，通过特定模态潜在压缩和门控交叉注意力框架，研究压缩单模态序列及预训练编码器选择对性能的影响，实验表明精心设计架构及临床评估的必要性。

Comments 5 pages excluding references and supplements, 2 figures and 2 tables, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning, Seoul, South Korea

Journal ref ICML2026 workshop on Structured Data for Health (SD4H)

Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions

面向时间干预下个人语言模型代理的用户条件评估

Pin Qian, Su Wang, Yihang Chen, Qiaolin Yu, Xiaoyuan Wang, Zhitong Guo, Zhicheng Wang, Junxian You

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Cornell University（康奈尔大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究个人语言模型代理在时间干预下的用户条件评估，提出需在不同用户条件状态下重放时间干预并测量故障传播的协议，形式化四个条件，审查发现无满足条件的公开协议，进而提出最小基准设计和候选报告指标。

Comments 9 pages, 2 figures, and 8 tables. Accepted for oral presentation at the ACM SIGKDD KDD 2026 Workshop on Personal Intelligence in the Agentic AI Era (PILA 2026)

AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets

AgentFAIR：用于地理空间数据集公平性评估的多智能体协作框架

Ming Chen, Pranav Pai

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究地理空间数据集公平性评估难题，提出AgentFAIR多智能体框架，结合结构化元数据提取与特定子原则语言模型评估器，给出各项评估结果，支持可审计性与可行性，不过受限于多种因素对准确性和泛化性声明有约束。

REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming

REFORGE：一种在反编译二进制函数命名中对大语言模型逆向工程能力进行基准测试的方法

Nicolas Koller, Andreas U. Schmidt

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对大语言模型逆向工程能力评估难的问题，提出Reforge方法，通过特定流程构建函数级真实情况并处理对齐不确定性，经实验验证该方法能揭示优化对模型性能的影响，推动不确定性感知基准测试实践。

Comments 10 pages, 5 figures; accepted for publication to the 23rd International Conference on Applied Computing 2026, Lisbon October 24-26,2026

ASEval: Automated Trajectory-Level Security Testing for Autonomous Agents

对时间、空间和语义规避的自主代理进行基准测试

Jianan Ma, Xiaohu Du, Ruixiao Lin, Yaoxiang Bian, Jialuo Chen, Yunhao Feng, Xiaofang Yang, Shiwen Cui, Changhua Meng, Xinhao Deng, Jingyi Wang, Zhen Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种针对基于大语言模型（LLM）的代理系统的多维规避框架，通过引入时间、空间和语义三种隐蔽攻击向量，系统地量化了这些威胁，并展示了其在实际威胁场景中的效果，揭示了现有自主代理系统在架构层面的系统性漏洞。

Comments 18 pages, 12 figures, 8 tables. Code and data available at https://github.com/antgroup/Agent3Sigma-Stage

Draining the Energy Commons: Self-Defeating Over-Appropriation as a Coordination Failure in Agentic LLM Collectives

耗尽能源共享池：自我挫败的过度占用作为智能体大语言模型集体中的协调失败

Marcantonio Bracale Syrnicov, Federico Pierucci, Matteo Prandi, Marcello Galisai, Piercosma Bisconti, Francesco Giarrusso, Daniele Nardi

专题命中 安全评测 ：alignment(abstract)

AI总结 研究大语言模型智能体在共享可再生能源储备时的协调失败问题，通过让四个同系列智能体自博弈，改变储备再生率，发现它们在需求超阈值时过度占用致自我挫败，实际消耗类似更不耐烦的开放访问基准，孤立响应评估会忽略此系统层面协调失败。

HarnessLLM: Rust Verification Harness Generation with Large Language Models

HarnessLLM：使用大语言模型生成Rust验证框架

Minghua Wang, Yuwei Liu, Lin Huang

专题命中 安全评测 ：safety(abstract)

AI总结 研究针对Rust代码内存安全验证开发验证框架难的问题，提出HarnessLLM自动化工作流程，利用大语言模型从测试套件生成框架，经实验评估效果良好，能检测内存安全漏洞，是首个用大语言模型为Rust项目内存安全验证生成框架的工作。