大模型对齐与安全

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

一种基于共识的大语言模型相对偏好评估框架

Mohtashim Khan

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 针对大语言模型传统评估基准不足，本文提出基于共识的评估框架，通过不同模型对候选响应排序，以模型间一致性衡量质量，经多模型跨领域研究揭示偏好模式，提供了可扩展的比较评估方法。

Comments 14 pages, 7 figures

Co-design of LLM-based preference agents: participation may drive overtrust

基于大语言模型的偏好智能体协同设计：参与可能导致过度信任

Michael J. Fell

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 研究探讨大语言模型模拟人类偏好引发的问题，通过12名参与者在家庭能源领域协同设计个人偏好智能体的定性研究，发现参与和过程透明度或成“过度信任引擎”，并将此发展为参与式偏好智能体设计核心机制。

Comments 43 pages (18 main text plus supplementary material), 5 figures

Three-Body Alignment: Aligning Chess Agent with Human Reasoning through Reranked Rationale

三体对齐：通过重新排序的理由将国际象棋智能体与人类推理对齐

Jaymari Chua, Chen Wang, Liming Zhu, Lina Yao

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)

AI总结 研究如何通过国际象棋中的“三体对齐”，分析人类专家、引擎辅助评论员和大语言模型产生的理由间语义差异，构建多源理由数据集，进行实证分析与实验，开发数据集结构并开源，以改善智能体与人类对齐及决策的可解释性。

Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning

作为非平稳强化学习安全约束的调整速度

Timothy Tomashevskiy

机构 * McMaster University（麦克马斯特大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。

Comments 15 pages, 5 figures, 2 tables. Preprint

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

Agent Security Needs Redefinition through a Holistic Framework

通过整体框架重新定义智能体安全需求

Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Chenguang Wang, Dawn Song

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究指出智能体安全是上下文问题，当前基于内容的框架有误。通过源授权、任务对齐、行动对齐和数据隔离四个属性实施上下文安全，改变了防御连贯性、评估有效性及可识别的攻击模式。

Comments ICML 2026 Position Paper

Protocol-Level Attacks on Agentic Commerce Platforms: A Cross-Platform Taxonomy, AIP-Bench, and Unified Defense

对智能商务平台的协议级攻击：跨平台分类法、AIP基准和统一防御

Yedidel Louck

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究智能商务平台协议层安全问题，识别出33个结构性漏洞。贡献分类法，构建AIP-Bench基准和PCAT防御机制，将部分结构类攻击成功率降至零，强调协议层安全防护的重要性。

Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG

迈向可信且经济高效的数据集成：从朴素检索增强生成到智能体检索增强生成

Chuangtao Ma, Arijit Khan

机构 * Aalborg University, Denmark（丹麦奥胡斯大学） ； Bowling Green State University, USA（美国布恩威尔州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 探讨大语言模型和人工智能智能体在企业数据集成中面临的挑战，介绍从经典RAG到智能体RAG的演变，研究经济高效集成的优化策略，为构建可靠、可解释和可扩展的数据集成系统指明方向。

Comments To Appear in the IEEE Data Engineering Bulletin

A Roadmap to Impactful Pluralistic Alignment Research

有影响力的多元对齐研究路线图

Elinor Poole-Dayan, Jillian Fisher, Atoosa Kasirzadeh, Jacob Andreas, Mitchell Gordon, Michiel A. Bakker

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究多元价值对齐在实际AI系统中未产生影响的问题，指出原因包括理由多为规范或推测、未明确理想多元行为及现有方法与指标不足。提出未来研究应转向实证基础、明确行为目标并建立实用方法与评估，以推动该领域发展。

DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents

DBA-Bench：基于大语言模型的数据库操作代理的生产保真度基准测试

Junming Chen, Junyang Jiang, Xu Chen, Zibo Liang, Kai Zheng

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究基于大语言模型的数据库操作代理评估问题，提出DBA-Bench基准测试，通过生产保真度等解决评估与生产操作差距，含多场景和难度标签，评估多基线组，揭示安全端到端修复困难。

Comments 14 pages, 6 figures, 2 tables

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

为什么大语言模型与人类在评估创造力时会趋同和背离

Pengzhao Lyu, Yeun Joon Kim, Hanlin Xiao, Yingyue Luna Luan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨大语言模型与人类评估创造力时趋同和背离的原因，通过三项研究和六个模型，识别其评估标准及影响，发现一致性取决于判断证据和模型标准，强调内在品质时趋同，需上下文信息时背离，选评估模型很关键。

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

模块各司其职吗？复合语言模型系统中的角色漂移

Xiaoyang Cao, Siddarth Srinivasan, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究复合语言模型系统中模块的角色漂移问题，提出角色锚定正则化方法，通过实验揭示仅准确性无法检测的角色漂移，该方法能以可调成本减轻漂移，且减少与角色漂移方向的对齐，而非简单抑制学习。

Autoregressive EHR Foundation Models with Multimodal Inputs

具有多模态输入的自回归电子健康记录基础模型

Yuxuan Liu, Joshua Placidi, Jinpei Han, Alfred John Balston, Marek Rei, A. Aldo Faisal

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 研究在自回归电子健康记录基础模型中纳入多模态的方法，通过特定模态潜在压缩和门控交叉注意力框架，研究压缩单模态序列及预训练编码器选择对性能的影响，实验表明精心设计架构及临床评估的必要性。

Comments 5 pages excluding references and supplements, 2 figures and 2 tables, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning, Seoul, South Korea

Journal ref ICML2026 workshop on Structured Data for Health (SD4H)

Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions

面向时间干预下个人语言模型代理的用户条件评估

Pin Qian, Su Wang, Yihang Chen, Qiaolin Yu, Xiaoyuan Wang, Zhitong Guo, Zhicheng Wang, Junxian You

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Cornell University（康奈尔大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究个人语言模型代理在时间干预下的用户条件评估，提出需在不同用户条件状态下重放时间干预并测量故障传播的协议，形式化四个条件，审查发现无满足条件的公开协议，进而提出最小基准设计和候选报告指标。

Comments 9 pages, 2 figures, and 8 tables. Accepted for oral presentation at the ACM SIGKDD KDD 2026 Workshop on Personal Intelligence in the Agentic AI Era (PILA 2026)

Draining the Energy Commons: Self-Defeating Over-Appropriation as a Coordination Failure in Agentic LLM Collectives

耗尽能源共享池：自我挫败的过度占用作为智能体大语言模型集体中的协调失败

Marcantonio Bracale Syrnicov, Federico Pierucci, Matteo Prandi, Marcello Galisai, Piercosma Bisconti, Francesco Giarrusso, Daniele Nardi

专题命中 安全评测 ：alignment(abstract)

AI总结 研究大语言模型智能体在共享可再生能源储备时的协调失败问题，通过让四个同系列智能体自博弈，改变储备再生率，发现它们在需求超阈值时过度占用致自我挫败，实际消耗类似更不耐烦的开放访问基准，孤立响应评估会忽略此系统层面协调失败。

HarnessLLM: Rust Verification Harness Generation with Large Language Models

HarnessLLM：使用大语言模型生成Rust验证框架

Minghua Wang, Yuwei Liu, Lin Huang

专题命中 安全评测 ：safety(abstract)

AI总结 研究针对Rust代码内存安全验证开发验证框架难的问题，提出HarnessLLM自动化工作流程，利用大语言模型从测试套件生成框架，经实验评估效果良好，能检测内存安全漏洞，是首个用大语言模型为Rust项目内存安全验证生成框架的工作。

Vibe Coding in Software Development: A Multivocal Literature Review

软件开发中的氛围编码：多视角文献综述

Shahbaz Siddeeq, Muhammad Waseem, Kai-Kristian Kemell, Mika Saari, Jussi Rasku, Pekka Abrahamsson

专题命中 安全评测 ：safety(abstract)

AI总结 该研究对2022年至2025年10月的文献进行多视角综述，探讨软件开发中氛围编码实践。通过分析47篇文献发现其是迭代流程，开发者工作转变，短期生产力有提升，不同应用场景证据强弱有别，此为整合两类文献的首次综述并提出未来研究方向。

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

EVL-MCoT：用于有害模因检测的增强视觉语言多思维链

Hao Yang, Jin Wang, Xuejie Zhang

机构 * School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI

AI总结 针对有害模因检测，提出增强视觉语言多CoT（EVL-MCoT）方法，通过促进多CoT及设计解码框架，解决现有方法局限，在相关数据集上获良好结果，且公开了源代码。

Generative and multimodal AI for materials prediction and design: Progress, challenges, and perspectives

用于材料预测和设计的生成式和多模态人工智能：进展、挑战与展望

Xianyuan Liu, Charles Anjah, Benjamin E. Jolly, Jonathon F. S. Markanday, Joshua Berry, Haolin Wang, Nicola A. Morley, Robert D. J. Oliver, Alexandra J. Ramadan, Delvin Ce Zhang, Katerina A. Christofidou, Haiping Lu

机构 * School of Computer Science, University of Sheffield, Sheffield, UK（计算机科学学院，谢菲尔德大学） ； Centre for Machine Intelligence, University of Sheffield, Sheffield, UK（智能机器研究中心，谢菲尔德大学） ； School of Chemical, Materials and Biological Engineering, University of Sheffield, Sheffield, UK（化学、材料与生物工程学院，谢菲尔德大学） ； Henry Royce Institute, Royce Discovery Centre, University of Sheffield, Sheffield, UK（亨利·罗伊奇研究所，谢菲尔德大学） ； Materials Nexus Ltd., Salisbury House, Cambridge, UK（材料 nexus 有限公司，剑桥，英国） ； School of Mathematical and Physical Sciences, University of Sheffield, Sheffield, UK（数学与物理科学学院，谢菲尔德大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨生成式和多模态人工智能在材料预测与设计中的应用，引入材料属性层次结构框架，指出当前证据局限，强调需全社区标准支持多模态相关建模与基准测试，以设计具科学和实际新颖性、可实验实现的材料。

Explainable Reinforcement Learning for assisting Air Traffic Controllers

用于协助空中交通管制员的可解释强化学习

Anduel Mehmeti, Gabriella Gigante, Salvatore Venticinque

机构 * Department of Engineering, University of Campania "Luigi Vanvitelli"（工程学院，坎帕尼亚"路易吉·范维蒂利"大学） ； CIRA（CIRA研究院） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI

AI总结 探索可解释性技术在强化学习算法中的应用，以协助空中交通管制员。用强化学习算法在简化ATC环境训练智能体决策避禁飞区路线，采用显著性图作为初步可解释性方法，为智能体决策提供关键输入特征见解。

Comments 11 pages (10-page paper plus 1 cover/citation page), 4 figures, 1 table; published in AINA 2025

Journal ref In: L. Barolli (ed.), Advanced Information Networking and Applications (AINA 2025), Lecture Notes on Data Engineering and Communications Technologies, vol. 250, pp. 148-157, Springer, Cham (2025)

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

TextSLIP：用于医学报告生成的文本自监督CLIP

Haoyu Jiang, Ziping Cong

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。

Comments 9 pages

Tool-Guided Retrieval-Augmented Repair for Securing LLM-Generated C Code

用于保护大语言模型生成的C代码的工具引导检索增强修复

Vidyut Sriram, Saatvik Pradhan, Suman Saha

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI

AI总结 研究大语言模型生成C代码可靠性问题，提出结合编译诊断、CodeQL静态分析等及检索先前修复模式的分析与修复工作流程，在相关C编程任务上评估，该方法有效降低了基线模型的编译失败率和安全缺陷率，提升了代码安全性。

FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills

FlowEvo：通过工作流和可执行技能的协同进化实现自我进化的智能体

Zeyu Ren, Ling Yue, Ran Li, Yishu Wang, Shengxiang Xu, Hanmo Liu, Shaowu Pan, Shimin Di

机构 * Southeast University（东南大学） ； Rensselaer Polytechnic Institute（伦斯勒理工学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI

AI总结 研究旨在让大型语言模型智能体通过工作流解决复杂任务。提出FlowEvo框架，通过工作流到技能编译、技能到工作流反馈、技能管理三个机制，使智能体无需更新模型参数积累完善能力，实验显示其在基准测试中精度-成本权衡优，各机制有贡献。

KaPilot: LLM-Assisted Generation of Kani Specifications for Unsafe Rust Verification

KaPilot：用于不安全Rust验证的大语言模型辅助Kani规范生成

Minghua Wang, Yuxi Ling, Mingzhi Gao, Yuwei Liu, Lin Huang

专题命中 其他安全 ：safety(abstract)

AI总结 研究针对不安全Rust内存安全验证规范编写难题，提出KaPilot多智能体框架，经轻量级分析、智能体协作及循环优化、策略筛选确定最佳规范，评估显示其在规范生成成功率和质量上优于AutoSpec。