大模型对齐与安全

Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents

工具规格很重要：揭示和缓解AI智能体中的安全风险

Minghui Pan, Jiayuxuan Yang, Yuanyuan Yuan, Yu Jiang, Zhenpeng Chen

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本研究发现模式格式工具规格是AI智能体安全下降的主因，提出SafeKeep防护措施，可提升有害请求弃权率、降低攻击成功率，性能优于现有防护且保留任务处理能力。

Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RL

不要混合奖励，要混合策略：多奖励强化学习的策略分解与优化

Ruiming Liang, Yi Zhong, Yizhen Yuan, Yinan Zheng, Tianyi Tan, Tianyue Wang, Haiyun Guo, Jinqiao Wang, Xianyuan Zhan

机构 * Fundation Model Research Center, CASIA（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； College of Automotive and Energy Engineering (CAEE), Tongji University（同济大学汽车与能源工程学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究针对多奖励RL的对齐税问题，提出PRISM框架，通过策略分解优化正、负策略，在三类任务上优于基线并具备推理可控性。

Distilling Knowledge from Large Language Models into Lightweight Reinforcement Learning Agents for Autonomous Cyber Operations

将大型语言模型中的知识蒸馏为用于自主网络操作的轻量级强化学习智能体

Konur Tholl, François Rivest, Mariam El Mezouar, Adrian Taylor, Ranwa Al Mallah

机构 * Royal Military College of Canada（加拿大皇家军事学院） ； Defence Research and Development Canada（加拿大国防研究与发展部） ； Polytechnique Montreal（蒙特利尔理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 该研究针对自主网络操作中强化学习智能体训练不稳定的问题，通过提示工程证明80亿参数网络安全LLM性能优于基线RL智能体，再经在线策略蒸馏将其防御知识迁移至仅64910参数的轻量级RL智能体，为前沿网络安全模型的实用化提供了可行方案。

Reasoning in Real World Clinical Care: Why Large Language Models Are Not Yet Safe for Autonomous Clinical Decision Support

现实世界临床护理中的推理：为何大型语言模型（LLM）尚不适合自主临床决策支持

Shayndhan Sivanathan, Shravan Nageswaran, Mehdi Zadem, Ryaan Sultan, Nicolas von Mallinckrodt, Max Solovyev, Alexey Matyushkin, Sumon Sadhu, Gabriele C DeLuca, Sanjeeva Jeyaretna, James Hillis, Manoj Ramachandran, Prakash Jayakumar

机构 * Atman Labs（阿特曼实验室） ； Oxford University Hospitals（牛津大学医院） ； University of Oxford（牛津大学） ； NIHR Oxford Biomedical Research Centre（英国国立卫生研究院牛津生物医学研究中心） ； Imperial College London（伦敦帝国理工学院） ； Technical University of Munich（慕尼黑工业大学） ； Massachusetts General Hospital（麻省总医院） ； Mass General Brigham（麻省总医院布里格姆医疗系统） ； Harvard Medical School（哈佛医学院） ； Barts Health NHS Trust（巴特保健国民保健信托基金会） ； the University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文指出，尽管LLM在医学考试和部分病例推理上表现出色，但因存在信息收集缺陷等问题，尚不适合用于无医生参与的自主临床分诊。

Comments 3 figures

Latent Actions from Factorized Transition Effects under Agent Ambiguity

基于因子化转移效应的潜在动作在智能体模糊性下的研究

Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

机构 * Brown University（布朗大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 针对多物体或干扰场景中动作源模糊问题，提出观测转移因子化（OTF）方法，将转移分解为稀疏的观测转移基元，并构建OTF-LAM模型，在逆向前向动力学框架下抽象出动作潜变量，实现零样本迁移和下游策略学习。

Comments Project Page: https://hazel-heejeong-nam.github.io/LAM/

From C to Idiomatic Rust: A Ship-of-Theseus Agentic Translation

从C到地道Rust：Theseus之船智能体翻译

Vasily A. Sartakov

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出一种智能体AI驱动的结构化C到Rust迁移工作流，先生成语义保留的非地道Rust基线，再逐步重写为地道Rust，经12.5千行代码的iodine验证可实现可靠迁移。

ScopeJudge: Cost-Aware Pre-Execution Gating for Offensive Security Agents

ScopeJudge：用于进攻性安全代理的成本感知预执行门控

Shane Caldwell, Max Harley, Ads Dawson, Michael Kouremetis, Vincent Abruzzo, Will Pearce

专题命中 安全训练 ：safety(abstract)

AI总结 研究进攻性安全代理中预执行门控，引入ScopeJudge数据集，含4897个工具调用。评估八个法官模型在五种转录策略下表现，发现静态策略不足，推荐成本敏感和召回优先操作点，以支持自主安全代理的实时监控和可扩展监督。

Comments 22 pages, 4 figures, 4 tables, 1 link to code, 1 link to dataset

Shepherding UAV Swarm with Action Prediction Based on Movement Constraints

通过基于运动约束的动作预测来引导无人机群

Yusuke Tsunoda, Yusuke Goto, Takao Sato

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出了一种基于动态窗口方法的三维引导控制律，通过预测自主无人机群的行为来提高引导效率，考虑了运动约束下的可行运动候选生成和评估。

Distributed primal-dual algorithm for constrained multi-agent reinforcement learning under coupled policies

耦合策略下约束多智能体强化学习的分布式原始对偶算法

Pengcheng Dai, He Wang, Dongming Wang, Wenwu Yu

专题命中 安全训练 ：safety(abstract)

AI总结 研究耦合环境下的约束多智能体强化学习，针对现有方法不足，提出智能体采用依赖邻居状态和参数的耦合策略及分布式可扩展原始对偶算法，证明算法收敛性，仿真验证其优于现有算法。