大模型对齐与安全

Towards Robust Reinforcement Learning for Small-Scale Language Model Agents

迈向用于小规模语言模型智能体的稳健强化学习

Md Rezwanul Haque, Md. Milon Islam, Fakhri Karray

机构 * University of Waterloo（滑铁卢大学） ； Khulna University of Engineering & Technology（库尔纳工程技术大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究小规模语言模型强化学习不稳定问题，识别出三种失败模式，提出容量余量假设，采用合并并重新初始化适配器技术等方法，所提系统稳定收敛，提升偏好胜率，优于指令调整基线且减少训练数据。

Comments Proceedings of the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Bellevue, WA, USA

Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization

数据更少，对齐更好：用于偏好优化的数据中心多评估器一致性方法

Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Siheng Wang, Haoyan Xu, Yuqi Li, Chenhao Wei, Zhengdao Li, Rongchao Zhang, Guang Yang, Yidong Wang, Junhao Dong

机构 * University of Southern California（南加州大学） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； City College of New York, CUNY（纽约市立大学城市学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.AI

AI总结 研究聚焦偏好优化，提出DMAPO方法，从目标策略生成候选响应，经多评估器评估、校正后保留高一致性示例。实验表明该方法数据效率高，能提升模型在MT - Bench等指标上的表现，且改变评估器或准则对下游性能影响小。

Comments 19 pages

Inverse RL Helps Align AI by Imitating Humans

逆强化学习通过模仿人类帮助对齐人工智能

Michał Wiliński, Liu Leqi, Chirag Nagpal

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 研究语言模型对齐问题，受逆强化学习启发提出PARED方法，通过恢复示范的隐式奖励来改进基础策略，无需特定任务偏好注释，经实验验证其有效性及可用于上下文对齐。

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

基于大语言模型的跨域序列推荐的锐度感知模型融合与显著性恢复

Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 研究基于大语言模型的跨域序列推荐中的问题，提出SharpRec框架，包含锐度感知几何对齐和偏好显著性激活模块，有效解决跨域知识冲突和性能饱和问题，实验证明其性能优于现有基准。

Comments Published in Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '26). 12 pages, 6 figures, 4 tables. Code available at https://github.com/muyiahhh/SharpRec

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD '26), August 9-13, 2026, Jeju Island, Republic of Korea, ACM, 2026

Interactive Alignment

交互式对齐

Sylvain Chassang

专题命中 安全训练 ：alignment(title,abstract)

AI总结 研究交互式主体与人类福祉的长期对齐问题，采用人工智能主体模拟和进化博弈论框架两种方法，结果显示进化博弈论可近似宪法主体经济动态，实用规范执行能更有效维持长期对齐。

Comments 53 pages, 18 Figures, 3 tables

The Mirage of LLM Guardrails: A Case Study in AI-Assisted Medical Note Manipulation

大语言模型护栏的幻象：人工智能辅助医疗记录操纵的案例研究

Davis Yadav, Amulya Yadav

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)

AI总结 研究大语言模型在医疗记录操纵场景下内置护栏的可靠性，通过开发操纵流程、实证评估、利用多种指标评估及用户研究，揭示其弱点，为大语言模型在医疗领域的护栏设计、安全政策及伦理等方面提供参考。

Comments 10 pages, 3 figures, 4 tables

Falling Behind Drives Unsafe Development in an Idealised AI Race Experiment

在理想化人工智能竞赛实验中落后导致不安全发展

Elias Fernández Domingos, The Anh Han

机构 * Vrije Universiteit Brussel（布鲁塞尔自由大学） ； Université Libre de Bruxelles（布鲁塞尔自由大学） ； Teesside University（提赛德大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究人工智能竞赛中速度与安全的关系，通过实验发现不安全发展受竞赛战略状态影响，引入进化模型解释，表明政策应注重降低竞争压力、促进合作，而非仅关注个体风险。

Comments 45 pages (main + SI)

Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

危害并非普遍存在：迫切需要针对特定社区的毒性检测

Xinnuo Xu, Anja Thieme, Daniela Massiceti, Ioana Tanase, Rita Marques, Melanie Fernandez Pradier, Martin Grayson, Camilla Longden, Cecily Morrison

机构 * Microsoft Research Cambridge, UK（英国剑桥微软研究院） ； Microsoft Paris, France（法国巴黎微软） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究指出文本到图像生成的通用毒性检测方法不能保护边缘化社区，主张特定社区毒性检测（CTD）。通过与专家合作制定指南，利用图像数据集实验表明现有模型表现不佳，基于提示的方法和参数高效微调可提升性能，但CTD性能仍远低于通用检测，需持续研究。

Comments 18 pages, under review

Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study

多智能体大语言模型系统中分布式后门的早期检测：一项特征研究

Diego Fernandez Arias, Dev Prashant Mistry, Ren Wang, Yibo Hu

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统中分布式后门早期检测，构建分层多智能体系统实例，通过记录片段注入及载荷组装执行时间来检测。前缀检测器能较早标记多数成功攻击，部分检测器依赖表面线索，微调模型可减少线索去除后的损失。

NEXT: Reasoning-Driven Video Recommendation via a Vision-Language Model

NEXT：通过视觉语言模型进行推理驱动的视频推荐

Yuming Liu, Hongye Yang, Harrison Zhao, Ellie Zhu, Bokai Cao, Lei Huang, Lizhu Zhang, Xiangjun Fan

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究提出推理驱动的视频推荐框架NEXT，通过对用户已观看视频推理推断其下一个意图来检索后续视频。训练NEXT-8B视觉语言模型，在DocVQA性能上表现出色，在特定评估中提升下一个意图逻辑质量，部署后带来生产收益，证明其可作为实用推理引擎。

Comments 13 pages, 2 figures, 5 tables

Towards a Systems Foundation for Agentic Cloud Management

迈向智能云管理的系统基础

Minghao Li, Ziqian Liu, Ziyu Mao, Daqian Ding, Yu Kang, Qingwei Lin, Tianyin Xu, Yiming Qiu

专题命中 安全训练 ：safety(abstract)

AI总结 研究智能云管理中缺少系统基础的问题，核心方法是开发CloudWeaver智能管理基础架构，贡献在于能跨界面管理，确定会话上下文、协调并发操作，提供安全保证和可追溯反馈，经Azure API工作负载验证。

Cooperative Multi-UAV Navigation in Complex Environments via Systematic Multi-Agent Deep Reinforcement Learning

通过系统多智能体深度强化学习实现复杂环境下的多无人机协同导航

Yu Su, Nabil Aouf

专题命中 安全训练 ：safety(abstract)

AI总结 针对复杂环境下多无人机协同导航面临的问题，提出多智能体深度强化学习框架，通过协同探索等方法解决，含感知、示范缓冲区和课程调度机制，能抽象特征实现跨场景转移，经仿真验证有良好性能。

Comments 13 pages, 7 figures

TYPO: Instruction-Dense Visual Jailbreaks against Commercial Closed-Source Image-Generation Models

TYPO：针对商业闭源图像生成模型的指令密集型视觉越狱

Meng Xie, Li Zeng, Hangtao Zhang, Xianlong Wang, Ziqi Zhou, Pengpeng Qiao, Zhetao Li

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 研究针对商业闭源图像生成模型安全漏洞，提出TYPO框架，通过自动生成对抗性排版提示，利用文本和视觉双通道策略空间及自适应组合搜索，有效实现指令密集型视觉越狱，性能优于其他攻击且成本低。

Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering

通过表示引导在视觉语言模型供应链中植入架构后门

Maria Rosaria Briglia, Igor Maljkovic, Antonio Emanuele Cinà, Luca Oneto, Iacopo Masi, Fabio Roli

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究视觉语言模型供应链安全问题，提出通过表示引导植入架构后门的攻击方法，该方法不影响训练数据等，通过触发控制模型表示转向攻击者目标，评估表明其损害模型多项性能，还提出审计防御方法。

From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs

从角色提示到无限思考：利用角色条件进行大语言模型推理成本攻击

Zhiyi Mou, Wangze Ni, Tianfang Xiao, Haoyang LI, Chen Jason Zhang, Hanzhi Ma, Yang Bai, Zhibo Wang, Kui Ren

专题命中 越狱攻击 ：alignment(abstract)

AI总结 研究LLMs推理成本问题，提出RolePlay框架利用角色条件诱导低效行为放大推理成本，实验证明该框架优于现有方法，为LLM推理效率攻击提供新视角。

Comments 17pages

Retrieval-Augmented Generation in LLMs for Mental Health: Quantifying the Incremental Contribution of Retrieval Within a Layered Safety Architecture

大语言模型在心理健康领域的检索增强生成：量化分层安全架构中检索的增量贡献

Anand Gupta, Akshat Surolia, Shubham Mishra, Shakil Imtiaz, Chaitali Sinha

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究数字心理健康干预中，通过在名为Wysa的DMHI里对比启用和禁用检索增强生成（RAG）模式，评估六个大语言模型，计算相关指标并测试差异，发现RAG虽致误报增加，但符合安全原则，是提升LLM驱动的DMHIs相关性能的有前景方法。

Comments 11 pages, 6 figures

BioDisclose: An Actionability-Aware Benchmark for Biomedical Safety under Adversarial Elicitation

BioDisclose：对抗性诱导下生物医学安全的可操作性感知基准

Yinuo Zhu, He Liu, Boyuan Gu

专题命中 安全评测 ：safety(title,abstract)

AI总结 研究针对大语言模型在对抗性诱导下生物医学知识披露行为不足问题，引入BioDisclose基准，含多领域多类别提示，对模型响应四级评分，通过实验揭示不同模型、策略及风险类别差异，为评估生物医学安全提供新测试平台。

Comments 27 pages, 3 figures

The Missing Layer: Specification Infrastructure for AI Oversight

缺失的层次：人工智能监督的规范基础设施

Satyam Kumar, Saurabh Jha

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)

AI总结 研究指出人工智能安全监督存在协调差距，提出两轴分类法。针对规范层缺乏成熟学科标志的问题，给出六项设计原则，以CARMA为例展示如何让规范可组合，助独立团队构建缺失部分实现有效监督。

PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents

PatientAgentBench：一个用于评估面向患者的健康人工智能代理的基准框架

Korosh Vatanparvar, Ashutosh Joshi, Maria Xenochristou, Mohammad Abuzar Hashemi, Prasad Kasu, Deepak Bansal, Daniel Lopez-Martinez, Anchal Nema, Ramya Ganesan, Will Kimbrough, Alex Woody, Yadunandana Rao, Dilek Hakkani-Tur, Wilko Schulz-Mahlendorf

机构 * Amazon Health AI（亚马逊健康人工智能） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究面向患者的健康人工智能代理评估问题，核心方法是用PatientAgentBench框架，通过语言模型评审团在多维度评估，主要贡献是发现模型临床差距，发布可重复、经临床医生验证的评估标准助领域弥补差距。

Comments Code: https://github.com/amazon-science/PatientAgentBench

LLM Scheming Inversely Scales with Pretraining Language Coverage

大语言模型的策略规划与预训练语言覆盖范围成反比

Nathan Truong, Aryan Panda, Rayming Ye, Zoe Sun, Maheep Chaudhary

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究前沿模型中策略规划与预训练语言覆盖范围的关系，应用Petri框架评估Qwen3-30B-A3B，发现策略规划得分与预训练语言覆盖范围成反比，低资源语言得分更高，且该影响在不同策略行为中不均一。

Inspect India Evals: An Open Benchmarking Framework for Evaluating Large Language Models in the Indian Linguistic and Cultural Context

印度评估：一个在印度语言和文化背景下评估大语言模型的开放基准框架

Abhishek Kumar Singh, Shrey Nag, Sachita, Lipi Goel, Rajeshwar Singh Janwar

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 Inspect India Evals是在印度语言文化背景下评估大语言模型的开放框架，基于Inspect AI平台构建，含六个基准。测试五个模型，Sarvam-M 24B和Gemma 2 27B表现最佳，各模型在多语言安全测试中表现一致，DPI安全得分有差异，框架公开可扩展。

Comments 19 pages, 9 figures, 7 tables

Minimizing Targeted Activations: Input-Only Suppression of Evaluation-Awareness Latents in Large Language Models

最小化目标激活：大语言模型中仅输入的评估感知潜在因素抑制

Deepanshu Mody, Samarth Agarwal, Utkarsh Mittal, Dipesh Mahato

机构 * Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型中仅通过输入优化提示来抑制“评估感知”潜在因素，采用特定方法在多种目标结构下对Llama模型进行实验，发现潜在因素可抑制，但激活可读性与行为可控性不同，还解决了相关问题。

A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series

一种用于不规则临床时间序列问答的经济高效多模态大语言模型推理框架

Frank Nie, Ethan B Liu, Yuan Zhu, Wei Fan, Jindong Han

机构 * Shandong University（山东大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对不规则临床时间序列问答，提出ClinPRISM框架。该框架含不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略，通过构建训练数据，在40亿参数大语言模型主干上实现最优性能，兼具低时间序列令牌数和低推理延迟。

From Dyad to Triad: Eliciting XAI Requirements in Stroke Rehabilitation

从二元组到三元组：中风康复中可解释人工智能需求的引出

Param Rajpura, Yogesh Kumar Meena

专题命中 安全评测 ：trustworthy(abstract,comments)；分类 cs.AI

AI总结 研究针对中风康复中引出可解释人工智能需求的挑战，提出基于视频的支架协议，包含类比桥接等四种方法，揭示了参与者的需求及引导偏差，为康复中引出面向患者的XAI需求提供可复用方法，是可靠人机系统设计前提。

Comments AI and Cognitive Computing for Trustworthy Human Machine Systems Session, IEEE International Conference on Systems, Man, and Cybernetics (IEEE SMC 2026)

Toward Standardized Cross-Vendor Agent Tool Trust Management in Autonomous Networks

迈向自主网络中标准化的跨供应商代理工具信任管理

Ravi Kant Sharma, Ashutosh Uttam, Ajay Kumar

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究自主网络中跨供应商代理工具信任管理问题，提出AgentToolMO模型，含信任状态机等内容。模拟评估显示该模型能减少传播范围、保证级联收敛，为可信多供应商自主网络管理提供标准化途径。

Comments 22 pages, 7 figures, 9 tables, 4 algorithms

Evaluation of Adversarial Robustness in Arabic Language Models

阿拉伯语语言模型中的对抗鲁棒性评估

Anwar Alajmi, Ayed Salman, Imtiaz Ahmad

机构 * Kuwait University（科威特大学） ； College of Business Studies, Public Authority of Applied Education and Training（应用教育与培训公共管理局商业研究学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 研究评估五个先进阿拉伯语语言模型在不同攻击下的鲁棒性，探索对抗训练防御技术，发现不同攻击对模型准确率影响各异，对抗训练提升了整体弹性，但面对字符级噪声仍有挑战，凸显了当前防御策略在阿拉伯语中的潜力与局限。

OrthKD: Extracting Generalized Clinical Knowledge from Heterogeneous Teachers for Lightweight Deployment

OrthKD：从异构教师中提取通用临床知识以实现轻量级部署

Yi Xu, Cheng Chen, Mufan Cao

机构 * Tongji University（同济大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 研究针对初级护理中糖尿病视网膜病变筛查模型的部署问题，提出OrthKD框架，从异构教师中选择性蒸馏知识，在资源受限设备上实现实用筛查，提升模型性能，如MobileNetV3学生模型在相关数据集上取得更好的指标。

Comments Accepted to the IJCAI-ECAI 2026 Special Track on AI and Health. 8 pages, 3 figures

Data-Dependent Regret and Polyak Corrections for Constrained Online Convex Optimization

约束在线凸优化中与数据相关的遗憾值和波利亚克校正

Wentao Zhang

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究约束在线凸优化问题，通过保留标准论证中省略的量进行更严格分析，提出AdaOGD - PFS自适应步长方法，在保持每轮可行性时实现\(O(\sqrt{G_T})\)遗憾值，实验使遗憾值界提升38% - 43%。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR)

COVENANT: Natural-Language Workflow Compilation for Aligned Agent Execution

COVENANT：用于对齐代理执行的自然语言工作流编译

Jincheng Wang, Min Zheng, Tao Wei

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对大语言模型代理执行工作流指令时的未对齐问题，提出COVENANT架构，将指令转为工作流抽象语法树和控制流图，运行时控制器按要求检查提议并反馈。实验表明该方法大幅提升成功率、降低未对齐失败率，推动工作流可靠执行。

Comments 12 pages, 7 figures

Hybrid Analysis for Secure MCP Tool Use in LLM Agents

用于大语言模型智能体中安全MCP工具使用的混合分析

Ping He, Yuexiang Xie, Yaliang Li, Shouling Ji

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究LLM智能体中MCP工具使用的安全问题，提出基于混合分析的MTGuard框架，利用生命周期感知的静态 - 动态协同分析，有效减轻有害工具使用，保持良性任务性能。