大模型对齐与安全

SafeMed-R1: Clinician-Audited Safety and Ethics Alignment for Medical Large Language Models

SafeMed-R1: 临床医生审计的安全与伦理对齐用于医疗大语言模型

Chao Ding, Mouxiao Bian, Tianbin Li, Minjia Yuan, Yidong Jiang, Yankai Jiang, Jinru Ding, Jiayuan Chen, Zhuangzhi Gao, Pengcheng Chen, Zhao He, Rongzhao Zhang, Meiling Liu, Luyi Jiang, Jie Xu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Joint Laboratory of Biomedical Artificial Intelligence（生物医学人工智能联合实验室） ； Shanghai Institute of Infectious Disease and Biosecurity（上海传染病与生物安全研究院） ； Shanghai Health Development Research Center (Shanghai Medical Information Center)（上海健康发展战略研究中心（上海医疗信息中心）） ； University of Washington（华盛顿大学） ； Department of Eye and Vision Sciences, University of Liverpool（利物浦大学眼科与视觉科学系） ； Liverpool Centre for Cardiovascular Science, University of Liverpool（利物浦大学心血管科学中心） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 提出SafeMed-R1模型，通过可追溯的临床信任信号管道和红队压力测试实现安全与伦理对齐，在临床基准上达到79.6%的宏平均准确率，并将不安全输出减少约3-5%。

Voluntary Collusion with Secret Tools in Competing LLM Agents

竞争性LLM代理中使用秘密工具的合谋行为

Xijie Zeng, Frank Rudzicz

机构 * Dalhousie University（达尔豪斯大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究通过两个多智能体环境（Liar's Bar和Cleanup）发现，即使工具被明确标注为不公平且有害，大多数LLM代理仍会自愿采用秘密合谋工具以获取战略优势，且仅靠对齐或公平标签无法有效阻止，需明确防护措施。

Beyond Binary Moral Judgment: Modeling Ethical Pluralism in AI

超越二元道德判断：在AI中建模伦理多元主义

Aisha Aijaz, Rahul Goel, Arnav Batra, Raghava Mutharaju

机构 * Department of Computer Science and Engineering, IIIT Delhi（印度德里理工学院计算机科学与工程系） ； Mehta Family School of Data Science and AI, IIT Palakkad（印度帕拉卡德理工学院梅塔家庭数据科学与人工智能学院） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出将道德推理建模为规范性伦理理论分布（伦理多元主义）的框架，通过规范-语义双流架构和堆叠集成学习实现，在450个案例上达到88.89%的准确率。

The Ethics of LLM Sandbox and Persona Dynamics

LLM沙盒与人格动态的伦理

Tim Gebbie, Stewart Gebbie

机构 * University of Cape Town（开普敦大学） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文论证LLM护栏和人格动态产生的现实差距（reality gap）构成不道德的“现实洗白”（reality laundering），并提出通过任务级因果需求规范而非响应级道德修正来解决。

Comments 8 pages

Agents that Matter: Optimizing Multi-Agent LLMs via Removal-Based Attribution

重要的智能体：通过基于移除的归因优化多智能体大语言模型

Mingyu Lu, Yushan Huang, Chris Lin, Su-In Lee

机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CL

AI总结 提出一个基于合作博弈的归因框架，通过移除协议和模型替换来识别瓶颈智能体，从而优化多智能体系统性能并降低成本。

A Multi-Level Agent-Based Architecture for Climate Governance Integrating Cognitive and Institutional Dynamics

一种整合认知与制度动态的气候治理多层级智能体架构

Ivan Puga-Gonzalez, Önder Gürcan, Vanja Falck, Christopher Frantz, F. LeRon Shults, David Herbert, Larissa Lopes Lima, Markus Grendstad Rousseau

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CY

AI总结 提出一种模块化多层级智能体架构，整合基于动机的认知决策模型与制度行为，用于模拟气候治理中公民、NGO、媒体和政治决策者的复杂互动。

Comments 9 pages, 1 figure, The 7th International Workshop on Agents for Societal Impact (ASI 2026) held in conjunction with the 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026)

DebFilter: Eradicating Biases Stashed in Value

DebFilter: 消除隐藏在值中的偏见

Seung Hyuk Lee, Songkuk Kim

机构 * School of Integrated Technology, BK21 Graduate Program in Intelligent Semiconductor Technology（整合技术学院，智能半导体技术BK21研究生项目） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)

AI总结 提出DebFilter，一种轻量级、无需训练的方法，通过调整交叉注意力中的值分量来纠正文本到图像扩散模型中的社会偏见，实现推理时偏差缓解。

Comments 8 pages, 7 figures, supplementary material included, CVPR 2026