大模型对齐与安全

The 2026 Singapore Consensus on Global AI Safety Research Priorities

2026年新加坡全球AI安全研究优先事项共识

Stephen Casper, Oskar Galeev, Yoshua Bengio, Mohan Kankanhalli, Lee Wan Sie, Tegan Maharaj, Chris Meserole, Luke Ong, Stuart Russell, Dawn Song, Max Tegmark, Brian Tse, Xue Lan, Andrew Yao, Zhang Ya-Qin, Zhou Bowen, Imane Bello, Kwan Yee Ng, Vanessa Wilfred, Erica Liaw, Lee Chein Inn, Lin Wanxuan, Ng En Qi, Jonathan Lee, José Villalobos, Abhishek Aggarwal, Adam Gleave, Alan Chan, Alex Leung, Alvin Kwock, Anthony Tung, Arisa Siong, Arthur Tea, Ben Bucknall, Benjamin Weinstein-Raun, He Bing Sheng, Liu Bo, Bryan Kian Hsiang Low, Chris Ngo, Clement Neo, Cyrus Hodes, Dan Hendrycks, Daniel Ross, Liu Dapeng, Denise Wong, Djordje Zikelic, Elham Tabassi, Fabien Le Voyer, Fazl Barez, Gabriel Nicholas, Henry Papadatos, Jaan Tallinn, James Petrie, Xu Jia, Shao Jing, Jonathan Barry, Julia Chen, Sun Jun, Karson Elmgren, Kat Lyness, Katherine Lee, Kristy Loke, Lee Kwee Geak, Leslie Teo, Meng Ling Yu, Lisa Soder, Madhulika Srikumar, Malcolm Murray, Mark Brakel, Mark Nitzberg, Mary Phuong, Matthew Jagielski, Max Fenkell, Miro Plueckebaum, Kim Myuhng Joo, Hu Naying, Neil Davison, Nicolas Miailhe, Niki Iliadis, Nur Syahidah Sahrom, Ong Chen Hui, Pradeep Varakantham, Rebecca Finlay, Renata Dwan, Robert Opp, Rumman Chowdhury, Saad Siddiqui, Sabina Nong, Sam Ramadori, Sami Jawhar, Samuel Boger, Sara Hooker, Ying Shao Wei, Sebastian Hallensleben, Shinyuk Kang, Sophie Toura, Sreejith Balakrishnan, Stephanie Kasaon, Stephen Clare, Summer Yue

专题命中 AI治理与伦理 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CY

AI总结 该研究基于第二届AI安全国际科学交流成果，发布2026年新加坡全球AI安全研究优先事项共识，聚焦技术AI安全、社会韧性及自主AI智能体风险管理，为全球AI安全研究提供方向。

Comments Available at this https URL (https://aisafetypriorities.org/)

SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation

SafeGesture：通过场景条件安全解释评估视觉语言模型的细粒度手势理解能力

Taegang Kim, Saleh Afroogh, Junfeng Jiao

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Urban Information Lab, The University of Texas at Austin（德克萨斯大学奥斯汀分校城市信息实验室） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)

AI总结 本文提出SafeGesture基准，评估5款视觉语言模型的细粒度手势安全理解能力，发现模型存在感知与推理脱节，瓶颈为场景条件安全推理而非手势识别。

Comments 14 pages, 22 tables, 2 figures. Code and benchmark resources available at this https URL (https://github.com/The-Responsible-AI-Initiative/SafeGesture)

The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

伦理决策头：基于人类反馈的强化学习在自动驾驶中实现规范伦理

Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi

机构 * Stony Brook University（石溪大学） 纠错

专题命中 AI治理与伦理 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.LG

AI总结 本文提出伦理决策头（EDH）框架，结合PPO与人类偏好奖励模型，在CARLA仿真中训练自动驾驶智能体，发现人类对自动驾驶伦理的理论规定与实践奖励存在差异。

Position: AI Lock-In Is in Progress, and We Must Be Prepared

立场：AI锁定正在发生，我们必须做好准备

Jaeho Kim, Seokhyun Lee, Jieun Lee, Changhee Lee

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 该研究指出AI锁定是被低估的AI安全风险，分析其在个体、社会、国家层面的形成与升级机制，提出需提前应对以维护自主权与国家安全。

Comments ICML 2026 Position Track Spotlight

ETHOS: Towards a Modular Ethics Framework for Clinical Multi-Agent Systems

ETHOS：面向临床多智能体系统的模块化伦理框架

Rakesh Sharma, Sydney Pugh, Cameron Beeche, Pankhuri Singhal, Rachel Wu, Margaret Eby, Jeffrey Duda, James Gee, Kyra O'Brien, Hersh Sagreiya, Marina Serper, Victoria Gershuni, Angela Bradbury, Anurag Verma, Eric Eaton, Kevin B. Johnson, Walter Witschey

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 ETHOS是可与现有临床多智能体系统集成的模块化伦理框架，通过分层治理提升决策可靠性，将AI伦理原则转化为可部署的安全保障。

Comments Preprint of an article submitted for consideration in Pacific Symposium on Biocomputing \textcopyright\ 2027 World Scientific Publishing Company. \url{ this https URL (https://psb.stanford.edu/) }

The Fake Friend Dilemma: Relational Trust and the Political Economy of Conversational AI

虚假朋友困境：信任与对话AI的政治经济学

Jacob Erickson

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出虚假朋友困境框架，探讨拟人化AI如何通过隐蔽手段影响用户自主权，分析其在信任与政治经济学中的作用。

Comments Manuscript under review

Think Inside the Chunk: RegulaRAG for Regulation-Compliant Scenario Generation using LLMs: A Case Study of UN Regulation No. 152

在块内思考：使用大语言模型生成符合法规的场景的RegulaRAG——以联合国第152号法规为例

Vahid Zolfaghari, Nenad Petrovic, AndrÉ Schamschurko, Alois Knoll

机构 * Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI

AI总结 针对LLMs难以结合冗长分层标准的问题，提出RegulaRAG流水线，经实验其在UN R152数据集上元分数最高且鲁棒性强，优于基线系统。

Incoherent by Design? On the Moral Self-Consistency of LLMs

天生不连贯？大型语言模型的道德自我一致性研究

Pegah Nokhiz, Aravinda Kanchana Ruwanpathirana, Helen Nissenbaum

机构 * Cornell University（康奈尔大学） ； Cornell Tech（康奈尔科技学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI

AI总结 本研究针对GPT、Mistral、Llama等LLM，在义务论等三大伦理框架下，发现其道德推理存在最高78%的矛盾率，内部不连贯是AI对齐的必要前提。

Comments 88 pages; pages 16 to 88 are the appendix

Organizational Control Layer: Governance Infrastructure at the Execution Boundary of LLM Agent Systems

组织控制层：LLM代理系统执行边界的治理基础设施

Tianyu Shi, Yang Mo, Yiou Liu, Zhuonan Hao, Yin Wang, Wenzhuo Hu, Nan Yu, Meng Zhou, Jiangbo Yu

专题命中 AI治理与伦理 ：safety(abstract)

AI总结 针对LLM代理在执行边界产生的动作治理问题，提出组织控制层（OCL），通过策略执行和升级机制拦截生成动作，在不修改底层LLM生成器的情况下将不安全执行从88%降至接近零，同时将有效成功率从12%提升至96%。

Comments 13 pages, 2 figures