大模型对齐与安全

Safety, Security, and Cognitive Risks in World Models

世界模型中的安全性、安全性和认知风险

Manoj Parmar

机构 * SovereignAI Security Labs（SovereignAI安全实验室） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了世界模型在自主决策中的安全、安全及认知风险，提出了轨迹持久性和表征风险的定义，并通过实验验证了对抗攻击的效果，强调了对世界模型的严谨性要求。

Comments version 2, 29 pages, 1 figure (6 panels), 3 tables. Empirical proof-of-concept on GRU/RSSM/DreamerV3 architectures

Reciprocal Trust and Distrust in Artificial Intelligence Systems: The Hard Problem of Regulation

人工智能系统中的互惠信任与不信任：监管的难题

Martino Maggetti

机构 * Institute of Political Studies (IEP), University of Lausanne（洛桑大学政治研究所） 纠错

专题命中 AI治理与伦理 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 本文探讨人工智能系统信任与不信任的互惠动态，提出应将AI视为可行使代理的工具，分析其对监管的影响及未来监管面临的挑战。

Who Governs the Machine? A Machine Identity Governance Taxonomy (MIGT) for AI Systems Operating Across Enterprise and Geopolitical Boundaries

谁掌控机器？面向跨企业与地缘政治边界的AI系统机器身份治理分类（MIGT）

Andrew Kurtz, Klaudia Krawiecka

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出AI身份风险分类（AIRT）和机器身份治理分类（MIGT），解决AI系统中机器身份治理的空白，涵盖37个风险子类，同时应对技术、合规和跨司法管辖区协调的缺口。

Comments 75 pages (excl. references), 2 tables. Addresses policy makers, regulators, and practitioners at the intersection of AI governance, cybersecurity, and geopolitical risk

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

通过KL优化微调控制多轮LLM生成的分布偏倚

Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

机构 * University of Melbourne（墨尔本大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Oracle（甲骨文公司） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出通过KL优化微调结合语义对齐的方法，解决多轮LLM生成中分布控制问题，实验显示其在属性生成任务中表现优异。

Comments Accepted at ACL Main Conference