arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-07-07 至 2026-07-07 共收录 8 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. AI治理与伦理 8 篇

2604.16870 2026-07-07 cs.CR cs.AI cs.OS 版本更新 79%

Governed MCP: Kernel-Level Tool Governance for AI Agents via Logit-Based Safety Primitives

受控MCP:通过基于logit的安全原语实现AI代理的内核级工具治理

Daeyeon Son

机构 * Independent Researcher(独立研究者)

专题命中 AI治理与伦理 :safety(title,abstract);分类 cs.AI

AI总结 本文提出 Governed MCP,一种基于logit的安全原语的内核级工具治理网关,通过六层管道对MCP工具调用进行安全检查,提升AI代理的安全性。

Comments 14 pages, 6 tables. Companion paper to arXiv:2604.11943 (ProbeLogits)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04249 2026-07-07 cs.CV 新提交 78%

Beyond Random Sampling: Distribution-Aware Alignment for Semi-Supervised Medical Image Segmentation

超越随机采样:用于半监督医学图像分割的分布感知对齐

Weihao Yan, Yeqiang Qian, Yi Dong, Ming Yang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院) Department of Ultrasound, Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属新华医院超声科)

专题命中 AI治理与伦理 :alignment(title,abstract)

AI总结 研究针对半监督医学图像分割中随机采样策略在低数据量时表征偏差的问题,提出基于分布对齐的高效框架,用分布感知样本选择策略和记忆引导复制粘贴模块,提升分割性能。

Comments 19 pages, 5 figures, accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.18236 2026-07-07 cs.CY 版本更新 70%

Two Means to an End Goal: Connecting Explainability and Contestability in the Regulation of Public Sector AI

实现目标的两种方式:在公共部门人工智能监管中连接可解释性与可争议性

Timothée Schmude, Mireia Yurrita, Kars Alfrink, Thomas Le Goff, Sebastian Tschiatschek, Tiphaine Viard

专题命中 AI治理与伦理 :alignment(abstract);trustworthy(abstract);分类 cs.CY

AI总结 探讨公共部门人工智能监管中可解释性与可争议性,通过对14位专家访谈研究其交叉与实施,明确相关差异及实现难点,从设计角度为人工智能政策提三条建议。

Comments 19 pages main text, 4 figures. Supplementary material is provided

Journal ref Proceedings of the 2026 ACM Conference on Fairness, Accountability, and Transparency (pp. 3078-3104). Association for Computing Machinery

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.04569 2026-07-07 cs.CE 版本更新 67%

Industrial Data-Service-Knowledge Governance: Toward Integrated and Trusted Intelligence

工业数据-服务-知识治理:迈向集成与可信智能

Hailiang Zhao, Ziqi Wang, Daojiang Hu, Mingyi Liu, Jiahui Zhai, Kai Di, Xinkui Zhao, Zhongjie Wang, Jianwei Yin, Albert Zomaya, MengChu Zhou, Shuiguang Deng

专题命中 AI治理与伦理 :alignment(abstract);trustworthy(abstract)

AI总结 针对人工智能等融合加速工业智能发展但治理机制碎片化问题,提出TRISK框架,基于五维信任模型,综合多研究等探讨数据、服务、知识治理,还讨论实施模式等并勾勒未来研究路线图。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05163 2026-07-07 cs.CY cs.AI 新提交 62%

Open Problems in AI Incident Governance

AI事件治理中的开放问题

Harleen Kaur Sidhu, Rebecca Scholefield, Nour Annan, Kevin Hernandez, Isabel Nieh Hou, Abdulrahman Alshaikhi, Ze Shen Chin, Rokas Gipiškis

机构 * Independent(独立) Sorbonne University(索邦大学) Rice University(里奇大学) Columbia University(哥伦比亚大学) AI Standards Lab(人工智能标准实验室) Vilnius University(维尔纽斯大学)

专题命中 AI治理与伦理 :safety(abstract);分类 cs.AI、cs.CY

AI总结 针对部署后AI系统的未预期故障,该研究梳理现有AI事件治理框架,发现其在定义、分类等方面缺乏一致性,为后续相关规范完善提供参考。

Comments Accepted to ICML Technical AI Governance Research workshop 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03510 2026-07-07 cs.SE cs.AI cs.CY 新提交 62%

CAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AI

CAGE-1:企业智能代理人工智能的控制、保证和治理评估

Roopam W. Sure

机构 * Independent technical report(独立技术报告)

专题命中 AI治理与伦理 :safety(abstract);分类 cs.AI、cs.CY

AI总结 研究企业人工智能从实验转向运营工作流带来的评估问题,介绍CAGE-1评估框架,评估多方面内容,引入预绑定保证,用于判断企业代理是否可部署。

Comments 17 pages, 3 figures; independent technical report

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03542 2026-07-07 cs.CY 新提交 57%

Macro-Prudential AI Governance: A Two-Layer Early Warning and Response System for Frontier AI

宏观审慎人工智能治理:前沿人工智能的双层预警与响应系统

Pranav Mehta

专题命中 AI治理与伦理 :alignment(abstract);分类 cs.CY

AI总结 针对前沿人工智能治理问题,借鉴巴塞尔协议III框架等,提出宏观审慎预警与响应系统。通过A层特定流程和B层定量指标校准控制,能检测风险积累并设应对途径。

Comments 14 pages, 1 figure, 1 table. Accepted at the Second Workshop on Technical AI Governance Research (TAIGR 2026) at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12502 2026-07-07 physics.soc-ph cs.AI 新提交 57%

A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints

价值的数学理论:资源约束下目标导向行为的综合

Cheng Qian

机构 * Cheng Qian(陈倩)

专题命中 AI治理与伦理 :alignment(abstract);分类 cs.AI

AI总结 本文提出价值是目标导向主体在资源约束下转化资源为目标进度的速率,通过尺度不变性公理导出对数度量,并推导出价值编码定理,实现价值与信息论的统一。

Comments Also available at https://doi.org/10.5281/zenodo.20487041 (v6). v2: the pre-registered continuation-gate experiment has been run -- prediction (i) confirmed on real frontier agents; prediction (ii) retired to mathematical scope. Code, pre-registrations, and raw run records: https://github.com/macrokit/value

详情

展开后加载摘要…

URL PDF HTML 收藏