大模型对齐与安全

Why Semantic Entropy Fails: Geometry-Aware and Calibrated Uncertainty for Policy Optimization

为何语义熵失效：面向策略优化的几何感知与校准不确定性

Zheyuan Zhang, Kaiwen Shi, Han Bao, Zehong Wang, Tianyi Ma, Yanfang Ye

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种新的策略优化框架GCPO，通过几何感知措施捕捉语义分歧，并利用基于奖励的校准对齐不确定性与学习信号强度，从而更准确地跟踪梯度变化并提升训练后性能。

Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications

自动化自我测试作为质量门：基于证据的LLM应用发布管理

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种自动化自我测试框架，通过五个实证基础的维度（任务成功率、研究环境保持、P95延迟、安全通过率和证据覆盖）实现基于证据的发布决策（PROMOTE/HOLD/ROLLBACK），并通过长期案例研究评估了该框架在多代理对话AI系统中的有效性。

Comments 20 pages, 6 figures, 12 tables

How can reasoning capability empower the AI copilot robot in endoscopic surgery

推理能力如何赋能内窥手术中的AI助手机器人

Guankun Wang, Long Bai, Hongliang Ren

机构 * Department of Electronic Engineering（电子工程系） 纠错

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文研究了推理能力在内窥手术中AI助手机器人中的应用，提出通过整合多模态线索、解读手术意图和推断隐藏组织动态来提高手术的精确性、安全性和可持续性。

Comments Accepted by npj digital medicine