大模型对齐与安全

Magic, Madness, Heaven, Sin: LLM Output Diversity is Everything, Everywhere, All at Once

魔术、疯狂、天堂、罪恶：LLM输出多样性无处不在

Harnoor Dhingra

机构 * Microsoft（微软） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出Magic, Madness, Heaven, Sin框架，从四个规范性场景分析LLM输出多样性，揭示任务目标对输出多样性的影响，强调需基于任务目标进行多样性评估。

Comments Under review

When to ASK: Uncertainty-Gated Language Assistance for Reinforcement Learning

何时提问：用于强化学习的不确定性门控语言帮助

Juarez Monteiro, Nathan Gavenski, Gianlucca Zuin, Adriano Veloso

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ASK方法，通过结合小型语言模型和训练好的RL策略，提升模型在分布外任务中的泛化能力，通过不确定性门控机制选择性利用语言模型进行决策，实验显示其在迁移任务中表现稳健。

Comments In Proceedings of International Joint Conference on Neural Networks (IJCNN)

BIOGEN: Evidence-Grounded Multi-Agent Reasoning Framework for Transcriptomic Interpretation in Antimicrobial Resistance

BIOGEN：基于证据的多智能体推理框架用于抗菌药物耐药性中的转录组解释

Elias Hossain, Mehrdad Shoeibi, Ivan Garibay, Niloofar Yousefi

机构 * College of Engineering and Computer Science, University of Central Florida（中佛罗里达大学工程与计算机科学学院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 BIOGEN通过结合生物信息检索、结构化推理和多批评验证，生成可追溯的转录组模块解释，其在抗菌药物耐药性研究中表现出强生物学基础和零幻觉率。

AutoPK: Leveraging LLMs and a Hybrid Similarity Metric for Advanced Retrieval of Pharmacokinetic Data from Complex Tables and Documents

AutoPK：利用大语言模型和混合相似性度量进行药代动力学数据的高级检索

Hossein Sholehrasa, Amirhossein Ghanaatian, Doina Caragea, Lisa A. Tell, Jim E. Riviere, Majid Jaberi-Douraki

机构 * Kansas State University（堪萨斯州立大学） ； University of California-Davis（加利福尼亚大学戴维斯分校） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 AutoPK通过大语言模型和混合相似性度量，实现了从复杂表格和文档中高效提取药代动力学数据，显著提升了精度和召回率，适用于兽医药理学和公共卫生决策。

Comments Published in IEEE ICTAI 2025

The Illusion of AI Expertise Under Uncertainty: Navigating Elusive Ground Truth via a Probabilistic Paradigm

人工智能专家能力的幻觉：通过概率范式导航 elusive 的真实地面真相

Aparna Elangovan, Lei Xu, Mahsa Elyasi, Ismail Akdulum, Mehmet Aksakal, Enes Gurun, Brian Hur, Saab Mansour, Ravid Shwartz Ziv, Karin Verspoor, Dan Roth

机构 * Independent Researcher（独立研究员） ； Amazon（亚马逊） ； Gazi University（加齐大学） ； University of Colorado（科罗拉多大学） ； Samsun University（萨姆松大学） ； The University Of Melbourne（墨尔本大学） ； New York University（纽约大学） ； RMIT University（皇家墨尔本理工大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 本文提出概率范式，揭示高置信度真实答案对专家高分的必要性，指出在真实答案变化大的数据集中，随机标注者与专家表现差异不大，强调在低专家表现时，按真实答案概率分层评估至关重要。