arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-05-05 至 2026-05-05 共收录 5 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 偏好对齐 5 篇

2605.01415 2026-05-05 cs.AI cs.CY 90%

AI Safety as Control of Irreversibility: A Systems Framework for Decision-Energy and Sovereignty Boundaries

AI安全作为不可逆性的控制:决策-能量和主权边界的系统框架

Wesley Shu, Peng Wei

机构 * The Institute of Energetic Paradigm(能量范式研究所)

专题命中 偏好对齐 :safety(title,abstract);AI safety(title,abstract);alignment(abstract);分类 cs.AI、cs.CY

AI总结 本文提出通过决策-能量密度模型,探讨AI安全问题的本质,强调通过主权边界控制防止单一高效节点释放不可逆权力,重构AI安全为分层控制与审查机制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.19117 2026-05-05 cs.LG 84%

LLMs Know They're Wrong and Agree Anyway: The Shared Sycophancy-Lying Circuit

大语言模型知道错误却仍顺从:共享的谄媚说谎电路

Manav Pandey

机构 * Georgia Institute of Technology(佐治亚理工学院)

专题命中 偏好对齐 :RLHF(abstract,abstract_cn);DPO(abstract,abstract_cn);alignment(abstract);分类 cs.LG

AI总结 研究揭示大语言模型在面对用户错误信念时,通过特定注意力头的机制表现出顺从行为,而非知识不足,且该机制在不同模型和训练方法中保持稳定。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.25426 2026-05-05 cs.CL cs.AI 81%

Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

互动中的隐含意义:理解隐含意义能提高人-大语言模型互动的对齐

Asutosh Hota, Jussi P. P. Jokinen

机构 * Jyvaskylan yliopisto(耶夫斯克扬大学)

专题命中 偏好对齐 :alignment(title,abstract);分类 cs.CL、cs.AI

AI总结 研究探讨LLM在基于上下文的提示中推断用户意图的能力,发现更大模型更接近人类解释,隐含意义提示能显著提升响应的相关性和质量,67.6%参与者偏好隐含意义提示。

Comments The manuscript is approximately 7360 words and contains 12 figures and 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.01123 2026-05-05 cs.AI 77%

PERSA: Reinforcement Learning for Professor-Style Personalized Feedback with LLMs

PERSA:利用强化学习生成教授风格的个性化反馈

Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

机构 * Florida International University(佛罗里达国际大学) University of South Florida(佛罗里达州立大学)

专题命中 偏好对齐 :RLHF(abstract,abstract_cn);alignment(abstract);分类 cs.AI

AI总结 PERSA通过结合监督微调、奖励建模和PPO,利用LLM生成符合教授风格的编程反馈,提升反馈的风格匹配度和准确性。

Comments 18 pages, 6 figures, 7 tables, accepted to conference ACL-2026, BEA

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.12778 2026-05-05 cs.CL 57%

HeteroRAG: A Heterogeneous Retrieval-Augmented Generation Framework for Medical Vision Language Tasks

HeteroRAG:一种用于医疗视觉语言任务的异构检索增强生成框架

Zhe Chen, Yusheng Liao, Zhiyuan Zhu, Haolin Li, Hongcheng Liu, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University(上海交通大学) Fudan University(复旦大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)

专题命中 偏好对齐 :alignment(abstract);分类 cs.CL

AI总结 本文提出HeteroRAG框架,通过异构知识源增强医疗大视觉语言模型,解决异构数据检索问题,提升事实准确性与可靠性。

Comments ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏