arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

共收录 1732 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 幻觉与事实性 1732 篇

2402.09267 2024-06-12 cs.CL cs.AI 81%

Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation

Xiaoying Zhang, Baolin Peng, Ye Tian, Jingyan Zhou, Lifeng Jin, Linfeng Song, Haitao Mi, Helen Meng

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL、cs.AI

Comments 20 pages

Journal ref ACL2024 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.14535 2024-05-24 cs.CL cs.AI 81%

Exploring Alignment in Shared Cross-lingual Spaces

Basel Mousi, Nadir Durrani, Fahim Dalvi, Majd Hawasly, Ahmed Abdelali

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL、cs.AI

Comments ACL 2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.01525 2024-05-03 cs.CL cs.AI 81%

FLAME: Factuality-Aware Alignment for Large Language Models

Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL、cs.AI

详情

展开后加载摘要…

URL PDF HTML 收藏
2401.09459 2024-01-19 cs.CY cs.AI 81%

What's my role? Modelling responsibility for AI-based safety-critical systems

Philippa Ryan, Zoe Porter, Joanna Al-Qaddoumi, John McDermid, Ibrahim Habli

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI、cs.CY

Comments 22 pages, 7 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2308.12065 2023-08-24 cs.LG cs.AI cs.SE 81%

Ensembling Uncertainty Measures to Improve Safety of Black-Box Classifiers

Tommaso Zoppi, Andrea Ceccarelli, Andrea Bondavalli

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI、cs.LG

Comments To appear at ECAI23 in October23

详情

展开后加载摘要…

URL PDF HTML 收藏
2206.06838 2022-06-15 cs.SE cs.AI cs.LG 81%

Architectural patterns for handling runtime uncertainty of data-driven models in safety-critical perception

Janek Groß, Rasmus Adler, Michael Kläs, Jan Reich, Lisa Jöckel, Roman Gansch

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI、cs.LG

详情

展开后加载摘要…

URL PDF HTML 收藏
2012.10923 2021-03-04 cs.LG cs.AI stat.ML 81%

Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration

Christian Tomani, Florian Buettner

专题命中 幻觉与事实性 :trustworthy(title,abstract);分类 cs.AI、cs.LG

Comments In Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-2021). Code available at https://github.com/tochris/falcon

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28248 2026-07-31 stat.ML cs.LG 新提交 79%

Uncertainty quantification for trustworthy deep learning: Methods and measures

面向可信深度学习的不确定性量化:方法与度量

H. Martin Gillis, Thomas Trappenberg

专题命中 幻觉与事实性 :trustworthy(title);safety(abstract);分类 cs.LG

AI总结 本综述针对深度学习的不确定性量化,梳理五大类方法及相关任务,整合评估框架,还探讨大语言模型不确定性与开放研究方向,为可信深度学习提供结构化批判性参考。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.03314 2026-07-28 cs.CV cs.AI 版本更新 79%

From Camera-Based Sensing to Reasoning: A Comprehensive Review Toward Proactive Vulnerable Road User Safety

从基于摄像头的感知到推理:面向主动弱势道路使用者安全的全面综述

Shucheng Zhang, Yan Shi, Bingzhang Wang, Yuang Zhang, Muhammad Monjurul Karim, Kehua Chen, Chenxi Liu, Mehrdad Nasri, Yinhai Wang

机构 * University of Washington(华盛顿大学) University of Utah(犹他大学)

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI

AI总结 综述基于摄像头的主动弱势道路使用者安全方法,将文献分为视觉感知、运动建模和行为理解三部分,构成统一分层管道实现早期风险预测和及时干预,纳入新兴AI范式,识别关键挑战并讨论研究方向,提供VRU安全系统开发基础。

Comments 18 pages, 4 figures, 5 tables

Journal ref IEEE Transactions on Intelligent Transportation Systems, 2026, pp. 1-17

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18828 2026-07-22 cs.AI 新提交 79%

Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety

在信息缺失情况下评估医疗人工智能:同提供者评判者和人类评分者会改变表面安全性

Koyar Afrasyab

机构 * Kinvectum AB(金维图姆公司)

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI

AI总结 研究在信息缺失下评估医疗人工智能,通过删除对话部分对四个模型压力测试,发现评判者选择影响表面安全性,语言模型评判者更宽松,安全差距在于校准,还发布了相关测试工具等。

Comments GitHub https://github.com/KAVentures/health-ai-readiness-robustness

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18820 2026-07-22 cs.CL 新提交 79%

CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness

CASE:用于提高思维链忠实度的因果对齐和结构强化

Ziming Wang, Yinghua Yao, Changwu Huang, Ke Tang, Xin Yao

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 研究思维链推理中生成的推理无法忠实支持最终答案的问题,提出CASE框架,通过训练时因果对齐和推理时结构强化,结合构建多种数据集及选择性损失微调、屏蔽注意力等方法,提升CoT忠实度、跨数据集转移能力及平均准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18086 2026-07-21 cs.AI 新提交 79%

Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs

临床大语言模型中证据充分性提示的依赖判断的安全增益和特定模型的有用性成本

Koyar Afrasyab

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI

AI总结 研究临床大语言模型中证据充分性提示的安全增益及有用性成本,通过在公共数据基准中让四个模型用标准提示和包装器回答问题,发现安全增益有方向和幅度差异且依赖评判者,同时存在模型特定的有用性成本。

Comments https://github.com/KAVentures/clinical-evidence-sufficiency-llm

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16412 2026-07-21 cs.AI 新提交 79%

Interactive Task Alignment as a POMDP

作为部分可观测马尔可夫决策过程的交互式任务对齐

Andy Dai, Zexue He, Zhenyu Zhang, Alex Pentland, Jiaxin Pei

机构 * Stanford University(斯坦福大学)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.AI

AI总结 研究语言模型在面对模糊用户任务时的任务对齐问题,引入基于部分可观测马尔可夫决策过程的框架,通过用户研究验证,发现模型任务对齐困难,训练能改善但仍落后于人类,揭示其缺乏关键交互能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04430 2026-07-07 cs.CL 新提交 79%

Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees

具有可证明对齐保证的大语言模型中的不确定性感知弃权

Sijin Dong, Hiroyuki Shinnou

机构 * Ibaraki University(茨城大学)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 研究大语言模型在问答系统中无可靠置信估计的问题,提出基于置信区间的校准框架CIC,将任意不确定性分数转化为风险可控的选择性回答规则,保证所选阈值控制错误率,兼具风险控制和回答效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02376 2026-07-03 cs.AI cs.MA 新提交 79%

Hardware-Enforced Semantic Coordination for Safety-Critical Real-Time Autonomous Systems

面向安全关键实时自主系统的硬件强制语义协调

Uwe M. Borghoff, Paolo Bottoni, Remo Pareschi

机构 * Department of Computer Science University of the Bundeswehr Munich Neubiberg, Germany Department of Computer Science Sapienza University of Rome Rome, Italy STAKE Lab University of Molise Campobasso, Italy

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI

AI总结 针对异构组件并发运行下的协调问题,提出基于FPGA的硬件强制语义协调架构,将TB-CSPN协调机制映射到硬件原语,实现确定性协调和安全保障。

Comments 1 figure, 6 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00908 2026-07-02 cs.LG 新提交 79%

Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization

超越激活对齐:任务感知的大语言模型量化中的对齐-多样性权衡

Fei Wang, Chao Xue, Taoran Liu, Li Shen, Ye Liu, ChangXing Ding

机构 * South China University of Technology(华南理工大学) Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区) Ocean University of China(中国海洋大学) Center for AI Theoretical Foundation and Systems, Shenzhen Loop Area Institute(深圳环区研究所人工智能理论基础与系统中心)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.LG

AI总结 本文揭示混合精度量化中的困惑度幻觉和对齐-多样性权衡,提出TASA框架联合优化校准数据组成和比特分配,在3.5比特平均精度下匹配或超越4比特基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.16492 2026-06-29 cs.CL 版本更新 79%

Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety

在自毁之前检查自己:选择性退出提升LLM智能体安全性

Vamshi Krishna Bonagiri, Ponnurangam Kumaragurum, Khanh Nguyen, Benjamin Plaut

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.CL

AI总结 提出让LLM智能体在不确定时主动退出,通过ToolEmu框架在12个模型上评估,发现该方法在几乎不降低有用性的情况下显著提升安全性。

Comments Reliable ML and Regulatable ML workshops, Neurips 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17791 2026-06-17 cs.CL cs.CV 新提交 79%

The Slop Paradox: How Synthetic Standardization Erodes Clinical Uncertainty and Cross-Modal Alignment in AI-Rewritten Radiology Reports

Slop悖论:合成标准化如何侵蚀AI重写放射学报告中的临床不确定性和跨模态对齐

Samar Ansari

机构 * School of Computing and Engineering Sciences, University of Chester(切斯特大学计算与工程科学学院)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 本研究通过控制实验测量AI重写放射学报告导致的信息退化,发现电子健康记录摘要虽破坏内容但保留图像-文本对齐,而标准化重写和教学病例准备则相反,造成更大对齐损失,称为slop悖论。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16629 2026-06-16 cs.CL 新提交 79%

Islamic Large Language Models: From Knowledge Acquisition to Trustworthy and Hallucination-Resistant AI

伊斯兰大语言模型:从知识获取到可信且抗幻觉的人工智能

Mohammed Amine Mouhoub

机构 * Paris Dauphine University(巴黎多芬纳大学)

专题命中 幻觉与事实性 :trustworthy(title,abstract);分类 cs.CL

AI总结 综述伊斯兰大语言模型领域,提出构建可信、抗幻觉的伊斯兰AI需结合阿拉伯语NLP、检索增强生成、教法学派推理及专家评估等关键技术。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14961 2026-06-16 cs.CL 新提交 79%

CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning

CoRA: 面向可靠思维链推理的置信度-理由对齐

Juming Xiong, Weixin Liu, Kevin Guo, Congning Ni, Junchao Zhu, Chongyu Qu, Chao Yan, Katherine Brown, Avinash Baidya, Xiang Gao, Bradley Malin, Zhijun Yin

机构 * Vanderbilt University(范德比尔特大学) Vanderbilt University Medical Center(范德比尔特大学医学中心) Intuit AI Research(Intuit AI研究)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 提出GRPO强化学习框架,联合奖励答案正确性、置信度与理由支持度,减少置信度与理由对齐误差,提升推理可靠性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11512 2026-06-11 cs.CL 新提交 79%

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

SAGE: 面向言语不确定性对齐的答案条件不确定性目标

Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame(圣母大学)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 提出SAGE目标,通过答案条件不确定性几何从模型采样响应中构建群组级不确定性目标,结合GUPO训练框架优化言语不确定性表达,在多项推理任务中提升不确定性排序、降低校准误差和过度自信。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11204 2026-06-11 cs.CL cs.IR 新提交 79%

Benchmarking Large Language Models for Safety Data Extraction

大型语言模型在安全数据提取中的基准测试

Jonas Grill, Thomas Bayer, Sören Berlinger

机构 * SAP SE(SAP公司) Institute for Digital Transformation, Ravensburg-Weingarten University(拉文斯堡-魏恩加滕大学数字化转型研究所)

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.CL

AI总结 针对安全数据表(SDS)的异构格式,本研究基准测试了四种大型语言模型(LLM)在文本与多模态处理下的提取性能,发现文本结合思维链提示的Gemini 1.5 Pro准确率最高(84%),但均未达到90%的可靠部署阈值。

Comments 18 pages, 8 figures, submitted to Applied Intelligence

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08622 2026-06-10 cs.CL cs.SE 版本更新 79%

Automated Alignment between Elicitation Interviews and Requirements

启发式访谈与需求之间的自动对齐

Francesco Dente, Fabiano Dalpiaz, Paolo Papotti

机构 * University of Bologna(博洛尼亚大学)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 提出将访谈转录与用户故事需求自动对齐的任务,定义忠实度和覆盖率两个度量,利用大语言模型和嵌入模型实现自动评估,在四个数据集上达到0.86 macro-F1。

Comments 8 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08197 2026-06-09 cs.CL cs.DC 新提交 79%

AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments

AlignFed: 异构边缘环境中大语言模型的对齐感知异步联邦微调

Yan Wang, Ziyi Gao, Rui Wang

机构 * University of Science and Technology Beijing(北京科技大学)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 提出AlignFed框架,通过多阶段语义对齐机制(版本感知更新分组、跨版本语义对齐、公平性感知聚合)解决异步联邦微调中大语言模型在异构边缘环境中的模型漂移、客户端漂移和聚合不公平问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
1812.07410 2026-06-04 cs.LG cs.SY eess.SY stat.ML 79%

An Improved Deep Belief Network Model for Road Safety Analyses

一种改进的深度信念网络模型用于道路安全分析

Guangyuan Pan, Liping Fu, Lalita Thakali, Matthew Muresan, Ming Yu

机构 * Intelligent Transportation Systems Research Center(智能交通系统研究中心) Wuhan University of Technology(武汉理工大学) University of Waterloo(滑铁卢大学) Department of Civil & Environmental Engineering(土木与环境工程系) Department of Electrical & Computer Engineering(电气与计算机工程系)

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.LG

AI总结 本文提出了一种改进的深度信念网络模型,用于提升道路安全分析中的碰撞预测能力,通过两个案例研究展示该模型在预测性能上的优势,并与其他传统模型进行比较。

Journal ref Transportation Research Board 97th Annual Meeting, 2018

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.26857 2026-04-30 cs.CV cs.LG cs.RO eess.IV 79%

Edge AI for Automotive Vulnerable Road User Safety: Deployable Detection via Knowledge Distillation

边缘AI用于汽车易损道路使用者安全:通过知识蒸馏实现可部署检测

Akshay Karjol, Darrin M. Hanna

机构 * Department of Electrical and Computer Engineering, Oakland University(奥克兰大学电气与计算机工程系)

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.LG

AI总结 本文提出通过知识蒸馏方法,在边缘硬件上部署准确的易损道路使用者检测,通过压缩模型并保持量化鲁棒性,提升检测性能。

Comments 6 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24302 2026-04-28 cs.CL 79%

Differentiable Faithfulness Alignment for Cross-Model Circuit Transfer

可微的忠实对齐用于跨模型电路转移

Shun Shao, Binxu Wang, Shay B. Cohen, Anna Korhonen, Yonatan Belinkov

机构 * University of Cambridge(剑桥大学) Kempner Institute, Harvard University(哈佛大学凯普勒研究所) University of Edinburgh(爱丁堡大学) Technion(技术学院)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL

AI总结 本文提出DFA框架,通过学习可微对齐将小模型的电路信息转移到大模型,实验证明在事实检索、多选推理和算术任务中,DFA在Llama-3 1B→3B任务中表现优异,且在某些情况下恢复的电路忠实度不低于直接归因。

Comments 10 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22755 2026-04-28 cs.IR cs.AI 79%

RADIANT-LLM: an Agentic Retrieval Augmented Generation Framework for Reliable Decision Support in Safety-Critical Nuclear Engineering

RADIANT-LLM:一种用于安全关键核工程中可靠决策支持的代理检索增强生成框架

Zavier Ndum Ndum, Jian Tao, John Ford, Mansung Yim, Yang Liu

机构 * Department of Nuclear Engineering, Texas A\&M University, College Station, TX, USA College of Performance, Visualization Fine Arts, Texas A\&M University, College Station, TX, USA

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI

AI总结 本文提出RADIANT-LLM框架,通过多模态检索增强生成技术,结合领域知识库和代理层,提升核工程中的决策支持准确性与透明度,降低幻觉风险。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12311 2026-04-28 cs.SE cs.AI cs.HC 79%

Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety

vibe编码是未来吗?对LLM生成代码用于建设安全的实证评估

S M Jamil Uddin

机构 * Department of Construction Management, Colorado State University(科罗拉多州立大学建设管理系)

专题命中 幻觉与事实性 :safety(title,abstract);分类 cs.AI

AI总结 研究评估了450个由三个前沿模型生成的Python脚本在建设安全中的可靠性、软件架构和领域特定安全精度,发现用户角色与数据幻觉存在显著关系,且存在高达45%的静默故障率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20854 2026-04-24 cs.IR cs.AI 79%

ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation

ERA:基于证据的可靠性对齐用于诚实检索增强生成

Sunguk Shin, Meeyoung Cha, Byung-Jun Lee, Sungwon Park

机构 * Korea University(韩国大学) Gauss Labs Inc.(Gauss实验室)

专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.AI

AI总结 本文提出ERA框架,通过将置信度估计从标量概率转为显式证据分布,提升RAG系统中的回避行为,有效区分知识冲突与不确定性,实验表明在标准基准和定制泛化数据集上表现优异。

Comments Under Review

详情

展开后加载摘要…

URL PDF HTML 收藏