arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-07-17 至 2026-07-17 共收录 20 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 偏好对齐 1 篇

2510.01171 2026-07-17 cs.CL cs.AI 版本更新 73%

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

言语化采样:如何减轻模式坍塌并释放大语言模型的多样性

Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi

专题命中 偏好对齐 :alignment(abstract);safety(abstract);分类 cs.CL、cs.AI

AI总结 研究发现偏好数据中的典型性偏差致大语言模型模式坍塌,引入言语化采样策略。该策略能促使模型说出响应概率分布,经实验验证可显著提升创意写作等多方面性能,为模式坍塌提供新视角及实用补救方法。

Comments 83 pages, 31 figures, 44 tables. Code is available at https://github.com/CHATS-lab/verbalize-sampling

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 安全训练 2 篇

2603.05754 2026-07-17 cs.RO 版本更新 78%

Safe-Night VLA: Seeing the Unseen via Thermal-Perceptive Vision-Language-Action Models for Safety-Critical Manipulation

Safe-Night VLA: 通过热感知视觉-语言-动作模型看见未见事物以实现安全关键操作

Dian Yu, Qingchuan Zhou, Bingkun Huang, Majid Khadiv, Zewen Yang

机构 * Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)(慕尼黑机器人与机器智能研究所(MIRMI),技术大学慕尼黑(TUM))

专题命中 安全训练 :safety(title,abstract)

AI总结 Safe-Night VLA通过整合热感知技术,实现了安全关键操作中的非可见领域感知与稳健执行。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

详情

展开后加载摘要…

URL PDF HTML 收藏
2408.12548 2026-07-17 cs.LG 版本更新 57%

Human-In-The-Loop Machine Learning for Safe and Ethical Autonomous Vehicles: Principles, Challenges, and Opportunities

用于安全且符合道德的自动驾驶车辆的人在回路机器学习:原理、挑战与机遇

Yousef Emami, Mohammadhossein Homaei, Miguel Gutiérrez Gaitán, Luis Almeida, Kai Li, Hui Huang, Zhu Han

机构 * IEEE

专题命中 安全训练 :safety(abstract);分类 cs.LG

AI总结 本文针对自动驾驶车辆面临的挑战,对人在回路机器学习进行教程式综述,涵盖课程学习、人在回路强化学习、人在回路大语言模型、主动学习等方法及道德原则,以推动安全且符合道德的自动驾驶发展。

Comments 19 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 幻觉与事实性 1 篇

2607.09815 2026-07-17 cs.RO cs.CV 版本更新 50%

RASR: Range-Aware Scale Recovery for Metric UAV Navigation

RASR:用于度量无人机导航的距离感知尺度恢复

Hongtao Liang, Xinyu Shao, Chenxu Wang, Yiyao Wan, Jiahuan Ji, Fangwei Ye, Fuhui Zhou, Qihui Wu

机构 * College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学电子信息工程学院) Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院) Noah Ark Lab, Huawei(华为诺亚方舟实验室) College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化工程学院) College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院) College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)

专题命中 幻觉与事实性 :alignment(abstract)

AI总结 研究在GNSS信号阻断时无人机精确最后一米导航问题,提出RASR方法,将尺度恢复核心与校准模块分离,核心压缩几何成描述符并全局校准,校准模块进行残差校正和对齐,在PairUAV评估中取得较好结果。

Comments 5 pages, 4 figures. Technical report for the UAVM 2026 PairUAV Challenge

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 安全评测 13 篇

2603.29759 2026-07-17 cs.CV cs.AI 版本更新 89%

TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios

TSHA:用于可信安全危害评估场景的视觉语言模型基准

Qiucheng Yu, Ruijie Xu, Mingang Chen, Jianfeng Dong, Xin Tan

机构 * City University of Hong Kong(香港城市大学) East China Normal University(华东师范大学) University of Western Australia(西澳大学) Shanghai AI Laboratory(上海人工智能实验室) Shanghai Development Center of Computer Software Technology(上海计算机软件技术开发中心) Zhejiang Gongshang University(浙江工商大学)

专题命中 安全评测 :safety(title,abstract);trustworthy(title,abstract_cn);分类 cs.AI

AI总结 本文提出TSHA基准,通过81809个精心挑选的训练样本和1707个挑战性测试样本,评估视觉语言模型在复杂家庭安全场景中的鲁棒性和泛化能力,发现现有模型在安全危害评估中存在显著不足。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.01086 2026-07-17 cs.AI cs.CR cs.DB cs.DC cs.SE 版本更新 79%

MedBeads: An AI-Native Clinical Context Graph Built from Immutable Beads and Reconstructable Clinical Links

MedBeads:面向可信医疗AI的智能体原生不可变数据基底

Takahito Nakajima

机构 * Diagnostic Imaging and Interventional Radiology, Institute of Medicine, University of Tsukuba(东京大学医学研究院诊断影像与介入放射学部) Center for Cyber Medicine Research, University of Tsukuba(东京大学计算机医学研究中心)

专题命中 安全评测 :trustworthy(title,abstract);分类 cs.AI

AI总结 针对医疗AI中电子病历与智能体间的上下文不匹配问题,提出基于Merkle有向无环图的不可变数据架构MedBeads,通过确定性图遍历替代概率检索,实现可审计、防篡改的临床上下文提供。

Comments 23 pages, 5 figures, 3 tables. Reference implementation and reproducible Docker demo available at https://github.com/medbeads/medbeads

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22030 2026-07-17 cs.AI cs.CL cs.IR cs.LG 版本更新 67%

When Does Belief-Based Agent Memory Help? Reliability-Conditional Updating and Provenance-Capped Poisoning Defense

Nous:一种用于长期智能体记忆的预测世界模型

Pranav Singh

机构 * Indian Institute of Technology Ropar(印度理工学院罗巴尔分校)

专题命中 安全评测 :trustworthy(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出Nous记忆架构,基于知识即预测而非存储的原则,通过贝叶斯更新维护概率分布,以信息论惊喜度评分并记录信念变化,在LoCoMo基准上取得优于对比方法的F1分数。

Comments Preprint. 10 pages, 1 figure, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09142 2026-07-17 cs.AI cs.CL cs.CV 版本更新 62%

MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

MedRealMM:用于中国在线医疗咨询的真实世界多模态基准测试

Runhan Shi, Quan Zhou, Yuqian Xu, Shuai Yang, Xin Wu, Zitong Zhou, Hui Liu, Bin Zha, Zheming Wang, Liya Li, Wei Wei, Jinru Ding, Wenrao Pang, Mouxiao Bian, Haoyuan Hu, Jun Xu, Jie Xu

专题命中 安全评测 :safety(abstract);分类 cs.CL、cs.AI

AI总结 研究针对现有在线医疗咨询基准与实际临床实践契合度差的问题,构建MedRealMM基准测试,用多模态临床挑战点提取框架转化任务并设评分标准,评估多个大语言模型,指出图像信息重要,前沿模型有不足,为多模态医学推理评估提供现实可重复基准。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.08967 2026-07-17 cs.LG cs.AI 版本更新 62%

CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing

CluCERT:通过聚类引导去噪平滑认证大语言模型的鲁棒性

Zixia Wang, Gaojie Jin, Jia Hu, Ronghui Mu

专题命中 安全评测 :jailbreak(abstract);分类 cs.AI、cs.LG

AI总结 针对大语言模型易受对抗攻击问题,提出CluCERT框架,通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器,结合细化模块和快速同义词替换策略,提升效率,实验证明该方法在鲁棒性边界和计算效率上优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00724 2026-07-17 cs.CL 版本更新 57%

MSQA: A Natively Sourced Multilingual and Multicultural SimpleQA Benchmark

MSQA:一个原生来源的多语言多文化SimpleQA基准

Xianru Chen, Yukai Huang, Mingxiang Chen, Xinping Lei, Fangbing Deng, Jin Chen, Ge Zhang, Wenhao Huang, Jiaheng Liu

机构 * M-A-P ByteDance Seed(字节跳动Seed) Beijing University of Posts and Telecommunications(北京邮电大学) Nanjing University(南京大学)

专题命中 安全评测 :alignment(abstract);分类 cs.CL

AI总结 提出MSQA基准,包含1064个原生问题覆盖11种语言和5个文化维度,评估18个LLM发现文化能力随预训练暴露程度下降,且推理时补救措施无效。

Comments Due to the company's data approval issue, we need to withdraw the article

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17930 2026-07-17 cs.AI 版本更新 57%

How Inference Compute Shapes Frontier LLM Evaluation

推理计算如何塑造前沿LLM评估

Jessica McFadyen, Ole Jorgensen, Harry Coppock, Kevin Wei, Cozmin Ududec

机构 * UK AI Security Institute(英国人工智能安全研究所)

专题命中 安全评测 :safety(abstract);分类 cs.AI

AI总结 通过控制推理计算量(如token预算、上下文压缩和重复提交)评估12个前沿语言模型,发现更大计算量显著提升性能,固定预算评估低估模型能力,且不同基准对推理扩展方法敏感。

Comments 34 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.00923 2026-07-17 cs.LG 版本更新 57%

Addressing Benchmarking Gaps in Large Language Models for Health and Medicine with Dynamic Red-Teaming

超越基准:动态、自动和系统化的红队代理用于可信的医疗语言模型

Jiazhen Pan, Bailiang Jian, Paul Hager, Yundi Zhang, Che Liu, Friederike Jungmann, Hongwei Bran Li, Julian Canisius, Chenyu You, Junde Wu, Jiayuan Zhu, Fenglin Liu, Yuyuan Liu, Niklas Bubeck, Moritz Knolle, Chen, Chen, Christian Wachinger, Zhenyu Gong, Cheng Ouyang, Georgios Kaissis, Benedikt Wiestler, Daniel Rueckert

机构 * Technical University of Munich (TUM)(慕尼黑技术大学) University of Oxford(牛津大学) TUM University Hospital(慕尼黑技术大学医院) Imperial College London(伦敦帝国理工学院) Harvard Medical School(哈佛医学院) Stony Brook University(史泰兹布鲁克大学) Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心) University of Sheffield(谢菲尔德大学)

专题命中 安全评测 :safety(abstract);分类 cs.LG

AI总结 本文提出DAS红队框架,通过动态压力测试揭示医疗语言模型在鲁棒性、隐私、偏见和幻觉方面的潜在风险,发现高静态基准性能与低动态可靠性之间的'基准差距'。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.06364 2026-07-17 cs.HC cs.AI cs.CR 版本更新 57%

JEEVHITAA -- An HCAI Ecosystem to Support Collective Care

JEEVHITAA -- 一个端到端的HCAI系统以支持集体护理

Shyama Sastha Krishnamoorthy Srinivasan, Harsh Pala, Mohan Kumar, Pushpendra Singh

专题命中 安全评测 :alignment(abstract);分类 cs.AI

AI总结 JEEVHITAA是一个端到端的HCAI系统,通过角色感知的信息共享和可验证的数据流支持多主体护理网络的协调与可信决策。

Comments 33 pages, 7 figures, 3 tables, 2 algorithms, 1 ontology description. Preprint of work under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.15267 2026-07-17 cs.CR cs.CL 版本更新 57%

When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge?

当模型遗忘遇上检索增强生成(RAG):保守秘密还是遗忘知识?

Shang Wang, Tianqing Zhu, Dayong Ye, Wanlei Zhou

机构 * School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院) Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)

专题命中 安全评测 :harmlessness(abstract);分类 cs.CL

AI总结 研究大语言模型训练中敏感信息保留问题,提出基于检索增强生成(RAG)技术的轻量级行为遗忘框架,通过修改外部知识库模拟遗忘,经实验验证该方法符合五个关键遗忘标准,还可扩展到多模态模型和智能体。

Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}

详情

展开后加载摘要…

URL PDF HTML 收藏
2105.07610 2026-07-17 stat.ML cs.LG 版本更新 57%

Cross-Cluster Weighted Forests

跨簇加权森林

Maya Ramchandran, Rajarshi Mukherjee, Giovanni Parmigiani

机构 * Harvard T.H. Chan School of Public Health(哈佛T.H. 柏林公共卫生学院) Dana-Farber Cancer Institute(达纳-法伯癌症研究所)

专题命中 安全评测 :trustworthy(abstract);分类 cs.LG

AI总结 研究针对生物应用数据异质性问题,提出跨簇加权森林(CCWF)方法,通过无监督聚类、在各簇拟合随机森林并加权组合,理论分析表明其更准确,模拟和实际数据验证其性能比经典随机森林高30%-40%。

Comments 9 pages, 3 figures, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12254 2026-07-17 cs.CV 版本更新 50%

Self-Aware Recursively Self-Improving Agents for Personal Singularity: A Goal-, Scope-, Tool-, and Benchmark-Driven Multi-Agent Architecture

如何实现递归式自我提升智能体与个人奇点:一种目标、范围、工具和基准驱动的多智能体架构

Chengshuai Yang

机构 * NextGen PlatformAI C Corp.(下一代平台人工智能C公司)

专题命中 安全评测 :safety(abstract)

AI总结 研究大型语言模型智能体进步引发的问题,提出受治理多智能体架构实现递归式自我提升,以个人奇点为目标,详细介绍智能体各要素及架构组成,形式化多种机制并提供设计与路线图。

Comments 28 pages, 5 figures, 7 tables, and 5 algorithms. Position and systems-design paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.22098 2026-07-17 cs.CV 版本更新 50%

WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation

WorldWander:在视频生成中连接自我中心和外中心世界

Quanjian Song, Yiren Song, Kelly Peng, Yuan Gao, Mike Zheng Shou

机构 * Show Lab, National University of Singapore(新加坡国立大学Show实验室)

专题命中 安全评测 :alignment(abstract)

AI总结 研究聚焦视频生成中自我中心与外中心世界转换,提出WorldWander框架,基于视频扩散变换器,整合上下文视角对齐与协作位置编码,精心策划数据集,实验证明该框架在视角同步、角色一致性和泛化能力上表现卓越,设定了新基准。

Comments Accepted by ECCV 2026; Code: https://github.com/showlab/WorldWander

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 其他安全 3 篇

2603.23667 2026-07-17 cs.SD cs.AI eess.AS 版本更新 57%

Echoes: A semantically-aligned music deepfake detection dataset

回声:一种语义对齐的音乐深度伪造检测数据集

Octavian Pascu, Dan Oneata, Horia Cucu, Nicolas M. Muller

机构 * National University of Science and Technology POLITEHNICA Bucharest(波兰亚西夫技术大学布加勒斯特分校) Fraunhofer AISEC(弗劳恩霍夫信息安全研究所)

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 Echoes数据集通过语义对齐提升音乐深度伪造检测的鲁棒性,证明提供者多样性与语义对齐能提升检测能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22280 2026-07-17 cs.CV 版本更新 50%

Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings

超越思维链:重写作为生成式多模态嵌入的通用接口

Peixi Wu, Ke Mei, Feipeng Ma, Bosong Chai, Zhibin Lan, Chenxi Zhao, Shannan Yan, Jie Chen, Zhangchi Hu, Yansong Peng, Bo Lin, Junjie Zhou, Dacheng Yin, Tianyi Wang, Fengyun Rao, Jing Lyu, Hebei Li, Xiaoyan Sun

机构 * WeChat Vision, Tencent Inc.(腾讯微信视觉部) Zhejiang University(浙江大学) Tsinghua University(清华大学) Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)

专题命中 其他安全 :alignment(abstract)

AI总结 针对思维链推理在检索中产生冗余和语义歧义的问题,提出重写驱动的多模态嵌入框架RIME,联合优化生成与嵌入,并通过跨模态对齐和精炼强化学习实现高效准确的检索。

Comments Accepted by ACMMM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.13348 2026-07-17 cs.LO math.LO 版本更新 50%

Adequate Losses via Quantitative Linear Logic

量化线性逻辑

Matteo Capucci, Robert Atkey, Charles Grellois, Ekaterina Komendantskaya, Matthew Daggitt

专题命中 其他安全 :safety(abstract)

AI总结 本文提出量化序列演算,结合实数上的加法与乘法性质及序列演算修订,解决线性与模糊逻辑中加法连接词的软语义问题,并展示其在扩展残余软格中的完备性。

Comments Once 'Quantitative Linear Logic', the ML applications have been outlined more clearly and the exposition tightened. Comments welcome

详情

展开后加载摘要…

URL PDF HTML 收藏