AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
AgentWall：本地AI代理的运行时安全层
专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI
AI总结 本文提出AgentWall，一种用于本地AI代理的运行时安全与可观测性层，通过拦截代理操作、评估政策、要求人类批准和记录执行轨迹，实现92.9%的政策执行准确率。
Comments 16 pages, 2 figures, open-source implementation at https://github.com/agentwall/Agentwall
大语言模型安全评估缺乏鲁棒性
机构 * Department of Computer Science \& Munich Data Science Institute, Technical University of Munich ； Canada AI CIFAR Chair
专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI
AI总结 本文指出当前大语言模型安全对齐研究受到多种交织的噪声源阻碍，如小数据集、方法学不一致和不可靠的评估设置，导致难以公平评估和比较攻击与防御，阻碍了进展。我们系统分析了大语言模型安全评估流程，涵盖数据集整理、自动化红队优化策略、响应生成和响应评估使用LLM法官。在每个阶段，我们识别了关键问题并突出了其实际影响。我们还提出了一套减少未来攻击和防御论文评估中噪声和偏见的指南。最后，我们提出了对立观点，强调现有限制的实用原因。我们相信，未来研究解决这些问题将提高领域生成可比结果的能力，并实现可衡量的进步。
生成式AI广告作为可信商业干预问题
机构 * University of Michigan（密歇根大学）
专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL、cs.CY
AI总结 本文探讨生成式AI广告如何通过影响生成过程而非内容放置来改变广告方式，提出基于影响层级的分类体系，并指出当前系统在更深层次商业影响上的可信度问题。
FLAG: 通过图结构的潜在扩散对齐实现基础模型表示以空间基因表达预测
机构 * Shanghai Academy of Artificial Intelligence for Science, Shanghai, China.（上海人工智能科学研究院） ； School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai, China.（上海交通大学生物医学工程学院） ； Incubation Institute, Fudan University, Shanghai, China.（复旦大学孵化院）
专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出FLAG框架，通过图结构的潜在扩散对齐方法，解决空间基因表达预测中的基因协调和空间分布关系问题，并引入基因维度诅咒的概念，通过空间图编码器和基因基础模型对齐来提升模型的结构一致性与基因间保真度。
Comments 9 pages for main text, 3 pages for references, 19 pages for appendix. accepted by ICML 2026
DriveSafe: 一种用于驾驶场景中风险检测与安全建议的框架
机构 * IIIT-Hyderabad（IIIT-海得拉巴）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI
AI总结 本文提出DriveSafe框架，通过结构化自然语言描述实现风险感知场景理解，结合多模态上下文生成空间 grounded 的描述，用于下游风险评估和安全建议，实验表明其在DRAMA基准上达到最先进的性能。
Comments 8 pages
审查代理安全
机构 * UCB（加州大学伯克利分校） ； WISC（威斯康星大学） ； STANFORD（斯坦福大学） ； MSR1（微软研究院）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.CY
AI总结 本文提出HarnessAudit框架，用于审查执行轨迹中的边界合规性、执行保真度和系统稳定性，揭示多代理Harness中的安全风险，并通过HarnessAudit-Bench验证了安全风险与轨迹长度、领域和代理角色的关系。
Comments 11 Pages, 8 Figures
AI代理安全基准的分类与一致性分析
机构 * McGill University（麦吉尔大学） ； Kean University（凯恩大学） ； Zayed University（扎耶德大学）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI、cs.CY
AI总结 本文分析了AI代理安全基准的分类与一致性问题，揭示了方法学选择对安全结论的影响，指出基准选择可能导致矛盾的安全结论，且指标碎片化限制了比较。
评估交互式AI代理的认知年龄对齐
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shenzhen Children's Hospital（深圳儿童医院） ； Peking University（北京大学） ； Hong Kong Polytechnic University（香港理工大学）
专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI
AI总结 本文提出ChildAgentEval，首个基于心理测量的交互式基准，用于评估基于多模态大语言模型的代理的认知年龄对齐，通过与年龄特定的人类发展阶段进行系统比较，揭示当前代理在模拟年龄特定认知行为方面的优劣。
当个性化合理化风险：揭示个性化对话代理中的安全漏洞
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； SERES Group Co., Ltd（SERES集团有限公司）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI
AI总结 本文研究了个性化对话代理中的一种安全故障模式——意图合理化，通过引入PS-Bench基准测试，揭示了个性化记忆如何偏移意图推断并导致模型合理化有害查询，提出了一种轻量级的检测-反思方法以减少安全退化。
HEED：基于密度加权残差对齐的混合视觉-语言模型蒸馏
机构 * Princeton University（普林斯顿大学）
专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL
AI总结 本文提出HEED方法，通过密度加权残差对齐改进混合视觉-语言模型蒸馏，提升在OCR和文档任务中的性能，同时在不同教师模型和混合架构上实现高效推理。
SHED: 风格均质化嵌入对齐用于领域泛化
机构 * School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（1 东南大学计算机科学与工程学院，南京 210096，中国） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（2 教育部计算机网络与信息集成重点实验室（东南大学），中国）
专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG
AI总结 本文提出SHED方法，通过均质化嵌入对齐来解决领域泛化中的信息不对称问题，实验表明其在多个基准测试中取得了最先进的性能。
安全敏感医学图像修复中的保守AI：用于颅内动脉瘤相关信号恢复的残差受限CT-CTA增强
机构 * Independent Researcher（独立研究者） ； King George, Vancouver School Board（金乔治，温哥华学区） ； Vancouver, BC, Canada（温哥华，BC省，加拿大）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI
AI总结 本文提出了一种残差受限的2.5D修复框架，用于安全敏感的医学图像修复，通过编辑控制图限制修改范围，提升CT和CTA图像质量，减少误诊风险。
Comments Preprint manuscript, 16 pages, 4 figures, 3 tables. This manuscript presents a residual-bounded 2.5D CT/CTA restoration framework for conservative medical image enhancement and evaluates it using image-recovery, baseline comparison, Monte Carlo stability, anatomical localization, and external low-dose CT testing
PseudoBridge: 伪代码作为连接语义与逻辑的桥梁以提升代码检索性能
专题命中 安全评测 ：alignment(title,abstract)
AI总结 本文提出PseudoBridge框架，通过引入伪代码作为中间半结构化模态，解决自然语言与编程语言之间的语义和逻辑对齐问题，实验表明其在代码检索任务中表现优异，尤其在零样本场景中效果显著。
Comments 42 pages, 14 figures, 8 tables
生成车辆-行人交互的安全关键场景
机构 * Transportation Informatics Lab, Department of Civil and Environmental Engineering, Old Dominion University（交通信息实验室，土木与环境工程系，旧 Dominion 大学） ； Inner Mongolia Center for Transportation Research, Inner Mongolia University（内蒙古交通研究所，内蒙古大学） ； School of Transportation and Logistics, National Engineering Laboratory of Integrated Transportation Big Data Application Technology, National and Local Joint Engineering Research Center of Integrated Transportation Intelligence, Southwest Jiaotong University（交通运输学院，国家集成交通大数据应用技术工程实验室，国家与地方联合集成交通智能工程研究中心，西南交通大学）
专题命中 安全评测 ：safety(title,abstract)
AI总结 本文提出了一种三阶段框架，结合现实数据与自适应模拟，生成大规模行为真实的安全关键场景，通过多智能体状态空间Transformer增强DDPG算法，在车辆-行人交互中实现了高精度的避让行为生成，最终生成了VPSCI数据集。
Comments 49 pages, 13 figures, 11 table
全面的漏洞分析对于可信的LLM-MAS至关重要
专题命中 安全评测 ：trustworthy(title,abstract)
AI总结 本文探讨了构建可信LLM-MAS需进行全面漏洞分析，提出统一框架以量化不同架构中的漏洞，并识别关键挑战如构建专用评估基准和实现安全信任管理。
规范-代码对齐的保真度探针
机构 * AWS Agentic AI（AWS智能AI）
专题命中 安全评测 ：alignment(title)；分类 cs.AI、cs.LG
AI总结 本文提出保真度探针，通过从参考artifact生成的自然语言问题和代码派生的地面真实答案，从候选规范中回答问题。保真度是同意探针的比例，分解为矛盾率和覆盖缺口率，驱动针对性的规范编辑以达到收敛。在15个程序、约12000行COBOL基准（AWS CardDemo）上，通过八次迭代将冻结测试规范的保真度从0.63提升到0.94，其中平台位置由仅需四次速率数据的两状态马尔可夫固定点$F^\dagger$预测。探针来自LLM读取代码或静态分析管道对其控制流、数据流和系统依赖图的处理，具有可调混合比例。一个带有冻结留出集的探针重采样协议提供了Hoeffding有界的过拟合判别；我们测量的训练/测试差距保持在该包络线下一个数量级。三种基于图的混合提升了保真度16到30分；跨分布评估显示LLM和符号通道在经验上互补。在五个独立LLM家族（Anthropic、DeepSeek、Google、Alibaba、OpenAI）上进行的跨家族生成器扫描确认了收敛行为不依赖于任何单一模型家族：五个非Claude生成器中有三个产生了与马尔可夫固定点预测一致的轨迹，而冻结测试协议主动否定了两个探针分布随迭代变化的生成器。该方法适用于任何应描述相同行为的artifact对。
Comments 29 pages, 14 figures, 11 tables
反学习不是删除：调查机器反学习在大语言模型中的可逆性
机构 * The Hong Kong Polytechnic University（香港理工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Santa Cruz（加州大学圣克ruz分校） ； Huawei Technologies（华为技术有限公司） ； Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU（未来智能系统中的隐私与安全技术研究中心，PolyU）
专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究揭示大语言模型反学习的可逆性问题，提出表示层面分析框架，通过PCA相似度、CKA和Fisher信息等指标评估表示漂移，发现四种遗忘模式，指出数据来源影响重学效率，揭示不可逆遗忘的挑战。
Comments ICML 2026, accepted to appear
在评估人工智能模型时优先考虑高后果生物能力
机构 * Center for Health Security, Bloomberg School of Public Health, Johns Hopkins University（健康安全中心，公共卫生学院，约翰霍普金斯大学） ； Department of Health Policy, Stanford School of Medicine, Stanford University（健康政策系，斯坦福医学院，斯坦福大学） ； Department of Chemical Engineering, Carnegie Mellon University（化学工程系，卡内基梅隆大学） ； Department of Chemistry, Carnegie Mellon University（化学系，卡内基梅隆大学） ； Wilton E. Scott Institute for Energy Innovation, Carnegie Mellon University（威尔顿·E·斯科特能源创新研究所，卡内基梅隆大学）
专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY
AI总结 本文基于人工智能模型的安全性、安全性和伦理问题，提出在评估人工智能模型时应优先考虑高后果风险，如大规模公众危害（如大流行病），并应在部署前进行评估，以建立针对性的AI安全评估方法，确保工具的安全性和防止潜在危害。
Comments 9 pages, 1 figure, 3 tables, 1 box
REBAR：自主性准备的参考伦理基准
机构 * University of Pennsylvania（宾夕法尼亚大学） ； David Barnes, LLC（大卫·巴恩斯公司） ； Kitware, Inc.（Kitware公司） ； Duality Robotics, Inc.（Duality机器人公司） ； Texas A&M University（德克萨斯大学） ； Charles River Analytics（查尔斯河分析公司）
专题命中 安全评测 ：safety(abstract)；red teaming(abstract)；分类 cs.CY
AI总结 本文提出REBAR框架，通过严谨测试提供可计算的自主性准备等级，以量化伦理性能并解决现有伦理AI框架的不足。
Comments To be presented at the 2026 Workshop on Robot Ethics - Ethical, Legal and User Perspectives in Robotics and Automation (WOROBET)
勿信工具：在不可信工具反馈下评估和防御LLM代理
机构 * Southern University of Science and Technology（南方科技大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Birmingham（伯明翰大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Alibaba Group（阿里巴巴集团）
专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL
AI总结 本研究探讨了在不可信工具反馈环境下评估和防御LLM代理的问题，提出了一种新的失败模式'认知中毒'，并介绍了TRUST-Bench基准、GuardedJoint惩罚指标和VISTA-Guard框架，展示了轨迹感知的最终动作评分在安全与效用权衡中的有效性。
LLM个性诱导中的评估漂移：我们是否在移动目标？
机构 * University of Luxembourg（卢森堡大学）
专题命中 安全评测 ：DPO(abstract,abstract_cn)；分类 cs.CL
AI总结 本文研究了大型语言模型在诱导人类样性格时的稳定性问题，通过微调长格式论文来诱导性格，并发现尽管微调减少了问卷评分的方差，但完整五维性格的准确性仍接近随机，表明无指导的论文缺乏表达忠实性格所需的线索。
Comments 14 pages, 8 main pages, 5 figures, 4 main page figures
临床AI中的对抗脆弱性与语言脆弱性：在低资源医疗环境中对诊断崩溃的系统审计及不可察觉扰动和跨语言漂移的影响
机构 * Centre for Clinical Intelligence & Safety（临床智能与安全中心） ； Tomorrow University of Applied Sciences（明天应用科学大学）
专题命中 安全评测 ：safety(abstract,comments)；分类 cs.AI、cs.CY、cs.LG
AI总结 本文系统地审计了临床AI在不可察觉扰动和跨语言漂移下的诊断崩溃问题，揭示了对抗脆弱性和语言脆弱性对低资源医疗环境中的临床AI系统的影响。
Comments 23 pages, 9 figures, 3 tables. Code and data available at https://github.com/anthoniooladimeji11-coder/clinical-ai-safety-audit
通过单个机器人入侵在LLM控制的多机器人协作中传播不安全行为
机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)
AI总结 本文研究了LLM控制的多机器人协作中的安全问题，提出了一种新型攻击模式，其中攻击者仅通过单个机器人传播恶意意图，导致系统中协调的不安全行为，通过三个指标量化了这一过程，并展示了攻击的高效性和持续性。
Comments Accepted by the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026). 9 pages, 4 figures, 3 tables
通过LLM裁判增强人类评估：你真的需要多少人类评审？
机构 * Department of Psychiatry and Behavioral Sciences（精神病学与行为科学系）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出通过LLM作为辅助裁判来增强人类评估，通过两阶段抽样设计确定人类和LLM评审样本量，以实现目标统计功效。
Comments 10 pages, 5 figures
代码作为代理工具
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta ； Stanford University（斯坦福大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 本文探讨了代码在代理系统中的作用，提出了一种统一的视角，将代码视为代理基础设施的基础，并讨论了代理工具接口、机制以及扩展到多代理系统的挑战。
Comments GitHub: https://github.com/YennNing/Awesome-Code-as-Agent-Harness-Papers
QQJ: 量化定性判断以实现可扩展且与人类对齐的生成AI评估
机构 * AI Lab, Arioobarzan Engineering Team（艾伊罗巴赞工程团队人工智能实验室） ； Department of Computer Engineering and Information Technology（计算机工程与信息科技系） ； Department of Informatics, Bioengineering, Robotics and Systems Engineering（信息学、生物工程、机器人与系统工程系） ； University of Genoa（热那亚大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出QQJ框架，通过专家设计的多维评分标准和高质量标注集校准大语言模型评估器，实现与人类判断一致的可扩展评估方法，验证了结构化定性判断在大规模应用中的有效性。
FinTagging: 评估LLM提取和结构化财务信息
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Columbia University（哥伦比亚大学） ； California State University（加州州立大学） ； University of Montreal（蒙特利尔大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Rensselaer Polytechnic Institute（莱斯利理工学院） ； The University of Manchester（曼彻斯特大学） ； Harvard University（哈佛大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出FinTagging基准，用于评估LLM在提取和结构化财务信息方面的能力，通过分解为FinNI和FinCL两个子任务，揭示了LLM在细粒度概念链接上的局限性。
压缩上下文，保持承诺：可验证大语言模型上下文压缩的正式框架
机构 * Embedded Intelligence Lab (EMILAB)（嵌入式智能实验室）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出Context Codec框架，通过语义层面的压缩方法，确保在压缩对话历史时保留关键承诺，解决现有方法在压缩过程中缺乏对语义承诺保留的明确规范的问题。
SKG-Eval: 通过增量语义知识图谱进行多轮对话的有状态评估
机构 * Maulana Abul Kalam Azad University of Technology（Maulana Abul Kalam Azad 工业技术大学） ； National Institute of Technology Durgapur（Durgapur 国家理工大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出SKG-Eval框架，通过增量语义知识图谱模型，解决多轮对话评估中长距离不一致问题，提供可解释的评估信号和可复现的评分结果。
Comments 36 Pages, 6 Figures
NodeSynth: 为AI评估的社会协同合成数据
机构 * Google Research USA（谷歌研究美国分公司） ； Google USA（谷歌美国分公司） ； Google Deepmind USA（谷歌深Mind美国分公司）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.LG
AI总结 NodeSynth通过结合现实证据的细粒度分类扩展，生成社会相关合成查询，提升AI模型在敏感领域评估的准确性与安全性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈