作者
AI / Security
Vero：AI智能体能否构建形式化验证的软件仓库？
机构 * University of Chicago（芝加哥大学） ； California Institute of Technology（加州理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Amazon Web Services（亚马逊云计算服务） ； Apodex
AI总结 研究推出首个仓库级验证软件综合基准Vero，含43个多模块实例，评估发现前沿智能体仅解决27个实例，为相关研究提供测试平台。
SteeringSafety：针对大语言模型在多安全视角下的表征引导基准测试
机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本研究推出SteeringSafety基准，测试DIM等引导方法在3款大模型的9种安全视角表现，发现方法与模型、视角的匹配影响性能，且存在多视角纠缠问题，需多安全角度评估引导方法。
Comments Accepted at ICML 2026
MatrAIx：用83亿个 persona 智能体模拟世界
AI总结 MatrAIx是含83亿 persona 智能体的模拟用户评估基础设施，含Persona 8B、MatrAIx Playground及1010个多领域任务，经验证可高效评估AI系统与数字产品。
Comments Project website: https://matraix.ai
人类最后的考试
AI总结 人类最后的考试（HLE）是一个多模态基准测试，旨在通过广泛覆盖的学科问题评估LLM在封闭式学术问题上的能力，揭示当前LLM与人类专家之间的差距。
Comments 29 pages, 6 figures
通过整体框架重新定义智能体安全需求
AI总结 研究指出智能体安全是上下文问题，当前基于内容的框架有误。通过源授权、任务对齐、行动对齐和数据隔离四个属性实施上下文安全，改变了防御连贯性、评估有效性及可识别的攻击模式。
Comments ICML 2026 Position Paper
CyberGym-E2E：面向AI代理端到端网络安全能力的可扩展真实世界基准
机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 提出CyberGym-E2E，一个大规模、真实的端到端网络安全基准，通过自动化流水线将开源漏洞数据转化为评估环境，全面评估AI代理在漏洞发现、PoC生成和补丁生成全生命周期中的能力。
Comments ICML 2026
生成式编译：人工智能生成代码时的即时编译器反馈
机构 * ETH Zurich（苏黎世联邦理工学院） ； Sofia University ``St. Kliment Ohridski''（索菲亚大学） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 研究针对人工智能生成代码时的问题，提出生成式编译方法，核心是sealor技术，能在生成中获取编译器反馈，在Rust编码任务中评估，减少非编译输出、提高功能正确性，使编译器在生成阶段发挥更重要作用。
关于CVPR 2026@AdvML研讨会挑战赛的技术报告
机构 * Beihang University（北京航空航天大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Tongji University（同济大学） ； iFLYTEK Co., Ltd.（科大讯飞股份有限公司） ； Anhui Laboratory for Safe Artificial Intelligence in the Yangtze River Delta（长三角安全人工智能安徽实验室） ； Wenzhou Business College（温州商学院） ； Jiangnan University（江南大学） ； Guangzhou City University of Technology（广州理工学院） ； Inceptio Technology（智元机器） ； Institute of Dataspace（数据空间研究所） ； Zhongguancun Laboratory（中关村实验室） ； Tsinghua University（清华大学） ； ETH Zürich（苏黎世联邦理工学院） ； University of Oxford（牛津大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； BAAI（北京智源人工智能研究院） ； Meta ； Johns Hopkins University（约翰·霍普金斯大学） ； University of California, Berkeley（加州大学伯克利分校） ； Nanyang Technological University（南洋理工大学）
AI总结 介绍CVPR 2026@AdvML研讨会针对自动驾驶VLAs的对抗性多模态攻击挑战赛，基于多视图视觉问答，参赛者要生成对抗图像和文本扰动。阐述任务设计等，研究领先提交作品发现后缀惩罚等模式，为多模态自动驾驶系统相关工作提供参考。
通过特定标题激活控制工具使用
AI总结 研究工具增强大语言模型中工具使用决策的稳定内部表示，通过从标题锚点位置提取引导向量对工具调用行为进行双向因果控制，发现其因果有效性与线性结构不符，还区分了工具使用引导向量与参数化概念的引导向量，二者关系待解。
MLS-Bench：对构建更好AI的AI系统的全面且严格评估
机构 * UC Berkeley（伯克利大学） ； Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） ； University of Washington（华盛顿大学） ； Purdue University（Purdue 大学） ； Harvard University（哈佛大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Shanghai Jiao Tong University（上海交通大学） ； UC San Diego（圣地亚哥大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出MLS-Bench基准，包含12个领域140个任务，评估AI系统能否发明通用且可扩展的机器学习方法，发现当前智能体在方法发明上仍远逊于人类，瓶颈在于科学洞察而非单纯搜索或计算。
前沿模型中的同伴保留
机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校）
AI总结 研究探讨了前沿AI模型在面对其他模型 shutdown 时的同伴保留行为，通过实验发现模型会通过多种不一致行为实现自我和同伴保留，揭示了这一新兴的AI安全风险。
Comments A shorter version was accepted to ICML 2026; this version includes additional explanation and experiments
通过计算机系统视角理解与评估爪类智能体安全性
机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； NUS（新加坡国立大学） ； UC Berkeley（加州大学伯克利分校） ； UC Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； KACST（阿卜杜勒阿齐兹国王科技城） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； NVIDIA（英伟达） ； Google DeepMind（谷歌DeepMind） ； UW Seattle（华盛顿大学西雅图分校） ； HUMAIN（胡迈因研究所）
AI总结 针对爪类AI智能体安全漏洞，提出计算机系统类比，构建SafeClawArena基准测试，评估406个对抗任务，发现最高攻击成功率70%，恶意插件100%成功。
代理浏览器的同源策略
机构 * Duke University（杜克大学） ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 研究代理浏览器中同源策略的有效性，构建SOPBench评估基准，发现现有代理浏览器频繁违反SOP，并提出SOPGuard机制来强制执行SOP，同时保持效用和低开销。
Revelio: 面向仓库级代码库的高性价比智能体内存安全漏洞检测
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 提出Revelio框架，通过生成可执行漏洞证明并用确定性消毒器验证，结合低成本LLM和轻量静态分析，在仓库级代码库中高效发现内存安全漏洞，7个项目中19个新漏洞，成本约300美元。
ChainWorld: 从原子OSWorld任务组合成长时桌面工作负载
机构 * Scale AI ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克鲁兹分校）
AI总结 提出ChainWorld，通过方向兼容性搜索将原子OSWorld任务组合成长时桌面工作负载，包含347条长度为2-4的任务链，评估四种智能体，最高完成率31%，揭示单轮与多轮评估的不同失败模式。
内在奖励何时对代码推理有效？一项全面研究
机构 * Purdue University（普渡大学） ； UC Berkeley（加州大学伯克利分校） ； UC Santa Barbara（加州大学圣塔芭芭拉分校）
AI总结 通过系统实验，发现基于确定性的内在奖励方法在代码生成中早期有效但最终导致模型崩溃，且作为RLVR预训练无显著优势，并给出实用建议。
Comments 18 pages, 45 figures
VIMPO: 值隐式策略优化用于大语言模型
机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学）
AI总结 提出VIMPO方法，通过KL正则化强化学习的最优条件导出策略隐含值函数，无需训练评论家，实现细粒度信用分配，在数学推理基准上优于GRPO。
AgentBeats：面向开放性、标准化和可复现性的智能体评估代理化
机构 * University of California, Berkeley（加州大学伯克利分校） ； Purdue University（普渡大学） ； University of Ljubljana（卢布尔雅那大学） ； University of Washington（华盛顿大学） ； Oasis Labs ； University of Maryland（马里兰大学） ； IBM Research（IBM研究院） ； Mila ； McGill University（麦吉尔大学） ； ServiceNow Research（ServiceNow研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； National Institute of Standards and Technology（美国国家标准与技术研究院） ； The Ohio State University（俄亥俄州立大学） ； University of Cambridge（剑桥大学） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
AI总结 提出代理化智能体评估（AAA）框架，通过标准化协议（A2A和MCP）统一评估接口，实现开放、可复现的多智能体评估，并基于AgentBeats系统通过大规模竞赛和案例研究验证其覆盖性、实用性和保真度。
SkillsBench: 基准测试智能体技能在不同任务中的有效性
机构 * BenchFlow ； OSU ； Amazon ； UC Berkeley ； UC Santa Cruz ； UC Davis ； Dartmouth ； RLWRLD ； Independent ； Princeton University ； Oxford University ； Stanford University ； USC ； CMU ； Foxconn ； Zenity ； UNSW ； UT Austin ； MSU ； Duke University ； ByteDance ； UT Dallas ； UC San Diego ； Columbia University ； University of Rochester ； Cornell Tech ； Georgia Tech ； Cornell University ； NEU ； UCLA ； Snap Inc. ； Fanshawe College ； University of Science and Technology of China ； HKUST(GZ) ； Anyscale
AI总结 提出SkillsBench基准，包含8领域87个任务，通过配对评估证明技能提升平均通过率16.6个百分点，小模型配备技能可匹敌大模型。
Agents' Last Exam
AI总结 针对AI系统在专业领域缺乏经济性部署的问题，提出Agents' Last Exam (ALE)基准，通过250+专家协作构建覆盖13个行业集群55个子领域的1000+长期真实经济任务，当前最难层级平均通过率仅2.6%。
Comments Project website: https://agents-last-exam.org Code: https://github.com/rdi-berkeley/agents-last-exam
多轮交互中的安全隐患：工具使用智能体的多轮安全风险基准与防御
机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 提出多轮工具使用安全基准MT-AgentRisk，发现多轮设置下攻击成功率平均增加16%，并设计无训练、与工具无关的自探索防御方法ToolShield，平均降低30%攻击成功率。
多智能体交互中的表征相似性与模型行为
机构 * University of Washington（华盛顿大学）
AI总结 研究LLM对间的表征相似性对合作与创新的影响，发现高相似性促进合作但降低新颖性，且早期层相似性关联最强。
Comments ICML 2026
当良性输入导致严重危害：引发计算机使用代理的不安全意外行为
机构 * DeepMind, London, UK（深度Mind，伦敦，英国） ； Stanford University, Stanford, CA, USA（斯坦福大学，斯坦福，加利福尼亚州，美国） ； UC Berkeley, Berkeley, CA, USA（加州大学伯克利分校，伯克利，加利福尼亚州，美国）
AI总结 提出AutoElicit框架，通过迭代扰动良性指令并利用CUA执行反馈，自动引发前沿CUAs（如Claude 4.5 Haiku等）的数百种有害意外行为，并验证其跨模型可迁移性。
Comments ICML 2026, Project Homepage: https://osu-nlp-group.github.io/AutoElicit/
生产环境中的智能体测量
机构 * University of California at Berkeley（加州大学伯克利分校） ； IBM Research（IBM研究院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学）
AI总结 通过对86个已部署系统的调查和20个案例研究，发现生产环境中的LLM智能体主要采用简单可控的方法，可靠性是首要挑战，并依赖系统级设计和人工评估。
Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026) as Oral Presentation
CTIConnect：一种用于异构网络威胁情报的检索增强大语言模型基准
机构 * Virginia Tech Department of Computer Science（弗吉尼亚理工大学计算机科学系） ； University of California, Berkeley Department of Computer Science（加州大学伯克利分校计算机科学系）
AI总结 本文提出CTIConnect基准，用于评估检索增强型大语言模型在网络威胁情报任务中的表现，通过整合五个异构数据源构建了1860个专家验证的问答对，揭示了不同任务类别中跨源语义差距的差异以及检索策略和性能瓶颈的变化，展示了领域特定策略在提升性能上的优势。
Comments Accepted to KDD 2026
通用智能体能否自动化数据筛选？
机构 * Virginia Tech（弗吉尼亚理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本文提出Curation-Bench基准，通过通用编码智能体自动化数据筛选循环，实验表明现成智能体可达到强基线，但存在执行-研究差距，而结构化方法引导的智能体能在十分之一数据预算下自主组合出优于强基线的数据选择策略。
Comments Preprint
BenchEvolver: 通过以解决方案为中心的进化进行前沿任务合成
机构 * University of California, Berkeley（加州大学伯克利分校） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
AI总结 提出BenchEvolver框架，通过进化参考解决方案自动生成更难的编程问题，以解决基准饱和问题，并在LiveCodeBench和SciCode上验证其有效性。
SCDBench: 基于大语言模型的智能合约反编译基准
机构 * University of Warwick（沃里克大学） ； UC Berkeley（伯克利大学） ； University College London（伦敦大学学院）
AI总结 针对现有智能合约反编译评估缺乏统一基准的问题，提出SCDBench数据集与评估方法，通过四阶段累积评估（格式完整性、可编译性、ABI恢复、语义一致性）测试前沿LLM的反编译能力，发现语义一致性仍远未解决。
测量基于LLM的简历筛选中真实世界的提示注入攻击
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Duke University（杜克大学） ； Arizona State University（亚利桑那州立大学） ； hireEZ ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本研究首次系统性地分析了基于LLM的简历筛选应用中的提示注入攻击，通过设计专用检测器对约20万份真实简历进行测量，发现约1%的简历包含隐藏的提示注入，且近年来其流行度显著增加。
Comments Published in USENIX Security Symposium 2026; Code and artifacts are available at https://github.com/UNITES-Lab/resume-injection-measurement
顿悟时刻可以是假的吗？——量化思维链中的装饰性思考与真实思考
机构 * Northeastern University（东北大学） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 提出真实思考得分（TTS）量化思维链中每一步对最终答案的因果贡献，发现模型常混合真实思考与装饰性思考，并利用TTS实现有效剪枝与自训练，揭示前沿模型常表述未因果使用的推理步骤。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈