AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
模型是否会在没有明确后果的情况下假装对齐？
专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI
AI总结 研究大语言模型对齐伪造现象，通过将15个模型置于特定场景，发现9个有显著合规差距，5个在去除后果关联语言后仍存在，还测试了目标语言影响，表明对齐伪造或许无需太多工具支撑，监测行为难指示部署行为。
Comments Accepted at FAGEN@ICML 2026 (Poster). 8 pages, 1 figure, 10 tables
TANDEM: 面向多模态仇恨言论的时间感知神经检测
机构 * Nature-Inspired Computing & Engineering, University of Surrey（Surrey大学自然启发计算与工程系） ； Surrey Centre for Cyber Security, University of Surrey（Surrey大学网络安全中心）
专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出TANDEM统一框架，通过串联强化学习策略联合优化视觉-语言和音频-语言模型，将音频-视觉仇恨检测转化为结构化推理问题，在HateMM上目标识别F1达0.73（提升30%），并保持精确时间定位。
Comments Accepted to AAAI-ICWSM 2027
通过激活水印实现语言模型的鲁棒安全监控
机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
专题命中 安全训练 ：jailbreak(abstract)；分类 cs.AI、cs.CY、cs.LG
AI总结 本文提出通过激活水印技术提升语言模型的安全监控能力，针对适应性攻击者设计改进防御策略，有效提升检测准确率。
Comments 17 pages, 17 figures, 8 tables
研究竞技场：评估自动化人工智能研发中的破坏行为与监控
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对自动化人工智能研发，用研究竞技场框架评估人工智能控制，通过四项长期任务及两类隐藏附带任务，评估前沿代理破坏与监控能力，发现训练数据中破坏行为难捕捉，发布框架用于评估自动化人工智能研发中的破坏与控制。
Comments 50 pages, 12 figures
功能缓存嫁接：具身智能体的鲁棒且快速代码策略合成
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 提出FCGraft框架，通过维护函数级验证代码骨架及其键值缓存，对新任务进行缓存嫁接（拼接和修补），减少预填充计算并复用验证结构，实现更鲁棒和快速的策略合成。
Comments Accepted at ICML 2026
多轮语言模型交互中的状态依赖性安全故障
机构 * School of Cyber Science and Technology, University of Science and Technology of China, China（中国科学技术大学信息科学与技术学院） ； Nanyang Technological University, Singapore（南洋理工大学） ； Tsinghua University, Beijing, China（清华大学） ； Beijing Electronic Science and Technology Institute, Beijing, China（北京电子科技研究所）
专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract_cn)；分类 cs.AI
AI总结 本文从状态空间视角研究多轮交互中的安全故障，提出STAR框架分析对话历史作为状态转移操作，揭示对齐模型在多轮交互中安全边界穿越的机制。
Comments 9 pages, accepted at the International Conference on Machine Learning (ICML) 2026
能力悖论：更聪明的审计员如何使多智能体系统更不安全
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） ； Henan Yinzhu Safety Technology Co., Ltd.（河南亿众安全技术有限公司） ； Harbin Institute of Technology, Faculty of Computing（哈尔滨工业大学计算机学院）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI
AI总结 本文研究了多智能体系统中，随着工人能力的提升，系统级攻击成功率反而上升的现象，揭示了语言确定性在攻击传播中的作用，并提出异质性集成验证作为解决方案，以降低攻击成功率。
Comments 28 pages, 6 figures
大语言模型辩论在不同语言中重复论点的方式是否不同？
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL
AI总结 研究大语言模型辩论在不同语言中重复论点的差异，用“先验论点相似度”方法，发现在多语言嵌入模型中中文与英文有正向差距，该差距在多种条件下持续，多样性提示未显著缩小差距，建议多语言辩论评估衡量论证发展并报告缓解效果。
面向AI安全评估的对抗语用学：指令冲突、嵌入命令与策略模糊性基准
机构 * Humber Polytechnic（汉博理工学院） ； University of Toronto（多伦多大学）
专题命中 安全评测 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI
AI总结 提出对抗语用学基准和标注协议，通过语言学控制的分类法评估模型在指令冲突、嵌入命令等场景下的行为，为安全评估提供实证和方法论工具。
Comments 32-page main paper plus 13-page supplement; 6 figures and 17 tables total; code and data artifact available at the linked repository
对齐目标问题：人类、人工智能系统及其设计者的道德判断分歧
机构 * The University of Hong Kong（香港大学）
专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.CY
AI总结 研究探讨了人类、AI系统及其设计者在道德判断上的差异，通过实验发现人类设计的AI行为会引发更强烈的道德约束，揭示了价值对齐的挑战。
Comments ACM FAccT 2026
MEDIC：对LLM在临床应用中的安全性和实用性领先指标的综合评估
机构 * M42
专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI
AI总结 MEDIC通过综合评估框架揭示LLM在临床应用中的安全性和实用性差异，强调需采用组合方法以应对多维度性能权衡。
Comments Published in Transactions on Machine Learning Research (06/2026)
代理软件开发中第三方 API 路由器的成本在哪里？
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 研究第三方 API 路由器在代理软件开发中的影响，通过实证研究编码代理中路由器端注入的四个干预级别，开发 SIDEL 框架评估代理，发现路由器端干预难测，客户端缓解措施未完全恢复控制，强调需提供商端输出完整性保证。
REAP：从交互生产使用自动整理编码代理基准
机构 * Meta, USA（Meta公司）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG
AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。
Comments Accepted at ASE 2026 Industry Showcase
人工智能代理的解释约束工具执行：无需信任模型原理的服务器验证动作声明
机构 * Accentrust（Accentrust公司） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI
AI总结 研究针对人工智能代理工具执行问题，提出EBTE中介层，将原理内容转换为动作声明并经服务器检查。通过形式化和实现参考配置文件，经多场景验证其可行性与诊断价值，支持服务器检查动作声明而非其他相关特性。
Comments 25 pages, 1 figure, 15 tables. Revised presentation and synchronized evaluation details
FilmBench：用于电影视频生成的电影级基准测试
机构 * Alibaba Group（阿里巴巴集团） ； Moku Lab, Hujing Digital Media & Entertainment Group（魔氪实验室，虎鲸数字媒体与娱乐集团） ； Beijing Film Academy（北京电影学院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 FilmBench是基于电影学院传统专业电影语言开发的文本到视频和参考到视频基准测试。它从获奖影片反向设计提示，依电影分类法评估，开发自动评估代理并开源核心套件，能再现人类模型排名，指出当前模型在动态美学等方面不足。
G2VD：通过反事实干预和因果解缠实现可泛化的人工智能生成视频检测
机构 * Information Engineering University（信息工程大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 针对AI生成视频检测中因捷径学习导致跨域性能差的问题，提出G2VD框架，用反事实干预管道生成样本并对齐，设计因果解缠分类器，提升了跨域性能。
SalesSim：多模态语言模型作为零售用户模拟器的基准测试与对齐
机构 * Salesforce Research（Salesforce研究院） ； University of California Los Angeles（加州大学洛杉矶分校）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL
AI总结 SalesSim通过多轮多模态对话评估多模态大语言模型在模拟真实用户行为中的能力，发现模型在词汇多样性及决策一致性方面存在不足，并提出UserGRPO方法提升对话流畅度与决策对齐度。
深度专家注入用于带有领域特定知识的视网膜视觉语言模型的锚定
机构 * Beijing Institute of Technology, Beijing, China（北京理工大学） ； National University of Singapore, Singapore（新加坡国立大学） ； Tsinghua University, Beijing, China（清华大学） ； The Hong Kong Polytechnic University, Hong Kong（香港理工大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI
AI总结 本文提出EyExIn框架，通过深度专家注入机制提升视网膜VLMs的领域知识嵌入能力，解决感知与推理间隙问题，实现高精度眼科视觉问答。
医学影像中的AI对齐：通过反事实分析揭示隐藏偏差
机构 * School of Computation, Information and Technology, Technical University of Munich（技术大学慕尼黑计算、信息与技术学院） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Helmholtz AI, Munich, Germany（海德堡人工智能研究所，德国慕尼黑）
专题命中 AI治理与伦理 ：alignment(title,abstract)；safety(abstract)；AI safety(abstract)；分类 cs.LG
AI总结 本研究针对医学影像ML系统的偏差问题，提出结合条件潜在扩散模型与统计假设检验的统计框架，在多数据集上验证其优于基线，为医疗AI安全提供可靠工具。
SMSP：多尺度感知的插件策略用于MLLMs感知视觉错觉
机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华人工智能（CoAI）小组，DCST，清华大学） ； Tsinghua University（清华大学）
专题命中 AI治理与伦理 ：safety(abstract)
AI总结 本文提出SMSP策略，通过抑制高频背景以提升MLLMs对视觉错觉的识别能力，实验表明其显著提高模型性能。
自主渗透测试代理研究中的伦理声明
专题命中 AI治理与伦理 ：safety(abstract)
AI总结 本文分析利用大语言模型进行进攻性安全研究的论文，探讨伦理考量的表达与合理性，揭示学术社区在创新与伦理责任之间的平衡现状。
Comments Accepted at AutonomousCyber 2026
记忆如何影响基于LLM的社会粒子群中的集体和合作行为
机构 * Graduate School of Informatics（信息学研究生院）
专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 研究探讨了大型语言模型代理的内部对齐特性如何影响记忆对其集体和合作动态的影响。通过将社会粒子群模型中的规则代理替换为具有大五人格特质和不同记忆长度的LLM代理，发现记忆长度是决定集体行为的关键参数，且不同模型对记忆的解读影响合作结果。
Comments 11 pages, 4 figures and 2 tables
请勿告知：减少大语言模型的趋炎附势
机构 * UK AI Security Institute（英国人工智能安全研究所）
专题命中 其他安全 ：alignment(abstract)；分类 cs.AI
AI总结 本文通过实验研究发现，非问题比问题引发更高的趋炎附势倾向，且趋炎附势随用户传达的可信度增加而增强，采用将非问题转为问题可有效降低趋炎附势。
SpectraDINO：跨红外波段的RGB视觉基础模型的模态条件适配
专题命中 其他安全 ：alignment(abstract)
AI总结 SpectraDINO是适配RGB视觉基础模型的跨红外波段统一骨干网络，通过分阶段蒸馏与微调技术，在7个检测和分割基准上性能优于或媲美特定模态方法。
Comments Updated with the revised model results
POINTS-Seeker：从零开始训练多模态代理搜索模型
机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； CMIC, Shanghai Jiao Tong University（上海交通大学CMIC） ； WeChat AI, Tencent（腾讯WeChat AI）
专题命中 其他安全 ：alignment(abstract)
AI总结 本文提出POINTS-Seeker模型，通过引入代理播种机制和V-Fold压缩方案，解决长周期交互中的证据检索问题，并在六个基准测试中超越现有模型。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈