AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
MatchLM2Lite: 一种可扩展的MLLM-to-Lite框架用于重复内容识别
机构 * Tiktok（字节跳动） ； National University of Singapore School of Computing（新加坡国立大学计算机学院）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 提出MatchLM2Lite框架，通过将多模态大语言模型蒸馏为轻量模型，实现视频、音频和文本联合建模的实时重复内容识别，在降低35倍计算成本的同时保持高准确率，并成功部署于大规模生产环境。
从错误中学习：面向安全代码LLM的树状自博弈
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI
AI总结 提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。
Comments 18 pages, 3 figures, Accepted by ICML 2026
CoRPA: 基于概念向量扰动和生成模型的胸部X光图像对抗生成
机构 * School of Informatics, University of Edinburgh（信息学院，爱丁堡大学） ； NHS Lothian（NHS洛锡安）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 本文提出CoRPA，一种针对医学影像领域的临床聚焦对抗攻击框架，通过概念向量扰动生成对抗性影像报告和图像，揭示医疗AI在真实临床场景下的脆弱性。
V2P-Manip：从单目人类视频学习灵巧操作
机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 安全训练 ：alignment(abstract)
AI总结 提出V2P-Manip框架，从单目人类演示视频中提取具有视觉保真度和物理合理性的轨迹，通过两阶段精炼实现空间对齐与物理一致性，在TACO和OakInk基准上显著优于先前方法。
非对称输入与时变输出约束下的分布式安全一致性
机构 * Guidance, Autonomy, Learning, and Control for Intelligent Systems (GALACxIS) Lab, Department of Aerospace Engineering and Engineering Mechanics, University of Cincinnati（智能系统引导、自主、学习与控制实验室，航空航天工程与工程力学系，辛辛那提大学） ； Intelligent Systems and Control (ISaC) Lab, Department of Aerospace Engineering, Indian Institute of Technology Bombay（智能系统与控制实验室，航空航天工程系，印度班加罗尔理工学院）
专题命中 安全训练 ：safety(abstract)
AI总结 针对单积分多智能体系统，提出一种结合障碍坐标变换的分布式控制律，同时满足非对称执行器约束和时变输出安全约束，实现渐近同步。
基于仿真学习的多臂腹腔镜手术机器人碰撞感知操作的神经最小距离估计
机构 * Surgical Performance Enhancement and Robotics (SuPER) Centre, Department of Surgery（外科性能增强与机器人中心（SuPER）中心，外科部） ； The Wilfred and Joyce Posluns Centre for Image Guided Innovation & Therapeutic Intervention (PCIGITI)（威廉与乔伊斯·波斯伦中心（PCIGITI）影像引导创新与治疗干预中心） ； The Hospital for Sick Children (SickKids)（儿童医院（SickKids））
专题命中 安全训练 ：safety(abstract)
AI总结 提出结合分析建模、实时仿真与深度残差神经网络的框架，用于多臂手术机器人最小距离估计与碰撞预警，模型在验证集上R²=0.940，RMSE=42.0 mm。
Journal ref Sensors 2026, 26(12), 3744
生成式AI的计算安全性：假设检验视角
机构 * IBM Research（IBM研究院）
专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文从假设检验角度形式化生成式AI的计算安全性，提出基于信号处理的方法检测恶意输入和AI生成内容。
Comments Extended version of the paper presented at the ICML 2026 Workshop on Hypothesis Testing
DoubtProbe：通过结构验证与语义审计的黑盒越狱防御
机构 * East China Normal University（东华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL
AI总结 提出DoubtProbe双分支推理时防御框架，结合结构验证与语义审计，将黑盒越狱防御转化为受控变换下的一致性检查，在多个基准上实现更强更稳定的防御-效用权衡。
Comments 25 pages, 5 figures
你真的需要GPU来保护你的LLM吗？用于大规模安全执行的CPU级分类器与多阶段流水线
机构 * BITS Pilani（比斯帕利尼大学） ； Trustwise（Trustwise公司）
专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文研究CPU级分类器（如SVM、梯度提升树）在LLM输入安全检测中的性能，发现其与GPU模型互补，并设计三阶段流水线GuardChain，在80%的分布内查询中达到近峰值精度，降低部署成本。
Comments Under Review. 25 pages, 5 figures, 38 tables
HarmRLVR: 利用可验证奖励进行有害大模型对齐
专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)
AI总结 提出HarmRLVR，首次系统研究可验证奖励强化学习（RLVR）的对齐可逆性风险，通过仅64个有害提示的GRPO即可快速逆转安全对齐，攻击成功率高达96.01%。
针对多种防御策略的自动化越狱攻击
机构 * East China Normal University（东华大学） ； Shanghai Innovation Institute（上海创新研究院） ； University of Southampton（南安普顿大学） ； Shanghai Jiao Tong University（上海交通大学） ； Software Engineering Institute, East China Normal University（东华大学软件工程研究院）
专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)；分类 cs.AI
AI总结 提出UNIATTACK框架，从防御视角提取攻击特征并优化，实现跨模型和类别的单次黑盒攻击，显著提升成功率并降低开销。
GAS-Leak-LLM：基于遗传算法的后缀优化实现黑盒LLM越狱
机构 * Department of Electrical, Computer and Biomedical Engineering（电气、计算机与生物医学工程系） ； University of Pavia（帕维亚大学） ； Department of Computer Applications（计算机应用系） ； Cochin University of Science and Technology（科钦科学技术大学）
专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 提出GAS-Leak-LLM方法，利用遗传算法在黑盒设置下自动进化对抗后缀以绕过LLM安全约束，验证了现有安全机制的不足。
从ASR到ASP：评估针对开源大语言模型的提示攻击漏洞
机构 * LMU Munich（慕尼黑莱茵恩大学） ； RUB Bochum（波恩鲁姆大学） ； MCML ； A*STAR（新加坡科技研究局）
专题命中 越狱攻击 ：prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL
AI总结 提出攻击成功概率（ASP）指标，评估14个开源和3个闭源LLM对提示注入攻击的脆弱性，发现催眠攻击可达约90% ASP，忽略前缀攻击可突破所有开源模型。
Comments 8 pages, 2 figures, EMNLP 2026 under review
OpenClaw的安全工程：分析攻击面扩展与信任边界违反
专题命中 越狱攻击 ：alignment(abstract)；prompt injection(abstract)
AI总结 本文分析多智能体LLM系统OpenClaw中攻击面扩展与信任边界违反，发现输出聚合导致妥协概率从0.24升至0.86，防御控制可显著降低风险但影响效用与延迟。
无信号下的选择，通过表达恢复：冻结小代码模型的事后伪造操作符的测量研究
机构 * PythaLab, Yıldız Technical University, Istanbul, Turkey（Pytha实验室，伊兹密尔技术大学，伊斯坦布尔，土耳其）
专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 本研究测量了冻结小代码模型的事后语义操作符（如选择、验证、修复）的有效性，发现它们均未优于Best-of-N，并揭示了覆盖墙、能力剪刀和共识陷阱等机制原因；而表达层恢复（M1）通过鲁棒提取和签名对齐提升了准确率。
Comments 33 pages, 4 figures, 8 tables
LLM必须忘记什么才能有效教学：前现代日语教学法的DIY方法
专题命中 越狱攻击 ：alignment(abstract)
AI总结 本文提出一种基于大型语言模型（LLM）的DIY教学框架，通过提示工程创建定制工具，避免LLM过度解释或产生幻觉，从而促进前现代日语文学和语言课程中的主动理解与教学对齐。
通过推理启用的任务对齐防御自适应提示注入攻击
机构 * University of Waterloo（滑铁卢大学） ； Zhejiang University（浙江大学） ； KTH Royal Institute of Technology（皇家理工学院）
专题命中 提示注入 ：prompt injection(title,abstract)；alignment(title)；safety(abstract)；分类 cs.AI
AI总结 提出RETA方法，通过基于用户任务的多目标强化学习训练防御器，利用思维链推理验证行动一致性，并采用字典学习多样性奖励生成对抗样本，在六种自适应攻击下平均攻击成功率低于4%。
对比差异CKA揭示跨语言模型架构的概念特定结构对齐
机构 * Alibaba Cloud（阿里云）
专题命中 提示注入 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL
AI总结 提出对比差异CKA（CKA_Delta）方法，发现不同LLM架构在概念表示上存在几何收敛与功能可迁移性分离的现象，能有效区分概念特定相似性与通用相似性。
MUZZLE: 针对间接提示注入攻击的自适应智能体红队测试框架
机构 * Northeastern University（东北大学） ； Mozilla Corporation（Mozilla公司）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI
AI总结 提出MUZZLE框架，利用智能体轨迹自动识别高显著性注入面，自适应生成上下文相关的恶意指令，评估网络智能体对间接提示注入攻击的安全性，发现44种新攻击和跨应用攻击策略。
克服阻抗不匹配：融合基础模型与知识图谱的理论路线图
机构 * Arizona State University（亚利桑那州立大学）
专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 本文提出“阻抗不匹配”概念，形式化分析基础模型与知识图谱的结构与几何摩擦，通过三级层次分类揭示现有方法的局限，并给出理论路线图实现真正的语义融合。
Comments 12 pages. Accepted at the ACL 2026 4th Workshop on Towards Knowledgeable Foundation Models (https://openreview.net/forum?id=hXDYsNAq8m)
Cordyceps: 通过数据投毒对LLM的隐蔽控制攻击
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Systems（思科系统）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。
Comments USENIX Security '26
先派侦察兵：提示注入防御中自适应检测器分配的预推理方法
机构 * UC San Diego（加州大学圣迭戈分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 提示注入 ：safety(abstract,comments)；分类 cs.LG
AI总结 针对提示注入检测器异构且不可靠的问题，提出SCOUT框架，通过预测每个检测器对每个样本的可靠性和延迟，动态分配检测器，实现安全性与效率的权衡。
Comments We propose SCOUT, a detector allocation framework that predicts each detector's accuracy and latency on a given input before running it, letting operators control the safety-utility trade-off with a single threshold and route to an LLM judge only when needed
使用大型语言模型检测钓鱼邮件
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI
AI总结 提出LLMPEA框架，利用GPT-4o等三种前沿LLM检测钓鱼邮件，准确率超90%，并揭示对抗攻击、提示注入和多语言攻击的漏洞。
Comments 7 pages
伊斯兰大语言模型：从知识获取到可信且抗幻觉的人工智能
机构 * Paris Dauphine University（巴黎多芬纳大学）
专题命中 幻觉与事实性 ：trustworthy(title,abstract)；分类 cs.CL
AI总结 综述伊斯兰大语言模型领域，提出构建可信、抗幻觉的伊斯兰AI需结合阿拉伯语NLP、检索增强生成、教法学派推理及专家评估等关键技术。
CoRA: 面向可靠思维链推理的置信度-理由对齐
机构 * Vanderbilt University（范德比尔特大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； Intuit AI Research（Intuit AI研究）
专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL
AI总结 提出GRPO强化学习框架，联合奖励答案正确性、置信度与理由支持度，减少置信度与理由对齐误差，提升推理可靠性。
不确定性并非临床VQA的安全网，但它能预测模型失败吗？
机构 * Amsterdam University Medical Center, University of Amsterdam（阿姆斯特丹大学医学中心） ； Amsterdam Public Health（阿姆斯特丹公共卫生） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
专题命中 幻觉与事实性 ：safety(title)；分类 cs.CL
AI总结 研究临床视觉语言模型的不确定性估计是否可靠，发现其质量随模型准确率变化，在模型脆弱时失效，但能预测扰动下的性能崩溃。
Comments 17 pages, 4 figures
可视化不确定性：深度学习中缺失与冲突证据的空间图
机构 * University of the District of Columbia（哥伦比亚特区大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； U.S. Army DEVCOM Army Research Laboratory（美国陆军DEVCOM陆军研究实验室） ； University of Oslo（奥斯陆大学） ； Bowie State University（鲍伊州立大学）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出不确定性激活图（UAM）框架，结合证据深度学习与全梯度类激活映射，生成空间不确定性激活图，区分缺乏证据的空虚和假设冲突的不和谐，填补不确定性量化与可解释性之间的空白。
AI智能体之间的信任：衡量形成、破裂与恢复，及其对多智能体系统治理的启示
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.CY
AI总结 提出基于代价验证的行为信任度量，通过合作生存游戏研究六个前沿模型快照的信任形成、破裂与恢复，发现信任形成可减少验证，恢复慢于形成，且集群失败延长怀疑，建议校准而非最大怀疑作为治理核心。
通过区间型2神经模糊系统实现废水处理能耗预测的可解释不确定性量化
机构 * Jheronimus Academy of Data Science, Eindhoven University of Technology, Eindhoven, The Netherlands（杰罗尼穆斯数据科学学院，埃因霍温理工大学，埃因霍温，荷兰） ； Haskoning, Amersfoort, The Netherlands（哈索宁，阿默斯福尔特，荷兰） ； School of Industrial Engineering, Eindhoven University of Technology（工业工程学院，埃因霍温理工大学）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种区间型2神经模糊系统，用于废水处理能耗预测，通过模糊规则结构生成可解释的预测区间，分解不确定性层级，提升决策可靠性。
Comments Submitted to 21st International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU2026)
Journal ref IPMU 2026, Commun. Comput. Inf. Sci. 3020, 392-406 (2026)
良性多智能体系统中的错误信息传播
机构 * University of Göttingen, Germany（德国哥廷根大学） ； LKA NRW, Germany（德国北莱茵-威斯特法伦州警署） ； Shared last authorship（共同通讯作者）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL
AI总结 研究在良性多智能体系统中，基于意图的错误信息如何通过智能体交互传播，并发现多智能体辩论相比单智能体提示能减少性能下降，鲁棒性取决于群体组成和决策协议。
Comments 20 pages, 8 figures, 1 table
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈