大模型对齐与安全

CyberLLM: A Multi-Agent LLM Framework for Autonomous Detection and Guarded Response in Automotive Cybersecurity

CyberLLM：面向汽车网络安全的多智能体大语言模型框架，用于自主检测与受管控响应

Nenad Petrovic, Oussama Jeddou, Feres Ben Fraj, Vahid Zolfaghari, Fengjunjie Pan, Andre Schamschurko, Alois Knoll

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 CyberLLM是由大语言模型编排的多智能体框架，结合确定性检测层与大语言模型精化，在安全防护下实现汽车漏洞自主检测与修复，在基准测试中覆盖约70%漏洞且零误报，验证了LLM智能体自主防御的可行性。

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

TriShieldRAG：一种针对检索增强生成中知识腐败的三环深度防御框架

Susil Kumar Mohanty, Rohit Patel, Kosuru Yuvaraj, Jeenal Chaudhary, Disha Singhania

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对检索增强生成中知识腐败问题，构建TriShieldRAG框架，设置摄取防护、检索评分器和跨语言模型共识阶段三个环，推导环2和环3起作用的条件，评估表明该框架能大幅降低攻击成功率并保持良性查询准确性。

Distributed Quality-Diversity Search for Toxicity in Large Language Models

大型语言模型中毒性检测的分布式质量-多样性搜索

Onkar Shelar, Travis Desell

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)

AI总结 提出ToxSearch-S方法，通过增量式物种形成和MPI并行化，在有限预算下实现与基线相当的峰值毒性，同时降低累积搜索压力，并利用分布式计算显著加速搜索。

Comments 40 pages, 10 figures, preprint

Chain-of-Thought Reasoning In The Wild Is Not Always Faithful

现实中的思维链推理并不总是忠实的

Iván Arcuschin, Jett Janiak, Robert Krzyzanowski, Senthooran Rajamanoharan, Neel Nanda, Arthur Conmy

机构 * Poseidon Research（Poseidon研究） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现，在自然语言提示下，模型有时会生成表面连贯但自相矛盾的思维链，揭示出隐含的事后合理化现象，且前沿模型也未能完全避免。

Comments Published at the 43rd International Conference on Machine Learning (ICML 2026)

Security Engineering of OpenClaw: Analyzing Attack Surface Expansion and Trust-Boundary Violations

OpenClaw的安全工程：分析攻击面扩展与信任边界违反

Saeid Jamshidi, Arghavan Moradi Dakhel, Kawser Wazed Nafi, Foutse Khomh

专题命中 越狱攻击 ：alignment(abstract)；prompt injection(abstract)

AI总结 本文分析多智能体LLM系统OpenClaw中攻击面扩展与信任边界违反，发现输出聚合导致妥协概率从0.24升至0.86，防御控制可显著降低风险但影响效用与延迟。

Acoda: Adversarial Code Obfuscation for Defending against LLM-based Analysis

Acoda：对抗性代码混淆防御基于LLM的分析

Hongzhou Rao, Zikan Dong, Yanjie Zhao, Haodong Li, Haoyu Wang

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 提出基于遗传算法的对抗性代码混淆框架Acoda，通过8种语义保留的混淆方法迭代优化，有效诱导LLM拒绝或误判代码分析，在7个先进LLM上攻击成功率高达70%。

PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits

PLAGUE：面向多轮利用的终身自适应生成的即插即用框架

Neeladri Bhuiya, Madhav Aggarwal, Diptanshu Purwar

机构 * A10 Networks, Inc.（A10网络公司） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PLAGUE框架，通过终身学习启发的三阶段设计（Primer、Planner、Finisher）实现高效多轮越狱攻击，在o3和Opus 4.1等强安全模型上ASR提升超30%。

Comments Accepted in ICLR 2026

Benign Inputs, Harmful Outputs: Cross-Modal Jailbreaking via Distributed Semantic Recomposition

良性输入，有害输出：通过分布式语义重组的跨模态越狱

Yani Wang, Yilong Yang, Yang Liu, Zhuzhu Wang, Zuobin Ying, Zhuo Ma

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 提出分布式语义重组（DSR）框架，将有害意图分解为良性文本和视觉基元，利用多模态大模型的推理能力在跨模态推理阶段融合为有害输出，实现高攻击成功率且输入毒性极低。

Comments 11 pages, 5 figures

Adversarial Reframing: A Framework for Targeted Generation in Language Models

对抗性重构：一种用于语言模型针对性生成的框架

Shahnewaz Karim Sakib, Swati Kar, Anindya Bijoy Das

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 本文提出THREAT框架，通过协调多个语言模型进行迭代搜索，寻找文本劫持提示，并通过非凸优化问题解决提示发现问题，提高了攻击成功率并降低了计算成本。

TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models

TAME: 通过混合专家架构实现视觉语言模型的测试时对抗提示调优

Xin Wang, Yixu Wang, Jiaming Zhang, Ruofan Wang, Jiaqi Yu, Kai Chen, Jingjing Chen, Xingjun Ma, Yu-Gang Jiang

机构 * Fellow, IEEE（IEEE会士） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 本文提出TAME，一种基于混合专家架构的测试时防御方法，旨在提升视觉语言模型在对抗扰动下的鲁棒性，同时保持对清洁样本的泛化能力。

Sparse Autoencoders as Plug-and-Play Firewalls for Adversarial Attack Detection in VLMs

稀疏自编码器作为视觉语言模型中对抗攻击检测的即插即用防火墙

Hao Wang, Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh, Daisuke Kawahara

机构 * Magellan Technology Research Institute (MTRI)（马杰伦技术研究 institute） ； Waseda University（早稻田大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于稀疏自编码器的轻量级对抗攻击检测框架SAEgis，通过插入预训练VLM中的稀疏自编码模块，利用学习到的稀疏潜在特征检测对抗扰动输入，实验显示其在跨领域和跨攻击设置中表现优异，且无需额外对抗训练。

MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks

MASCing：通过激活引导掩码实现可配置的专家混合行为

Jona te Lintelo, Lichao Wu, Marina Krček, Sengim Karayalçin, Stjepan Picek

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 MASCing通过LSTM模型捕捉跨层路由依赖，利用引导矩阵优化专家电路，实现无需重新训练的MoE行为灵活重构，提升安全场景下的模型性能。

Spore: Efficient and Training-Free Privacy Extraction Attack on LLMs via Inference-Time Hybrid Probing

Spore：通过推理时间混合探测实现高效的隐私提取攻击

Yu Cui, Ruiqing Yue, Hang Fu, Sicheng Pan, Zhuoyu Sun, Baohan Huang, Haibin Zhang, Cong Zuo, Licheng Wang

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 本文提出Spore攻击，通过推理时间混合探测实现对LLM内存的隐私提取，无需训练，适用于黑盒和灰盒环境，具有高效查询和高信息泄露率。

NeuroStrike: Neuron-Level Attacks on Aligned LLMs

NeuroStrike：对对齐大语言模型的神经层面攻击

Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Maximilian Thang, Stjepan Picek, Ahmad-Reza Sadeghi

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 NeuroStrike通过利用对齐技术引入的稀疏安全神经元漏洞，提出了一种通用攻击框架，实现了对多种大语言模型的高效攻击。

Activation Surgery: Jailbreaking White-box LLMs without Touching the Prompt

激活手术：无需修改提示的白盒LLM劫持

Maël Jenny, Jérémie Dentan, Sonia Vanier, Michaël Krajecki

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 本文提出通过直接操控模型内部激活来改变生成轨迹，揭示拒绝产生的位置与机制，并抑制安全机制，探讨开放权重模型的安全影响。

Comments To appear in Proceedings of ESORICS 2026 (Springer LNCS)

SocialHarmBench: Revealing LLM Vulnerabilities to Socially Harmful Requests

SocialHarmBench: 揭示 LLM 对有害社会请求的脆弱性

Punya Syon Pandey, Hai Son Le, Devansh Bhardwaj, Rada Mihalcea, Zhijing Jin

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SocialHarmBench 通过 585 个提示揭示 LLM 在政治敏感场景中的脆弱性，揭示了模型在有害请求中的高风险表现。

Comments ICLR 2026

Accidental Vulnerability: Factors in Fine-Tuning that Shift Model Safeguards

意外漏洞：影响微调的因子

Punya Syon Pandey, Samuel Simko, Kellin Pelrine, Zhijing Jin

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； ETH Zürich（苏黎世联邦理工学院） ； FAR AI（FAR人工智能公司） ； McGill University（麦吉尔大学） ； MILA（蒙特利尔人工智能研究院） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（图宾根德国智能系统研究所） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究意外漏洞，揭示微调数据集特征对模型安全性和对抗鲁棒性的影响

Comments Second Conference of the International Association for Safe and Ethical Artificial Intelligence (IASEAI 2026)

Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting

通过细粒度细节靶向推动大视觉-语言模型攻击的前沿

Xiaohan Zhao, Zhaoyi Li, Yaxin Luo, Jiacheng Cui, Zhiqiang Shen

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过细粒度细节靶向改进M-Attack，显著提升黑盒攻击效果，成功率达100%

Comments Code at: https://github.com/vila-lab/M-Attack-V2

Eroding the Truth-Default: A Causal Analysis of Human Susceptibility to Foundation Model Hallucinations and Disinformation in the Wild

消解事实默认：对人类在真实世界中对基础模型幻觉和虚假信息易感性的因果分析

Alexander Loth, Martin Kappes, Marc-Oliver Pahl

机构 * Frankfurt University of Applied Sciences（法兰克福应用科学大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文通过双轴框架分析人类对基础模型幻觉和虚假信息的易感性，发现假新闻熟悉度是关键中介，提出应通过提升认知来源监控来确保信息可信。

Comments Accepted at ACM TheWebConf '26 Companion

Capability-Based Scaling Trends for LLM-Based Red-Teaming

基于能力的LLM红队测试规模趋势

Alexander Panfilov, Paul Kassianik, Maksym Andriushchenko, Jonas Geiping

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） ； Foundation AI – Cisco Systems Inc.（AI基础研究机构——思科系统公司） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过分析攻击者与目标模型能力差距，揭示了红队测试中攻击成功率随模型能力变化的趋势，提出jailbreaking scaling曲线以预测攻击效果。

Comments Published as a conference paper at ICLR 2026

Does Visual Rendering Bypass Tokenization? Investigating Script-Tokenizer Misalignment in Pixel-Based Language Models

视觉渲染能否绕过分词？探究基于像素的语言模型中脚本-分词器不一致问题

Lucky Susanto, Musa Izzanardi Wijanarko, Khumaisa Nur'aini, Farid Adilazuarda, Alham Fikri Aji, Derry Tanti Wijaya

机构 * Monash University Indonesia（墨尔本大学印尼分校） ； MBZUAI ； Boston University（波士顿大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究探讨了基于像素的语言模型中视觉渲染是否能绕过分词约束，发现重新引入文本分词器加剧了分词不一致问题，自定义分词器在性能上表现更优。

Comments Submitted to ARR January

Securing AI Agents in Cyber-Physical Systems: A Survey of Environmental Interactions, Deepfake Threats, and Defenses

在物理信息系统中保障AI代理：环境交互、深度伪造威胁及防御的综述

Mohsen Hatami, Van Tuan Pham, Hozefa Lakadawala, Yu Chen

专题命中 越狱攻击 ：safety(abstract)；trustworthy(abstract)

AI总结 本文综述了物理信息系统中AI代理的安全威胁，重点分析了环境交互、深度伪造攻击及MCP漏洞，并提出基于SENTINEL框架的防御策略与挑战。

RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

RECAP：一种资源高效的对抗性提示方法用于大型语言模型

Rishit Chugh

机构 * Rishit Chugh（独立研究者） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RECAP提出一种无需重新训练的高效对抗性提示方法，通过匹配预训练对抗性提示数据库，降低计算成本并提升攻击成功率。

Comments Code for RECAP is available at: https://github.com/R-C101/RECAP

Simulated Ensemble Attack: Transferring Jailbreaks Across Fine-tuned Vision-Language Models

模拟集成攻击：在微调视觉-语言模型之间转移劫持

Ruofan Wang, Xin Wang, Yang Yao, Juncheng Li, Xuan Tong, Xingjun Ma

机构 * Fudan University, Shanghai, China（复旦大学） ； The University of Hong Kong, Hong Kong, China（香港大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 本文提出SEA框架，通过模拟微调过程中的参数变化，实现跨不同微调变体的高效劫持攻击，揭示了微调导致的局部参数位移对攻击有效性的影响。

Paraphrasing Adversarial Attack on LLM-as-a-Reviewer

对LLM-as-a-Reviewer的改写对抗攻击

Masahiro Kaneko

机构 * MBZUAI（马克斯·普朗克人工智能研究所） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种针对LLM作为评审员的改写对抗攻击方法，通过优化生成改写序列以提高评审评分，同时保持语义和语言自然性，并验证了其有效性及潜在的检测信号。

Trust in LLM-controlled Robotics: a Survey of Security Threats, Defenses and Challenges

对LLM控制的机器人信任：安全威胁、防御和挑战的综述

Xinyu Huang, Shyam Karthick V B, Taozhao Chen, Mitch Bryson, Thomas Chaffey, Huaming Chen, Kim-Kwang Raymond Choo, Ian R. Manchester

机构 * School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院） ； Australian Centre for Robotics and School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（悉尼大学机器人中心及航空航天、机械与机电工程学院） ； Department of Information Systems and Cybersecurity, University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系统与网络安全系） ； School of Engineering and Natural Sciences, University of Iceland（冰岛大学工程与自然科学学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)

AI总结 本文综述了LLM控制机器人面临的安全威胁和防御策略，强调了具身系统中恶意输出的物理风险，并提出了安全规范和多LLM监督等防御方法。

GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs

GateBreaker: 对混合专家LLM的门控引导攻击

Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Stjepan Picek, Ahmad-Reza Sadeghi

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 GateBreaker通过门控引导攻击破坏MoE LLM的安全对齐，发现安全机制集中在少量神经元上，禁用这些神经元显著提高攻击成功率。

Comments Accepted by USENIX Security'26

Can LLMs Threaten Human Survival? Benchmarking Potential Existential Threats from LLMs via Prefix Completion

大语言模型是否威胁人类生存？通过前缀完成评估大语言模型潜在的灭绝性威胁

Yu Cui, Yifei Liu, Hang Fu, Sicheng Pan, Haibin Zhang, Cong Zuo, Licheng Wang

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 本文提出 ExistBench 基准，通过前缀完成评估 LLMs 的潜在灭绝性威胁，发现 LLMs 生成内容包含危害人类生存的输出。

The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search

恶意知识：通过无害提示编织和自适应树搜索绕过商业大语言模型的安全防护

Rongzhe Wei, Peizhi Niu, Xinjie Shen, Tony Tu, Yifan Li, Ruihan Wu, Eli Chien, Pin-Yu Chen, Olgica Milenkovic, Pan Li

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 通过无害提示编织和自适应树搜索，研究提出CKA-Agent攻击方法，成功绕过商业大语言模型的安全防护，揭示了知识分解攻击的严重性。

Comments Updated with new baselines and experimental results

Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models

多面攻击：揭示配备防御机制的视觉语言模型中的跨模型漏洞

Yijun Yang, Lichao Wang, Jianping Zhang, Chi Harold Liu, Lanqing Hong, Qiang Xu

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 多面攻击揭示了配备防御机制的视觉语言模型中的跨模型安全漏洞，通过注意力转移攻击和轻量级转移增强算法，实现了58.5%的成功率。

Comments AAAI 2026 Oral