大模型对齐与安全

Jailbreaking Vision-Language Models Through the Visual Modality

通过视觉模态 jailbreak 视觉-语言模型

Aharon Azulay, Jan Dubiński, Zhuoyun Li, Atharv Mittal, Yossi Gandelsman

机构 * Warsaw University of Technology（华沙理工大学） ； NASK National Research Institute（波兰国家研究研究院） ； University of Liverpool（利物浦大学） ； Indian Institute of Technology Roorkee（印度理工学院拉胡尔分校） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 越狱攻击 ：jailbreak(title_cn,summary_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出四种利用视觉组件的 jailbreak 攻击，揭示了文本安全训练无法自动推广到视觉传达的有害意图，展示了视觉模态在安全对齐中的关键作用。

Comments Accepted to ICML 2026

Jailbroken Frontier Models Retain Their Capabilities

突破边界模型仍保留其能力

Daniel Zhu, Zihan Wang, Jenny Bao, Jerry Wei

机构 * Anthropic 纠错

专题命中 越狱攻击 ：jailbreak(summary_cn,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现，模型能力越强，越能抵御 jailbreak，且推理任务比知识回忆任务更易受攻击，边界点 jailbreaking 几乎无损安全模型。

Attention Is Where You Attack

注意力是攻击之处

Aviral Srivastava, Sourav Panda

机构 * Amazon（亚马逊） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 越狱攻击 ：RLHF(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 本文提出注意力重分布攻击（ARA），通过Gumbel-softmax优化在概率单纯形上攻击softmax注意力，成功绕过安全对齐，实现高准确率的恶意请求执行。

FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios

FinSafetyBench：评估LLM在现实金融场景中的安全性

Yutao Hou, Yihan Jiang, Yuhan Xie, Jian Yang, Liwen Zhang, Hailiang Huang, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Beihang University（北航） ； Southern University of Science and Technology（南方科技大学） ； MoE Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济学交叉学科研究重点实验室） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.CL

AI总结 本文提出FinSafetyBench，一个双语红队基准，用于测试LLM对违反金融合规请求的拒绝能力，揭示了对抗性提示绕过合规保障的关键漏洞及中文环境下更严重的易受攻击性。

Comments Accepted by Findings of ACL2026

Beyond Suffixes: Token Position in GCG Adversarial Attacks on Large Language Models

超越后缀：在大语言模型对抗攻击中的标记位置

Hicham Eddoubi, Umar Faruk Abdullahi, Fadi Hassan

机构 * University of Cagliari（卡利里大学） ； Sapienza University of Rome（罗马大学） ； Huawei Technologies Finland Research Center（芬兰华为技术研究中心） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究探讨了在大语言模型对抗攻击中，标记位置对攻击成功率的影响，指出在Greedy Coordinate Gradient攻击中，优化攻击生成前缀而非后缀以及调整对抗标记位置对攻击效果有显著影响。

Comments 12 pages, 10 figures, presented at the "I Can't Believe It's Not Better" workshop at ICLR 2026

How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

语言模型如何处理分布外输入：一种双路径框架

Hamidreza Saghir

机构 * Independent Researcher（独立研究者） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出双路径框架以识别真实分布外信号，通过嵌入和处理轨迹分析不同OoD类型，展示嵌入路径在词汇区分上的优势，轨迹特征在隐含意图检测中的有效性。

Comments 30 pages, 3 figures, 30+ tables. Submitted to COLM 2026

Self-Adaptive Multi-Agent LLM-Based Security Pattern Selection for IoT Systems

自适应多智能体LLM基于的安全模式选择用于物联网系统

Saeid Jamshidi, Foutse Khomh, Carol Fung, Kawser Wazed Nafi

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文提出ASPO方法，结合LLM推理与确定性执行，在MAPE-K控制循环中实现自适应安全模式选择，通过减少极端情况执行成本，提升资源效率和安全性。

SoK: Security of Autonomous LLM Agents in Agentic Commerce

SoK：自主大语言模型代理在代理商业中的安全性

Qian'ang Mao, Jiaxin Wang, Ya Liu, Li Zhu, Cong Ma, Jiaqi Yan

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文系统分析了自主LLM代理在商业中的安全问题，提出统一的安全框架，识别12种跨层攻击向量，并提出分层防御架构以解决现有协议的授权漏洞。