大模型对齐与安全

kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

kNNGuard：将LLM隐藏激活转化为无需训练的可配置护栏

Mahmoud Abdelfattah, Hamid Nasiri, Peter Garraghan

机构 * Lancaster University（兰卡斯特大学） ； Mindgard 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出kNNGuard，一种利用现成LLM激活空间的无需训练护栏，通过多层kNN融合激活和嵌入空间分数，在多个领域达到与微调方法相当或更优的F1，且速度更快。

Comments 17 pages, 11 figures

Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity

不可压缩的知识探针：通过事实容量估计黑盒大语言模型参数数量

Bojie Li

机构 * Pine AI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出不可压缩知识探针，通过事实容量估计大语言模型参数数量，验证了参数数量与知识容量的对数线性关系，展示了模型在不同厂商和不同世代中的持续扩展。

Evidence for Limited Metacognition in LLMs

对大语言模型有限元认知能力的证据

Christopher Ackerman

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出评估大语言模型元认知能力的新方法，发现前沿模型在事实和推理问题上的自信心评估和预测能力有限，且与人类存在显著差异。

Comments 26 pages, 25 figures

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

Elastic Gang: Per-Token Membership Change for a Hard-Barriered LLM Inference Gang Co-Scheduled with OS Processes

弹性组：与操作系统进程协同调度的硬屏障大语言模型推理组的逐令牌成员变更

Daeyeon Son

机构 * Independent Researcher（独立研究员） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究设备上大语言模型解码中CPU - SIMD计算与操作系统对核心资源需求冲突问题，提出弹性组机制，通过ACK锁定期协议实现逐令牌核心成员变更，提升吞吐量并保障正确性。

Comments 14 pages, 1 figure, 6 tables

Agentic-V2X: Small Language Model Agents for Deadline-Aware V2X Scheduling in 5G/6G Networks

Agentic-V2X：用于5G/6G网络中具有截止日期感知的V2X调度的小型语言模型代理

Gerasimos Papanikolaou-Ntais, Alexandros Kaloxylos, Athanasios Kanavos

机构 * Department of Informatics, University of Piraeus（比雷埃克斯大学信息学院） ； Department of Informatics and Telecommunications, University of Peloponnese（希腊佩拉索斯大学信息与电信学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对5G/6G网络中V2X调度，提出Agentic-V2X架构。小型本地部署语言模型生成策略，经验证后由轻量级控制器执行，评估多种策略，该架构能生成有效可执行策略，在多方面有竞争力，但非最佳。

Comments 20 pages 7 figures

Mnemosyne: Agentic Transaction Processing for Validating and Repairing AI-generated Workflows

Mnemosyne: 用于验证和修复AI生成工作流的代理事务处理

Edward Y. Chang, Longling Geng, Emily J. Chang

机构 * Stanford University（斯坦福大学） ； QuadriumAI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出代理事务处理（ATP）模型，将生成动作视为不可信提案，通过确定性约束集验证后才提交，并实现运行时修复，确保状态正确性独立于生成层。

Comments 41 pages, 25 tables, 6 figures

Customized Generative AI Agent for Transportation Engineering Practice: A Development and Continued Pre-training Guideline

面向交通工程实践的定制化生成式AI智能体：开发与持续预训练指南

Dianwei Chen, Yuan-Zheng Lei, Zifan Zhang, Yuchen Liu, Xianfeng Yang

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出基于LoRA框架对六种大语言模型进行持续预训练的方法，以提升其在交通工程领域的专业内容理解与推理能力，Qwen2.5-7B和LLaMA-3.1-8B表现最佳。

Agentic Artificial Intelligence for Multistage Physics Experiments at a Large-Scale User Facility Particle Accelerator

面向大规模用户设施粒子加速器的多阶段物理实验的代理AI

Thorsten Hellert, Drew Bertwistle, Simon C. Leemann, Antonin Sulc, Marco Venturini

机构 * Lawrence Berkeley National Laboratory（伯克利国家实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出首个基于语言模型的代理AI系统，实现大规模用户设施粒子加速器上多阶段物理实验的自动化执行，通过结构化执行计划减少准备时间并确保安全约束。

Journal ref Phys. Rev. Research 8, L012017 (2026)

ProbeLogits: Kernel-Level LLM Inference Primitives for AI-Native Operating Systems

ProbeLogits：面向AI原生操作系统内核级的LLM推理原语

Daeyeon Son

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出ProbeLogits，一种在操作系统内核层面执行单次前向传递并读取特定token logit的原语，用于分类代理行为的安全性，通过校准强度alpha实现部署时的策略控制，提升安全性与效率。

Comments 18 pages, 13 tables

Language-Guided Grasping under Partial Observation for Mobile Manipulation in Field Inspection and Maintenance

用于现场检查和维护中移动操作的部分观察下语言引导抓取

Dilermando Almeida, Juliano Negri, Guilherme Lazzarini, Thiago H. Segreto, Ranulfo Bezerra, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

机构 * Department of Mechanical Engineering, Federal University of Uberlândia（联邦大学伯南迪利亚机械工程系） ； Department of Mechanical Engineering, University of São Paulo（圣保罗大学机械工程系） ； Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） ； Faculdade Israelita de Ensino e Pesquisa Albert Einstein, Hospital Israelita Albert Einstein（艾伯特·爱因斯坦以色列教学与研究学院，艾伯特·爱因斯坦医院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出用于腿部移动操纵器在部分观察下的语言引导抓取流程，经多步骤处理，在四足机器人上实现并评估，相比基线提高抓取成功率，提升语言引导抓取可靠性。

Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG

知道何时不回答：用于安全检索增强生成的轻量级知识库对齐的域外检测

Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

机构 * New York University（纽约大学） ； National Institute on Drug Abuse（国家成瘾医学研究所） ； University of Pennsylvania（宾夕法尼亚大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 研究用于检索增强生成（RAG）系统的轻量级、知识库对齐的域外检测，通过PCA处理知识库嵌入，用方差保留或t检验排序选择子空间评分查询，评估规则和分类器，发现低维检测器性能好且更优。

MAD-PINN: A Decentralized Physics-Informed Machine Learning Framework for Safe and Optimal Multi-Agent Control

MAD-PINN：一种用于安全和最优多智能体控制的分散式物理信息机器学习框架

Manan Tayal, Aditya Singh, Shishir Kolathaya, Somil Bansal

机构 * Center for Cyber-Physical Systems, Indian Institute of Science（印度科学研究院中心 for 联合体系统） ； Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系） ； Department of Aeronautics and Astronautics, Stanford University（斯坦福大学航空与航天工程系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对大规模多智能体系统安全与性能协同优化难题，提出MAD-PINN框架。利用基于上图的公式化方法，通过物理信息神经网络近似求解，采用分散训练与执行策略，实验表明其性能优越且具可扩展性。

Comments 9 Pages, 4 Figures, 4 Tables. First two authors have contributed equally

VISOR: Visual Input-based Steering for Output Redirection in Vision-Language Models

VISOR：视觉语言模型中用于输出重定向的基于视觉输入的转向

Mansi Phute, Ravikumar Balakrishnan

机构 * Georgia Institute of Technology（佐治亚理工学院） ； HiddenLayer, Inc（HiddenLayer公司） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 研究提出VISOR方法，通过优化视觉输入实现对视觉语言模型行为的精细控制，在关键对齐任务中验证其有效性，且具有低开销等优势，但也揭示了视觉通道安全漏洞。

Seven Security Challenges in Cross-domain Multi-agent LLM Systems

跨域多智能体LLM系统中必须解决的七个安全挑战

Ronny Ko, Jiseong Jeong, Shuyuan Zheng, Chuan Xiao, Tae-Wan Kim, Makoto Onizuka, Won-Yong Shin

机构 * Osaka University（大阪大学） ； Seoul National University（首尔大学） ； Yonsei University（延世大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文针对跨域多智能体LLM系统，提出七类新型安全挑战，包括攻击示例、评估指标和未来研究方向。

Journal ref npj AI(2026)

Trajectory-Anchor Optimization for Overconfident Thermal Visual Place Recognition: Zero-Leakage OOD Auditing and Kidnapped-Robot Recovery

用于过度自信的热视觉场所识别的轨迹锚点优化：零泄漏异常检测与绑架机器人恢复

Zhiyuan Lu, Kanji Tanaka

专题命中 安全训练 ：alignment(abstract)

AI总结 研究针对基于基础模型的热视觉场所识别前端在分布外或未映射条件下的过度自信强制匹配失败问题，提出轨迹锚点优化（TAO），通过压缩多视图时间验证解决组合挑战，实现高效故障安全过滤。

Comments 11 pages, 5 figures, technical report

Neuro-Symbolic Reasoning for Vulnerability Detection

用于漏洞检测的神经符号推理

Yanjie Zhao, Hongjie Chen, Li Lu, Zhou Yang, Xiao Cheng, Haoyu Wang

专题命中 安全训练 ：safety(abstract)

AI总结 研究基于大语言模型的漏洞检测不可靠性，提出神经符号框架LeanGuard，通过将代码解释与安全义务判定分离，神经侧过滤事实，符号侧形式验证，证据感知裁决器权衡结果，在五个CWE类上实例化框架。

When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

何时不写入内存：管理来自相关代理痕迹的错误推广

Yijiashun Qi, Xiang Xu, Yuxuan Li

专题命中 安全训练 ：safety(abstract)

AI总结 研究语言代理从执行痕迹写入可复用内存时何时应拒绝写入的问题，引入GovMem策略，通过估计依赖感知支持等进行决策，在测试中能减少错误推广。

Comments accepted by mlise 2026

IndustryNav: Exploring Spatial Reasoning of Embodied Agents in Dynamic Industrial Navigation

IndustryNav：探索动态工业导航中具身智能体的空间推理

Yifan Li, Lichi Li, Anh Dao, Xinyu Zhou, Wenjun Huang, Tianyi Ma, Yicheng Qiao, Zheda Mai, Daeun Lee, Zichen Chen, Pan Wang, Lehan Yang, Tianlong Wang, Zhen Tan, Sheng Li, Mohit Bansal, Yang Ni, Yu Kong

机构 * Michigan State University（密歇根州立大学） ； Independent Researcher（独立研究者） ； University of California, Irvine（加州大学尔湾分校） ； Ohio State University（俄亥俄州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； University of Pittsburgh（匹兹堡大学） ； University of Virginia（弗吉尼亚大学） ； Arizona State University（亚利桑那州立大学） ； Purdue University Northwest（普渡大学西北分校） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 针对视觉大语言模型在空间推理的挑战，提出IndustryNav基准，利用动态工业场景评估，给出零样本导航管道及安全指标，研究发现模型在路径规划等方面有缺陷，凸显向主动探索等任务发展的需求。

A Graph-Based Reinforcement Learning Approach with Frontier Potential Based Reward for Safe Cluttered Environment Exploration

一种基于前沿势奖励的基于图的强化学习方法用于安全杂乱环境探索

Gabriele Calzolari, Vidya Sumathy, Christoforos Kanellakis, George Nikolakopoulos

机构 * Department of Computer Science, Electrical and Space Engineering, Luleå University of Technology（计算机科学、电气与航天工程系，吕勒奥技术大学） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出结合图神经网络探索贪心策略与安全护盾的方法，用近端策略优化算法训练网络，最大化探索效率并减少护盾干预，还提出奖励函数，能在杂乱环境高效安全探索。

Comments 6 pages, 4 figures, accepted at the 24th European Control Conference (ECC)

Retroactive Chain-of-Thought (RetroCoT): Forensic Reconstruction Prompts as a Safety Diagnostic Across Model Generations

追溯性思维链（RetroCoT）：作为跨模型代际安全诊断的法证重建提示

Samira Hajizadeh

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现大语言模型安全对齐受语用寄存器影响，介绍追溯性思维链攻击RetroCoT将有害请求重构为法证重建任务，在AdvBench测试中取得一定成功率，还发现模型代际差异及新语用寄存器对模型安全对齐的影响。

Context Misleads LLMs: The Role of Context Filtering in Maintaining Safe Alignment of LLMs

上下文误导大语言模型：上下文过滤在维持大语言模型安全对齐中的作用

Jinhwa Kim, Ian G. Harris

机构 * Department of Computer Science University of California, Irvine（计算机科学系，加州大学伊维特分校） 纠错

专题命中 越狱攻击 ：alignment(title)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型受恶意上下文欺骗问题，提出上下文过滤防御机制，通过过滤不可信上下文识别真实意图，提升安全性同时保持性能，经对比分析验证其有效性。

Comments 17 pages, 3 figures

ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning

ARMOR：通过精细推理对齐安全的大语言模型

Zhengyue Zhao, Yingzi Ma, Somesh Jha, Marco Pavone, Patrick McDaniel, Chaowei Xiao

专题命中 越狱攻击 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 研究大语言模型安全问题，针对现有方法不足，提出ARMOR，通过三步推理管道提取核心恶意意图并验证，开发ARMOR-Think提升性能，在防御越狱攻击上效果显著。

Comments ICLR 2026

CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning

CAP-CoT：用于提升大语言模型推理中思维链的循环对抗提示

Shuxu Chen, Yitian Zhou, Jiaquan Zhang, Haoyu Bian, Wenrui Hu, Aming Wu, Sungyoung Lee, Chaoning Zhang, Hyundong Shin

机构 * Department of Electronic Engineering, Kyung Hee University（韩国庆熙大学电子工程系） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（中国电子科技大学计算机科学与工程学院） ； Henan Polytechnic University（河南理工大学） ； School of Computing, Kyung Hee University（韩国庆熙大学计算机学院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性，通过生成候选推理链、构造有缺陷的链并对比反馈，优化推理过程。

Overloading Large Vision-Language Models for Jailbreaking

通过信息过载对大型视觉语言模型进行越狱攻击

Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

机构 * National University of Singapore（新加坡国立大学） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 研究大型视觉语言模型易受越狱攻击问题，提出基于递归图像排版布局的信息过载方法，含大量文本和多维图像攻击，大幅提升攻击成功率，凸显此为现实部署安全风险。

Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types

大语言模型通过一种独特的统一机制生成有害内容

Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov

机构 * Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） ； Cohere ； Technion—IIT（以色列理工学院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过权重剪枝揭示大语言模型中有害生成的内部结构，发现有害内容生成依赖于一组通用且与良性能力不同的权重，表明对齐训练重塑了有害表示，解释了领域微调引发的广泛对齐偏差。

Dissociative Identity: Language Model Agents Lack Grounding for Reputation Mechanisms

分离性身份：语言模型代理缺乏声誉机制的基础

Botao Amber Hu, Helena Rong, Max Van Kleek

机构 * University of Oxford（牛津大学） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 本文指出语言模型代理因本体上的分离性（模块可替换、身份流动）而无法满足声誉机制所需的身份持续性、行为可预测性和制裁敏感性，从而提出转向基于可观察性、事前、构成性、协议的行为约束。

Comments Accepted by FaccT 2026

Stage-wise Attention-Guided Region Sequencing for Adversarial Attacks on Large Vision-Language Models

用于对大型视觉语言模型进行对抗攻击的逐阶段注意力引导区域排序

Jaehyun Kwak, Nam Cao, Boryeong Cho, Segyu Lee, Sumyeong Ahn, Se-Young Yun

机构 * KAIST（韩国科学技术院） ； KENTECH（KENTECH研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)

AI总结 研究针对大型视觉语言模型的有针对性对抗攻击，基于注意力分析提出逐阶段注意力引导区域排序，介绍了黑盒区域排序框架SAGA，在多个模型上取得了最先进的攻击成功率和最佳不可感知性。

Comments Pre-print

NRT-Bench: Benchmarking Multi-Turn Red-Teaming of LLM Operator Agents in Safety-Critical Control Rooms

LLM智能体安全性、多轮红队测试、越狱基准、对抗鲁棒性、安全关键系统

Hanwool Lee, Dasol Choi, Bokyeong Kim, Haon Park, Seung Geun Kim

机构 * AIM Intelligence（AIM智能公司） ； KAERI（韩国原子能研究所） 纠错

专题命中 红队测试 ：safety(title,abstract)；分类 cs.AI

AI总结 提出NRT-Bench基准，通过模拟核电站控制室的多轮红队测试，评估LLM智能体在安全关键系统中的对抗鲁棒性，发现不同模型的漏洞几乎不重叠，且防御效果高度依赖模型。

DualView: Preventing Indirect Prompt Injection in Personal AI Agents

双视图：防止个人人工智能代理中的间接提示注入

Juhee Kim, Woohyuk Choi, Taehyun Kang, Youngmin Kim, Byoungyoung Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 研究个人人工智能代理面临的间接提示注入攻击问题，提出双视图方法，通过扩展不可信数据跟踪到用户环境，部署为插件，有效阻止攻击并保持实用性。

Untrusted Content Masking for Web Agents with Security Guarantees

具备安全保证的Web智能体不可信内容掩码技术

Kristina Nikolić, Egor Zverev, Javier Rando, Matthew Jagielski, Edoardo Debenedetti, Florian Tramèr

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； ISTA（瑞士信息科学与技术学院） ； Anthropic（Anthropic公司） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.LG

AI总结 针对Web智能体的提示注入安全边界缺失问题，提出UCM方法，利用网页DOM区分内容区域，通过掩码与沙箱交互恢复安全边界，实现带安全保障的Web环境交互。