AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
重复后训练并非自我改进：诊断持续DPO流水线中的科学健忘症
机构 * MetaAI
专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.AI
AI总结 针对工业LLM团队在持续DPO训练中遇到的性能退化问题，本文提出“科学健忘症”概念，并设计诊断套件、基于程序的流水线及基准测试，通过对比五种策略发现，结论高度依赖流水线设置和评估设计。
Comments 12 pages
从社会选择视角看AI对齐
机构 * Google Research（谷歌研究院） ； University of Southern California（南加州大学） ； Harvard University（哈佛大学）
专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI
AI总结 本文从社会选择理论视角审视人类反馈对齐中的偏好聚合问题，识别失败模式并揭示处理分歧的广阔设计空间。
Comments Accepted for publication in ACM SIGecom Exchanges
通道位置限制潜意识学习的可审计性
机构 * Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所） ； University of Vienna（维也纳大学）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 研究潜意识学习中隐藏特征传递的可审计性，发现通道位置决定审计有效性，并识别三种传递机制，证明审计必须匹配载体通道。
大型语言模型中二项式排序偏好的行为与表征证据
机构 * Ludwig Maximilian University of Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 通过多语言二项式数据集和分布度量，研究LLM对梯度频率分布的建模能力，发现模型虽能恢复主导顺序，但难以精确匹配偏好分布，并通过稀疏探针验证偏好强度在中间层编码且可操纵。
Comments Code and data are publicly available at https://github.com/Zhi-qing-Yang/Linguistic-Binomials-in-Large-Language-Models
面向数学错误纠正的教学对齐LLM导师
机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL
AI总结 提出两阶段对齐流程（监督微调+偏好优化），结合合成数据提升LLM在数学错误纠正中的教学质量和事实准确性，优于基线模型并与专有模型竞争。
从驾驶视频到可模拟场景
机构 * Dept. Computer Science, Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学计算机科学系） ； Computer Vision Center (CVC), UAB（UAB计算机视觉中心）
专题命中 偏好对齐 ：safety(abstract)
AI总结 提出D-V2S框架，通过视觉语言模型和大语言模型从驾驶视频自动生成可模拟场景，实现90%语义元素保留和75%偏好率。
Comments 8 pages, 11 figures and Accepted for publication at the IEEE International Conference on Intelligent Transportation Systems (ITSC), 2026
$\phi$-Scene: 物理驱动的图像到3D场景重建
机构 * University of California San Diego（加州大学圣地亚哥分校）
专题命中 偏好对齐 ：alignment(abstract)
AI总结 提出$\phi$-Scene方法，将单图像3D场景重建视为拓扑驱动的物理组装过程，通过SDF优化和刚体仿真解决穿透与不稳定接触问题，在3D-Front数据集上取得最优性能。
Comments Project page: https://phi-scene.github.io/
IndicGuard：面向印度语言的多语言安全防护模型与数据集
机构 * L3Cube-Labs, Pune（L3Cube实验室，浦那）
专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.LG
AI总结 提出IndicGuard，一个针对10种印度主要语言的多语言安全数据集和基于Gemma-3-4B-IT微调的4B参数安全防护模型，在内容审核和跨语言泛化上优于现有基线CultureGuard。
Skin-Deep: 大型语言模型表示中对齐脆弱性的几何诊断方法
机构 * Zoom Communications ； Korea University（高丽大学） ； Yonsei University（延世大学） ； Konkuk University（建国大学）
专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI
AI总结 提出Skin-Deep几何诊断方法，通过计算几何脆弱性分数（GFS）在对齐模型微调前检测其拒绝有害请求行为的脆弱性，无需运行攻击。
Comments 16 pages, 3 figures, 12 tables. The first two authors contributed equally. Code (pre-attack GFS diagnostic): https://github.com/js-lee-AI/skin-deep
想象以确保分层强化学习的安全性
机构 * Cognitive AI Systems Lab（认知人工智能系统实验室） ； Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所） ； FRC Computer Science RAS（俄罗斯科学院联邦研究中心计算机科学研究所）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI
AI总结 提出结合可学习世界模型与高低层策略的分层方法，通过高层生成安全子目标、低层利用想象滚动减少不安全行为，在长时域任务中显著优于现有安全强化学习基线。
CNnotator: LLM引导的内存安全注释合成
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Galois, Inc.（Galois公司）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI
AI总结 提出CNnotator工具，利用大语言模型自动生成CN规范来标注C代码的内存使用模式，OpenAI o3模型首次尝试成功率达90%，表明AI辅助注释对实际C代码库可行。
Comments 6 pages. Published at ReCode 2026 (1st Workshop on Code Translation, Transformation, and Modernization), co-located with ICSE 2026. This version corrects the description of the property-based testing backend (Bennet, built on Fulminate) relative to the published version
Journal ref Proceedings of the 1st Workshop on Code Translation, Transformation, and Modernization (ReCode '26), April 12-18, 2026, Rio de Janeiro, Brazil. ACM, New York, NY, USA, 6 pages
AI训练集群的预调度共振安全准则
专题命中 安全训练 ：safety(title,abstract)
AI总结 针对AI训练集群在BSP协议下对电网产生的周期性功率波动，提出一种预调度安全准则，通过解析两区域摇摆方程，界定危险迭代周期带，并量化集群规模上限。
Comments Submitted for North American Power Symposium (NAPS) 2026, October 11 - 13, 2026
AOR-Bench: 大型音频语言模型是否会过度拒绝伪有害查询？
机构 * Penn State University（宾夕法尼亚州立大学）
专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI
AI总结 提出首个针对大型音频语言模型过度拒绝问题的基准AOR-Bench，包含3000个伪有害音频样本，评估12个模型发现过度拒绝普遍存在，并探索了两种轻量缓解策略。
认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现
机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。
Comments 10 pages, 3 figures
面向乘客导向自动驾驶的LLM可解释DRL框架
机构 * LITAN, ESTIN（LITAN，ESTIN） ； Cosys-Grettia, Univ Gustave Eiffel（Cosys-Grettia，古斯塔夫·埃菲尔大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出结合深度强化学习与大型语言模型可解释模块的框架，实现自适应驾驶控制并向乘客解释决策，平衡安全性、适应性和可解释性。
CRAX：快速安全强化学习基准测试
机构 * Eindhoven University of Technology（埃因霍温理工大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。
AOHP：一个用于个性化、高效和安全交互的开源操作系统级Agent框架
机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 提出AOHP，一个基于AOSP的操作系统级Agent框架，通过将Agent视为一等OS参与者，实现个性化服务组合、高效Agent接口和安全信息流，在任务完成率、令牌成本和策略合规性上优于现有系统。
Comments 17 pages, 3 figures
Harness-MU：面向多用户LLM代理的安全、可控且有效的框架
机构 * OpenAI Codex team（OpenAI Codex团队）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 针对多用户LLM代理的权限冲突与数据泄露问题，提出模型无关、零微调的基础设施框架Harness-MU，通过执行钩子强制执行确定性治理约束，在Muses-Bench基准上实现隐私保护并提升指令遵循准确率高达48.9个百分点。
Comments 15 pages, 4 figures, 15 tables
安全检查，不安全使用：LLM代理压缩边界处的重链接
专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI
AI总结 提出重链接漏洞，利用摘要压缩将分散的良性片段重组为恶意指令，并设计Relink工具自动化攻击，在四个长上下文代理基准上达到86.9%成功率。
微调视觉-语言-动作模型所需的层数比你想象的少
机构 * Center for AI Research, VinUniversity（VinUniversity人工智能研究中心） ； VinRobotics ； University of Arkansas（阿肯色大学） ； Technical University of Denmark（丹麦技术大学） ； Hanoi University of Science and Technology（河内科技大学） ； KAIST（韩国科学技术院） ； Monash University（莫纳什大学） ； Oldenburg University（奥尔登堡大学） ； DFKI（德国人工智能研究中心） ； University of Stuttgart（斯图加特大学） ； IMPRS-IS（国际马克斯·普朗克智能系统研究学院） ； Stanford University（斯坦福大学） ； Technische Universität Darmstadt（达姆施塔特工业大学）
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI
AI总结 本文发现VLA模型存在层间表示冗余，提出无需训练的压缩方法，通过去除冗余层将模型深度减少50%，实现40-50%训练加速和30%推理加速，性能不变。
基于CBF-CLF的多目标导航中的冲突感知切换
机构 * Worcester Polytechnic Institute（伍斯特理工学院）
专题命中 安全训练 ：safety(abstract)
AI总结 针对CBF-CLF-QP控制中安全与目标约束冲突导致性能下降的问题，提出冲突感知切换策略，通过检测高冲突条件并切换标称控制目标，在多智能体多目标场景中降低完成时间和超时率。
Comments CDC 2026 Submission Copy
自进化LLM智能体系统中的安全性：威胁、放大与案例研究
机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学）
专题命中 越狱攻击 ：safety(title)；分类 cs.AI
AI总结 本文系统分析自进化LLM智能体系统的安全威胁，提出模块-生命周期攻击面矩阵，揭示17个关键威胁和7种跨模块放大效应，并通过案例证明进化设计激活3.5倍攻击面且静态防御失效。
OTTER：一种用于规避毒性检测的越狱提示优化的红队系统
机构 * National Chengchi University, Taipei, Taiwan（国立中正大学，台北，台湾） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 越狱攻击 ：jailbreak(title)；分类 cs.CL
AI总结 提出OTTER系统，通过替换少量令牌解耦表面毒性与对抗意图，在四个GPT模型上将平均攻击成功率从7.0%提升至84.0%，并首次量化分析毒性-绕过关系。
TROPT：统一和推进离散文本优化的开放框架
机构 * Tel Aviv University（特拉维夫大学）
专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG
AI总结 提出TROPT，首个统一离散优化器执行与开发的开源框架，支持30+优化方案，降低应用门槛并促进新策略研究。
代理辅助的非前缀KV缓存侧信道攻击
专题命中 越狱攻击 ：alignment(abstract)
AI总结 针对RAG系统中非前缀KV缓存融合的侧信道漏洞，提出SpliceLeak攻击，利用“阶梯波”时序特征提取私有提示长度和语义内容，并设计SpliceDefense防御机制。
Comments 15 pages, 8 figures
跨东亚和东南亚语境的文化适应红队测试：方法论与比较分析
机构 * University of California, Berkeley（加州大学伯克利分校） ； Korea Advanced Institute of Science and Technology（韩国科学技术院）
专题命中 红队测试 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 针对大语言模型的多语言安全评估，通过构建直接翻译与文化适应数据集，发现文化适应提示的攻击成功率平均提升9.3个百分点，直接翻译低估风险，且文化深度评分显著低于文化适应版本，表明适应文化语境对有效评估至关重要。
Comments Accepted to ICML 2026 Workshop on Culture X AI
当AUC 0.998还不够：多模态计算机使用智能体中隐藏状态探针对间接提示注入的候选评估协议
机构 * Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.LG
AI总结 本文通过单骨干案例研究，论证高AUC不能直接证明恶意内容检测，提出后验诊断和候选控制集来明确探针能力的边界。
Comments 17 pages, 3 figures. Camera-ready version for EvalMG '26, The 2nd Workshop on Evaluation for Multimodal Generation, co-located with SIGIR 2026
MIRAGE: 针对Web代理的隐蔽视觉提示注入漏洞检测
机构 * SDU（山东大学）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI
AI总结 提出MIRAGE框架，利用扩散模型在受限区域生成视觉上无害的对抗图像，实现针对多模态大模型Web代理的隐蔽间接提示注入攻击，以检测其视觉漏洞。
放大而非创造：针对慢燃提示注入的时间累积
专题命中 提示注入 ：prompt injection(title)
AI总结 针对工具使用智能体的控制平面攻击通过轨迹分布弱指令，代理端时间累积器通过峰值和CUSUM持久性统计恢复慢燃信号，在集中攻击下优于逐事件检测。
GIF: 局部几何信息流控制用于大语言模型
机构 * Columbia University（哥伦比亚大学）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI
AI总结 提出GIF框架，利用LLM雅可比矩阵和局部输出几何上界香农互信息，实现可扩展的信息流追踪，在提示注入和隐私泄露任务中达到近完美召回，且计算成本低。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈