AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐
机构 * Tsinghua University（清华大学） ； Southeast University（东南大学） ； Microsoft（微软公司）
专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI
AI总结 提出HARC微调方法，通过耦合提示和响应位置的有害性与拒绝方向，在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。
智能体数据环境
机构 * Columbia University（哥伦比亚大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 探讨智能体数据环境，其作为智能体运行的执行基础，既能增强智能体能力又保障安全。该环境拓宽了智能体运行的数据范围，改变了对数据系统的传统认知，有望在提升智能体效能同时控制故障成本。
Journal ref IEEE Data Bulletin Vol. 50 No. 1 2026
利用模型预测控制思想的安全强化学习
机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） ； Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.LG
AI总结 针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。
Comments Accepted at Eurocast 2026
打破数据库锁定：用于数据库绕过的高性能存储读取器的智能再生
机构 * Cornell University（康奈尔大学）
专题命中 越狱攻击 ：jailbreak(summary_cn,abstract)；分类 cs.AI
AI总结 研究分析工作负载面临的数据访问瓶颈问题，提出Jailbreak方法，利用大语言模型辅助代码合成绕过数据库引擎直接读取存储文件，在PostgreSQL和MySQL上评估，性能显著提升，证明该方法可打破数据库系统数据锁定。
Comments To be presented at AIDB 2026 (co-located with VLDB)
多智能体人工智能控制：分布式攻击阻碍实例级监测
机构 * MATS Research（MATS研究所）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 研究多智能体人工智能控制中的分布式攻击，开发FakeLab代码库，评估单智能体监测应对分布式攻击的效果，发现碎片化效应，指出其与代码比例无关，受模型能力影响，还揭示显式规划器及不同强度监测的作用。
Comments Submitted to NeurIPS; 81 pages; 32 figures and 24 tables
当智能体行为异常时：基于激活的多智能体系统恶意行为检测
专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI
AI总结 针对多智能体系统面临的安全挑战，提出基于激活的框架AcMAS，通过分析智能体激活空间中的推理状态检测隐蔽攻击，不依赖交互图，还能恢复受损智能体功能，在检测隐蔽攻击上显著优于基线方法。
Comments Accepted to ICML 2026
社区训练中后门吸收的力量
机构 * Université Paris-Saclay, CEA LIST（巴黎萨克雷大学，CEA LIST）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG
AI总结 研究在分散训练中后门攻击问题，通过量化最小审计开销，将注入-吸收动态形式化为离散时间马尔可夫链，证明结合自然吸收等策略可使对手成功概率降为零，实证显示能有效抑制后门且效用无退化，为安全关键型AI提供高效防御。
Comments Technical Report, CEA-LIST. 15 pages, 5 figures, 2 tables
机构红队测试：部署规则而非模型，因果性地塑造多智能体人工智能安全
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 红队测试 ：safety(title,abstract)；AI safety(title)；分类 cs.AI
AI总结 研究多智能体人工智能安全中部署规则的影响，提出机构红队测试方法，通过IABench-CA实例化，发现规则改变集体安全、无安全默认规则、身份显著性是机制，还打包成安全案例工作流程认证规则区域并明确风险义务。
超越攻击成功率：工具使用型人工智能代理的行动分级严重程度量表
专题命中 红队测试 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究指出代理红队测试基准的二元攻击成功率不能体现行动危害。为此引入行动分级伤害准则，通过预言机和评判小组计算量表。在AgentDojo工作区测试发现该准则能揭示新情况，虽与预言机一致性高但有盲点，贡献了可用于红队日志实际行动的严重程度工具。
Comments 8 pages, 6 figures. Code and artifacts: https://github.com/Harry-Ashley/action-graded-severity
警惕智能体僵尸网络：通过通用且可转移的对抗性幻觉蹲点进行可扩展的无目标提示软件攻击
专题命中 提示注入 ：prompt injection(abstract)
AI总结 研究针对实际威胁模型中无直接渠道时攻击者能否利用LLM应用的问题，提出对抗性幻觉蹲点技术，通过识别热门资源计算幻觉分布抢先注册对抗性提示，利用幻觉特性扩大无目标提示软件攻击范围并建立僵尸网络，实验证明该技术可行性及幻觉可转移性。
Comments Website: https://sites.google.com/view/agentic-botnets/home
基于光纤布拉格光栅的声学传感系统：采用机器学习训练、亚皮米可调谐混合III-V/SiN激光器
专题命中 幻觉与事实性 ：alignment(abstract)
AI总结 提出一种机器学习训练的混合III-V/SiN可调谐激光器，实现亚皮米级波长控制，用于光纤布拉格光栅声学传感系统，实现高灵敏度、多通道分布式声发射检测与自适应空间定位。
大型语言模型（LLMs）和生成式人工智能在网络安全与隐私中的应用：两用风险、人工智能生成的恶意软件、可解释性及防御策略综述
机构 * Virelya Intelligence Research Labs（Virelya智能研究实验室） ； Google（谷歌）
专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 综述大型语言模型和生成式人工智能在网络安全中的应用，涵盖两用风险等多方面。通过回顾众多资料及实际案例研究，给出负责任部署建议与安全路线图，为应对人工智能驱动的网络安全挑战提供关键参考。
Comments Invited survey paper. 10 pages, 5 figures, 2 tables
Journal ref IEEE 6th Silicon Valley Cybersecurity Conference (SVCC), San Francisco, CA, USA, 2025, pp. 1-10
探索人工智能隐私编辑的解释风格、上下文和信任在人工智能介导交互中的相互作用
专题命中 隐私与版权 ：trustworthy(abstract)
AI总结 研究人工智能介导通信中隐私编辑解释对用户信任的影响，设计场景并开展用户研究，发现提供解释能提升信任，上下文因素有影响，解释偏好因个体差异而异，强调平衡透明度与隐私及适应性解释对设计可信AI系统的重要性。
Comments Originally submitted to UIST, will be resubmitting
推理一致性扫描：人工智能安全评估中思维链有效性审计的框架
机构 * Meridian Labs（子午线实验室） ； UK AI Safety Institute（英国人工智能安全研究所）
专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI
AI总结 研究人工智能安全评估中思维链推理的可靠性问题，提出推理一致性扫描方法，将其与可靠性区分并形式化，构建基准、实现扫描器，通过实验表明推理不一致存在且可检测，在模型和任务类型中有系统变化。
通过模拟部署预测大语言模型发布前的安全性
机构 * OpenAI（开放人工智能研究公司）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究通过模拟部署预测大语言模型发布前安全性的方法，从去识别化对话出发，固定前缀用候选模型生成回复来评估。该方法能估计行为不当率，优于基线，还能克服工具重新采样挑战，为外部研究提供途径，助力预测模型现实行为及评估部署风险。
Comments 31 pages
多智能体大语言模型安全中的操作重构与批准框架委托
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI
AI总结 研究多智能体大语言模型安全评估，引入五条件控制对比设计分离有害意图、规划器与执行器行为等因素，发现汇总管道安全非稳定架构属性，操作重构是关键风险信号，还揭示各因素对安全的影响及模型排名与实际行为的差异。
DiaLLM：英语方言适应中稳健性-生成差距的研究
机构 * Institute for People-Centered AI, University of Surrey（萨里大学以人为本人工智能研究所） ； University of New South Wales（新南威尔士大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 研究英语方言适应中稳健性与生成的差距，通过DiaLLM持续预训练并结合多种策略对比不同英语变体。发现二者分离，特定变体适应产出受青睐但优化奖励方法未获评估者偏爱，缩小差距需丰富奖励设计和投入方言资源。
盲选策展人：有偏见的评判者如何在自我进化的智能体中悄然阻碍技能淘汰
机构 * AWS Generative AI Innovation Center（亚马逊云科技生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰科技中心，中国）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究自我进化智能体中，有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现，“误判通过”偏差会导致技能淘汰机制失效，此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。
放射学中的视觉基础模型：数据、方法、评估和临床转化的范围综述
机构 * Universitat Politècnica de València（瓦伦西亚理工大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 对2017年1月至2026年3月关于放射成像数据训练基础模型的研究综述，涵盖数据、架构、评估等方面。Transformer架构和自监督预训练为主，评估集中在分割和分类。虽有可迁移性，但临床转化因多种问题受限。
Comments 33 pages, 8 tables, 2 figures
MultAttnAttrib：长文档问答中的无训练多模态归因
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出无训练归因方法MultAttnAttrib，利用模型预填充、选定注意力头和校准阈值定位证据，并构建多模态归因基准MultAttrEval，实验表明其优于多种方法，匹配GPT 5.4且延迟降低至1/7。
Comments 25 pages (8 main, 17 references + appendix), 15 figures
MedPMC：一种用于为基础模型扩展高保真医学多模态数据的系统框架
机构 * Yale University（耶鲁大学） ； Korea University（韩国大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； The University of Queensland（昆士兰大学） ； The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心） ； University of Washington（华盛顿大学） ； Microsoft Research（微软研究院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.LG
AI总结 研究针对医学多模态基础模型受高质量临床数据限制问题，提出MedPMC框架，将文献转化为高保真基础设施。经实验，该框架整理大量图像-文本对，在多方面评估表现出色，训练模型在多基准测试和临床场景中效果显著，还公开相关资源。
CARLA-GS：用于自动驾驶极端情况合成的解耦表示、推理和物理模拟
机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI
AI总结 研究自动驾驶极端情况合成问题，提出CARLA-GS模块化管道，解耦视觉表示、语义推理和物理执行并保持跨模块耦合，能从实际驾驶数据生成可编辑场景，经多智能体大语言模型推理等步骤，实现可控生成及逼真、时空一致的视频。
一个用于自动驾驶的具有大语言模型注释的高风险驾驶场景知识增强数据集
机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Fudan University（复旦大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.LG
AI总结 研究自动驾驶中高风险场景数据不足问题，核心方法是构建K-Risk数据集，整合多源轨迹数据并利用大语言模型生成注释，主要贡献是为自动驾驶开发和评估提供标准化基础。
Comments 22 pages, 9 figures
无信任代理能否被信任？ERC-8004 去中心化 AI 代理生态系统的实证研究
机构 * Imperial College London（伦敦帝国学院） ； Ohio State University（俄亥俄州立大学） ； University of Bristol（布里斯托大学） ； The University of Manchester（曼彻斯特大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI
AI总结 本研究首次实证分析 ERC-8004 协议在三条链上的身份、声誉和验证注册表，发现大多数注册为占位符，声誉不可比且易被操纵，大量评论者存在 Sybil 行为，表明该协议目前无法提供可信决策基础。
FedMark-FM：用于联邦基础模型适配的可审计、风险调整数据市场
专题命中 安全评测 ：safety(abstract)
AI总结 研究联邦基础模型适配中激励机制问题，提出FedMark-FM框架，将客户端视为工件卖家，用S3Val估计贡献，转换支付惩罚不良行为，经多任务评估表现出色，证明管道有序估值独特性，能在一定规模下保留专家。
大语言模型评估报告的毒圣杯
专题命中 安全评测 ：trustworthy(abstract)
AI总结 研究大语言模型评估中因数据污染致结果不可靠的问题，通过举办竞赛将污染检测设为白盒成员推理任务，提供相关资源，报告竞赛设置与结果，推动软件工程中可信大语言模型评估社区发展。
Comments Report of the competition hosted at FSE 2026
NavEYE：用于智能水面舰艇的基于视觉的多传感器融合态势感知系统
机构 * Sanya Science and Education Innovation Park, Wuhan University of Technology（武汉理工大学三亚科教创新园） ； School of Navigation, Wuhan University of Technology（武汉理工大学航运学院） ； State Key Laboratory of Maritime Technology and Safety（船舶技术与安全国家重点实验室）
专题命中 安全评测 ：safety(abstract)
AI总结 为实现智能水面舰艇在复杂环境中的高质量感知，开发以视觉为中心的多传感器融合系统NavEYE，提出多约束门控数据关联等方法，经实验验证其融合方法在多方面的优越性及对舰艇航行安全的促进作用。
Journal ref Ocean Engineering, Volume 363, Part 4, 2026, Article 126781
人工智能弹性差距：将人工智能纳入运营弹性范围
专题命中 AI治理与伦理 ：safety(abstract)；trustworthy(abstract)
AI总结 研究人工智能在受监管公司应用中运营弹性不足问题，提出人工智能弹性框架，通过依赖映射等方法将人工智能依赖纳入运营弹性范围，弥补监管逻辑差距，为相关人员提供可操作路径。
Comments 11 pages, 2 Figures, 4 Tables
人工智能中的递归自我改进：从有界自我优化到自主研究循环
机构 * University of California, Riverside (UCR)（加州大学河滨分校） ； AlphaAvatar（阿尔法阿凡达） ； Illinois Institute of Technology (IIT)（伊利诺伊理工学院）
专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI
AI总结 研究人工智能系统自身改进，通过对1250篇论文调查区分有界自我优化与开放式递归自我改进（RSI），考察评估器设计空间并排序信号，发现自我改进强度与层次相关，失败模式源于违规，指出治理级测量是薄弱环节。
Comments 42 pages, 6 figures
基于梯度的任意语音识别模型的语音到文本对齐：从连接主义时间分类到语音大语言模型
机构 * Machine Learning and Human Language Technology Group, RWTH Aachen University（机器学习与人类语言技术组，亚琛工业大学） ； AppTek GmbH（AppTek公司）
专题命中 其他安全 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究基于梯度的任意可微语音识别模型的语音到文本对齐方法，通过对教师强制令牌对数概率取梯度并解码，无需训练、改模型及对齐头，适用于各模型家族，在多模型上评估，结果显示该方法能产生可用对齐，有优有劣。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈