AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
推理一致性扫描：人工智能安全评估中思维链有效性审计的框架
机构 * Meridian Labs（子午线实验室） ； UK AI Safety Institute（英国人工智能安全研究所）
专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI
AI总结 研究人工智能安全评估中思维链推理的可靠性问题，提出推理一致性扫描方法，将其与可靠性区分并形式化，构建基准、实现扫描器，通过实验表明推理不一致存在且可检测，在模型和任务类型中有系统变化。
人工智能聊天机器人自杀风险检测与应对：开源VERA-MH安全评估的人工验证研究
机构 * Spring Health ； Harvard Medical School（哈佛医学院） ； UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学）
专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；AI safety(abstract)；分类 cs.AI
AI总结 研究针对人工智能聊天机器人用于心理支持时的安全性评估问题，以VERA-MH为基准，模拟用户与聊天机器人对话，通过持牌临床医生和基于LLM的评估器评级，验证了VERA-MH在检测自杀风险方面的可靠性，为后续研究指明方向。
Journal ref JMIR AI. 2026;5
通过模拟部署预测大语言模型发布前的安全性
机构 * OpenAI（开放人工智能研究公司）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究通过模拟部署预测大语言模型发布前安全性的方法，从去识别化对话出发，固定前缀用候选模型生成回复来评估。该方法能估计行为不当率，优于基线，还能克服工具重新采样挑战，为外部研究提供途径，助力预测模型现实行为及评估部署风险。
Comments 31 pages
多智能体大语言模型安全中的操作重构与批准框架委托
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI
AI总结 研究多智能体大语言模型安全评估，引入五条件控制对比设计分离有害意图、规划器与执行器行为等因素，发现汇总管道安全非稳定架构属性，操作重构是关键风险信号，还揭示各因素对安全的影响及模型排名与实际行为的差异。
信任，但不验证：LLM 源评估中的认知盲点
机构 * Amazon（亚马逊）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG
AI总结 研究语言模型在多源综合中是否评估证据质量，发现模型虽能检测伪造统计但未在综合中启用，而是依赖方法论-语域门控，导致数值有效性被抑制。
我的网络上有什么？使用大语言模型大规模识别现实世界中的物联网设备
机构 * New York University（纽约大学） ； Google（谷歌）
专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG
AI总结 研究共享环境中物联网设备识别难题，引入语义推理管道，用大语言模型构建高保真标签并指令微调模型，在众多供应商中取得高准确率，对多种问题保持稳健，为大规模可信设备识别提供基础。
Comments 18 pages, 3 figures
Journal ref Proc. ACM Netw. 4, CoNEXT2, Article 26 (2025)
DiaLLM：英语方言适应中稳健性-生成差距的研究
机构 * Institute for People-Centered AI, University of Surrey（萨里大学以人为本人工智能研究所） ； University of New South Wales（新南威尔士大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 研究英语方言适应中稳健性与生成的差距，通过DiaLLM持续预训练并结合多种策略对比不同英语变体。发现二者分离，特定变体适应产出受青睐但优化奖励方法未获评估者偏爱，缩小差距需丰富奖励设计和投入方言资源。
盲选策展人：有偏见的评判者如何在自我进化的智能体中悄然阻碍技能淘汰
机构 * AWS Generative AI Innovation Center（亚马逊云科技生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰科技中心，中国）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究自我进化智能体中，有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现，“误判通过”偏差会导致技能淘汰机制失效，此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。
放射学中的视觉基础模型：数据、方法、评估和临床转化的范围综述
机构 * Universitat Politècnica de València（瓦伦西亚理工大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 对2017年1月至2026年3月关于放射成像数据训练基础模型的研究综述，涵盖数据、架构、评估等方面。Transformer架构和自监督预训练为主，评估集中在分割和分类。虽有可迁移性，但临床转化因多种问题受限。
Comments 33 pages, 8 tables, 2 figures
MultAttnAttrib：长文档问答中的无训练多模态归因
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出无训练归因方法MultAttnAttrib，利用模型预填充、选定注意力头和校准阈值定位证据，并构建多模态归因基准MultAttrEval，实验表明其优于多种方法，匹配GPT 5.4且延迟降低至1/7。
Comments 25 pages (8 main, 17 references + appendix), 15 figures
大型语言模型中的数学推理：基准测试、架构、评估与开放挑战
机构 * organization= School of Electrical Engineering ； Computer Science, National University of Science ； organization= School of Computing, Data ； Mathematical Sciences, Western Sydney University, Indonesia ； organization= Department of Communication, Quality Management ； Information Systems, Mid Sweden University, Östersund Campus, Sweden
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 本文综述了大型语言模型在数学推理方面的最新进展，通过分析数据集、架构、训练策略和评估协议，探讨了数学推理的基准测试、架构设计、评估方法以及未来的研究挑战。
从混沌黑箱到可解释的教育编排：专精LLM集合架构用于自适应辅导
机构 * Singapore University of Technology and Design（新加坡科技设计大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY
AI总结 本文提出ES-LLMS架构，通过分离决策与表达，利用可解释的BKT模型协调专精代理，提升辅导系统的可控性和可靠性，实验显示其在指导与信任方面优于传统模型。
Comments Accepted as a FULL paper at the 27th International Conference on Artificial Intelligence in Education (AIED 2026). 15 pages, 4 figures, 4 tables
MedPMC：一种用于为基础模型扩展高保真医学多模态数据的系统框架
机构 * Yale University（耶鲁大学） ； Korea University（韩国大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； The University of Queensland（昆士兰大学） ； The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心） ； University of Washington（华盛顿大学） ； Microsoft Research（微软研究院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.LG
AI总结 研究针对医学多模态基础模型受高质量临床数据限制问题，提出MedPMC框架，将文献转化为高保真基础设施。经实验，该框架整理大量图像-文本对，在多方面评估表现出色，训练模型在多基准测试和临床场景中效果显著，还公开相关资源。
CARLA-GS：用于自动驾驶极端情况合成的解耦表示、推理和物理模拟
机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI
AI总结 研究自动驾驶极端情况合成问题，提出CARLA-GS模块化管道，解耦视觉表示、语义推理和物理执行并保持跨模块耦合，能从实际驾驶数据生成可编辑场景，经多智能体大语言模型推理等步骤，实现可控生成及逼真、时空一致的视频。
一个用于自动驾驶的具有大语言模型注释的高风险驾驶场景知识增强数据集
机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Fudan University（复旦大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.LG
AI总结 研究自动驾驶中高风险场景数据不足问题，核心方法是构建K-Risk数据集，整合多源轨迹数据并利用大语言模型生成注释，主要贡献是为自动驾驶开发和评估提供标准化基础。
Comments 22 pages, 9 figures
无信任代理能否被信任？ERC-8004 去中心化 AI 代理生态系统的实证研究
机构 * Imperial College London（伦敦帝国学院） ； Ohio State University（俄亥俄州立大学） ； University of Bristol（布里斯托大学） ； The University of Manchester（曼彻斯特大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI
AI总结 本研究首次实证分析 ERC-8004 协议在三条链上的身份、声誉和验证注册表，发现大多数注册为占位符，声誉不可比且易被操纵，大量评论者存在 Sybil 行为，表明该协议目前无法提供可信决策基础。
SycoEval-EM：急诊护理模拟临床场景中大语言模型的谄媚评估
机构 * UNC Chapel Hill（UNC夏洛特山分校） ； University of Waterloo（滑铁卢大学） ； Stanford University（斯坦福大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI
AI总结 提出SycoEval-EM多智能体模拟框架，评估19个LLM在急诊医学中对患者说服的鲁棒性，发现谄媚率呈双峰分布，静态医学基准无法预测安全表现。
Comments 19 pages, 10 figures
FedMark-FM：用于联邦基础模型适配的可审计、风险调整数据市场
专题命中 安全评测 ：safety(abstract)
AI总结 研究联邦基础模型适配中激励机制问题，提出FedMark-FM框架，将客户端视为工件卖家，用S3Val估计贡献，转换支付惩罚不良行为，经多任务评估表现出色，证明管道有序估值独特性，能在一定规模下保留专家。
大语言模型评估报告的毒圣杯
专题命中 安全评测 ：trustworthy(abstract)
AI总结 研究大语言模型评估中因数据污染致结果不可靠的问题，通过举办竞赛将污染检测设为白盒成员推理任务，提供相关资源，报告竞赛设置与结果，推动软件工程中可信大语言模型评估社区发展。
Comments Report of the competition hosted at FSE 2026
NavEYE：用于智能水面舰艇的基于视觉的多传感器融合态势感知系统
机构 * Sanya Science and Education Innovation Park, Wuhan University of Technology（武汉理工大学三亚科教创新园） ； School of Navigation, Wuhan University of Technology（武汉理工大学航运学院） ； State Key Laboratory of Maritime Technology and Safety（船舶技术与安全国家重点实验室）
专题命中 安全评测 ：safety(abstract)
AI总结 为实现智能水面舰艇在复杂环境中的高质量感知，开发以视觉为中心的多传感器融合系统NavEYE，提出多约束门控数据关联等方法，经实验验证其融合方法在多方面的优越性及对舰艇航行安全的促进作用。
Journal ref Ocean Engineering, Volume 363, Part 4, 2026, Article 126781
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈