AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
被擦除但可被利用：针对已遗忘文本到图像扩散模型的黑盒嵌入感知提示攻击
机构 * Department of Computer Engineering（计算机工程系）
专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI
AI总结 提出一种黑盒嵌入感知对抗提示攻击BEAP，利用大语言模型迭代生成有效对抗提示，以恢复被遗忘概念，并在攻击成功率上提升超过60%。
BAIT: 基于边界引导的自我条件推理披露升级
机构 * The Harbin Institute of Technology（哈尔滨工业大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen University（深圳大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL
AI总结 提出BAIT三步越狱框架，通过识别保护边界、细化边界和请求详细示例，利用模型自身推理和一致性倾向实现恶意目标披露，实验表明在多个基准上攻击成功率显著优于传统方法。
开源权重大语言模型微调防御易受简单攻击
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Simons Institute, UC Berkeley（Simons研究所，伯克利大学）
专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG
AI总结 本文发现针对开源权重大语言模型的防御措施易受abliteration和prefilling等低成本攻击，并提出abliteration-resistant tuning (ART) 方法将攻击成功率降低10%-20%。
Comments main body: 9 pages, 3 figures
GridPilot：面向AI超级计算机的实时电网响应控制
专题命中 越狱攻击 ：safety(abstract)
AI总结 提出GridPilot三层预测控制器，在GPU测试台上实现97.2毫秒的端到端电网响应，比北欧快速频率储备要求快6.9倍，并通过PUE感知控制消除冷却开销，证明兆瓦级AI/HPC负载可设计为可控的电网灵活性。
提示注入检测是依赖于场景的：一种基于可解释结构信号的部署感知评估
机构 * School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL
AI总结 本研究通过多模型、多场景的实验框架，评估了提示注入检测方法，发现检测性能高度依赖于部署场景和阈值选择，其中基于Transformer的模型表现最佳，结构信号在特定场景下提供适度但一致的改进。
设备上下文协议：一种紧凑、安全优先的架构，用于LLM驱动的受限设备控制
机构 * DeepLethe
专题命中 提示注入 ：safety(title,abstract)；分类 cs.LG
AI总结 针对LLM控制受限设备的安全问题，提出设备上下文协议（DCP），通过极小的帧开销、协议层安全原语和主机端桥接，在保持低资源占用的同时有效防御幻觉和提示注入攻击。
Comments 15 pages, 5 figures. Reference implementation, Python package (pip install pydcp), and reproduction scripts at https://github.com/device-context-protocol/dcp
AgentSecBench：测量LLM智能体中的提示注入、隐私泄露和工具使用完整性
专题命中 提示注入 ：prompt injection(title)
AI总结 提出AgentSecBench框架，通过定义意图到执行的无干扰游戏，系统评估LLM智能体在指令完整性、检索机密性和能力完整性方面的安全风险，并实验验证防御措施的有效性。
Comments 24 pages, 3 figures. Ancillary files provided
对齐来源与授权：面向LLM智能体的双图防御
专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)
AI总结 提出AuthGraph双图对齐防御框架，通过构建注入推理图与授权图的结构化比较，检测工具调用和参数来源级别的偏差，在AgentDojo上将攻击成功率从40%降至1%并保持76%任务完成率。
并非总是谄媚：基于认知不确定性测量LLM的从众行为
机构 * Vanderbilt University（范德比尔特大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； Intuit AI Research（Intuit AI研究院）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出MUSE框架，通过区分谄媚从众和不确定性驱动的从众，揭示LLM在用户反驳时改变立场的行为机制，并发现两种从众均随用户感知专业性和建议合理性增强。
Belief-Sim：迈向信念驱动的人口统计错误信息易感性模拟
机构 * University of Michigan - Ann Arbor（密歇根大学安娜堡分校） ； Texas State University（德克萨斯州立大学）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出BeliefSim框架，利用心理学分类和调查先验构建人口信念档案，通过提示条件化和后训练适应，实现基于信念模拟人口统计错误信息易感性，对齐度达92%。
Comments Paper Under Review
PaTAS：基于主观逻辑的神经网络信任传播框架
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出PaTAS框架，利用主观逻辑在神经网络中并行传播信任，通过信任节点和信任函数量化输入、参数和激活的信任，并设计参数信任更新和推理路径信任评估方法，以在对抗或退化条件下提供可解释的信任估计。
真实图像，更差判断：评估视觉-语言模型在具体性和意象性上的表现
机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL
AI总结 本文通过具体性和意象性评分任务，发现真实图像上下文不仅未提升视觉-语言模型与人类判断的一致性，反而在视觉证据相关性低时加剧偏差，并表明推理时聚焦文本指令可缓解退化。
学习在不确定性下编排智能体
机构 * Department of Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学） ； Centre for Human-Inspired Artificial Intelligence, University of Cambridge（启发式人工智能中心，剑桥大学） ； African Institute for Mathematical Sciences, South Africa（南非数学科学研究所） ； Department of Engineering Science, University of Oxford（工程科学系，牛津大学）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG
AI总结 提出BOT-Orch框架，将编排问题转化为带正则化的多臂赌博机问题，在不确定性下实现异构智能体的自适应编排，理论保证遗憾界为O(√T)并优于基线。
一种不确定性感知的贝叶斯机器学习分类模型框架：以土地覆盖分类为例
机构 * National Physical Laboratory, Teddington, UK（英国国家物理实验室，Teddington） ； Department of Data Science（数据科学系） ； Department of Thermal & Radiometric Metrology（热学与辐射计量学系） ； School of Geography, Geology & the Environment（地理、地质与环境学院）
专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.LG
AI总结 提出一种考虑输入测量不确定性的贝叶斯生成式分类模型框架，通过贝叶斯二次判别分析模型在土地覆盖数据集上验证，该模型在可解释性、不确定性建模和计算效率方面优于随机森林和神经网络。
Comments 38 pages, 16 figures
FedTreeLoRA：协调联邦LoRA微调中的统计异质性与功能异质性
机构 * University of Florida, Gainesville, FL 32611（佛罗里达大学） ； Middle Tennessee State University Murfreesboro, TN 37132（中田纳西州立大学）
专题命中 隐私与版权 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 针对联邦LoRA微调中统计异质性与功能异质性正交耦合的问题，提出树结构聚合框架FedTreeLoRA，通过逐层对齐实现泛化与个性化的有效平衡。
Comments Accepted by ICML 2026
SWAP：通过顺序水印实现软提示的版权审计
机构 * Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学）
专题命中 隐私与版权 ：harmlessness(abstract)；分类 cs.AI、cs.LG
AI总结 针对软提示的版权保护问题，提出一种基于顺序水印的审计方法SWAP，通过将水印嵌入到更复杂的输出分布顺序空间中，实现无害且鲁棒的版权验证。
Comments This paper has been accepted by the International Journal of Computer Vision (IJCV), 2026. The first two authors contributed equally to this work. 28 pages
隐私保护的记录链接筛选
专题命中 隐私与版权 ：alignment(abstract)
AI总结 提出 Screening-then-Linkage 框架，通过轻量级筛选阶段降低隐私保护记录链接的计算开销，并基于电路PSI设计Appraisal系统实现高效安全筛选。
Comments 14 pages; 2025 IEEE 41st International Conference on Data Engineering (ICDE)
Journal ref 2025 IEEE 41st International Conference on Data Engineering (ICDE)
ReasonOps: 可信验证的LLM推理的统一操作范式
机构 * School of Electrical Engineering（电子工程学院） ； Computer Science (SEECS) National University of Sciences（计算机科学（SEECS）国家 Sciences and Technology）
专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI
AI总结 本文提出ReasonOps，一种将推理视为持续监控、可验证、可靠性感知的操作过程的统一范式，整合语义解释、自动形式化、符号推理、定理证明、运行时保证、概率可靠性估计和自适应修正，以解决当前LLM推理中的逻辑不一致、幻觉符号转换等问题。
Comments 5 Pages
FinHarness：面向金融LLM代理的内联生命周期安全约束框架
机构 * Peking University（北京大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Soochow University（苏州大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Leeds（利兹大学） ； Fullive Innovation (Beijing) AI Technology Co., Ltd.（全维创新（北京）人工智能科技有限公司） ； Beihang University（北京航空航天大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL
AI总结 针对金融LLM代理在阻止提示诱导的未授权操作与批准合法多步骤业务流程之间的冲突，提出FinHarness内联安全约束框架，通过查询监控、工具监控和级联模块实现逐步骤风险评估与自适应验证，显著降低攻击成功率并保持良性批准率。
好奇心时代遇上AI时代：大型语言模型中的儿童安全基准测试
机构 * University of Michigan（密歇根大学）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL
AI总结 针对7-11岁儿童使用LLM的安全性问题，提出基于发展心理学的KIDBench基准，通过隐式线索和显式年龄指令提升安全性，并开发了儿童安全评估器KIDGuardLlama和响应模型KIDLlama。
三思而后行：通过思想修正增强智能体行为安全
机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） ； Shanghai Pudong Research Institute of Cryptology, Shanghai, China（上海浦东密码研究院，上海，中国）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI
AI总结 提出Thought-Aligner，一种轻量级插件式安全模型，在动作执行前对不安全思想进行因果修正，无需修改底层智能体，通过两阶段对比学习训练，在多个基准和六种LLM上将行为安全从约50%提升至约90%，超越现有防护约23%，同时提升有用性约5%。
Comments Accepted to ICML 2026
LURE: 减少评估感知的实时使用回放评估
机构 * Meridian Cambridge（梅里登剑桥）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出LURE方法，通过回放真实代理交互轨迹并附加评估提示来构建类似部署的评估，以减少大语言模型的评估感知，并引入自动化评估真实性流程。
MATCHA: 通过对比语义对齐进行文本匹配
机构 * University of Tübingen（图宾根大学）
专题命中 安全评测 ：alignment(title)；分类 cs.CL
AI总结 针对现有评估指标无法区分语义矛盾的问题，提出MATCHA指标，通过双视角对比学习同时奖励语义一致性和惩罚矛盾，在多个基准上优于ROUGE和BERTScore。
哪些变化重要？通过相关性敏感评估和求解器基础推理实现可信赖的法律AI
机构 * National University of Singapore（新加坡国立大学） ； Griffith University（格里菲斯大学）
专题命中 安全评测 ：trustworthy(title)；分类 cs.AI
AI总结 提出法律相关性敏感评估问题，引入统一评估套件，并设计基于形式推理的对抗多智能体框架LexGuard，以提高法律AI对法律相关变化的校准敏感性。
GlobalDentBench：一个用于评估牙科领域大语言模型临床推理能力并包含专家校准的多国基准
机构 * Division of Applied Oral Sciences and Community Dental Care, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Department of Periodontology, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）牙周科） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； Department of Orthodontics, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）正畸科） ； Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）） ； College of Future Technology, Peking University（北京大学未来技术学院） ； Freedom AI ； New Cornerstone Science Laboratory, National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University, Beijing 100871, China（新基石科学实验室、国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究院、北京大学未来技术学院、生命科学中心，北京大学，北京100871，中国） ； IDG/McGovern Institute for Brain Research, Peking University, Beijing 100871, China（IDG/ McGovern脑科学研究院，北京大学，北京100871，中国） ； Division of Oral and Maxillofacial Surgery, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院口腔颌面外科系） ； Shenzhen Loop Area Institute（深圳河套学院） ； Department of Cancer Biology, Mayo Clinic Arizona, 5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA（梅奥诊所亚利桑那分部癌症生物学部门，5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA） ； Department of Conservative Dentistry, Periodontology and Digital Dentistry, LMU University Hospital, LMU Munich, Munich, Germany（慕尼黑大学医院保守牙科、牙周病学和数字牙科部门，慕尼黑，德国，慕尼黑大学） ； Division of Periodontology & Implant Dentistry, Faculty of Dentistry, The University of Hong Kong, Hong Kong, SAR, China（香港大学牙科学院牙周病学与种植牙科系，香港，中国）
专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 提出首个跨国牙科基准GlobalDentBench，包含14个专科、88个国家的8978道专家验证题目，评估三种推理层次，揭示当前大语言模型在牙科临床推理中性能随复杂度下降且存在高风险。
从知识到推理：形式化GlobalHealthAtlas上的专业公共卫生推理
机构 * China Academy of Information and Communications Technology（中国信息通信技术研究院） ； CRRC Industrial Academy Co., Ltd.（CRRC工业学院有限公司） ； The University of Sydney（悉尼大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Institute of Infectious Disease and Biosecurity（上海传染病与生物安全研究院） ； School of Public Health, Fudan University（复旦大学公共卫生学院）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL
AI总结 为解决公共卫生推理缺乏结构化监督信号和基准的问题，提出大规模多语言数据集GlobalHealthAtlas（280,210实例，15领域，17语言），并构建LLM辅助的构建与质量控制流水线及领域对齐评估器，支持安全关键型公共卫生推理的LLM训练与评估。
Journal ref ICML 2026 regular
迈向无差错的电子健康记录：临床笔记与结构化表格之间的推理密集型一致性验证
机构 * KAIST（韩国科学技术院） ； Ghent University（根特大学） ； Samsung Medical Center（三星医疗中心） ； Samsung Changwon Hospital（三星昌原医院） ； Asan Medical Center（亚山医疗中心）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 针对电子健康记录中临床笔记与结构化表格数据不一致的问题，提出推理密集型基准EHR-ReasonCon和基于大语言模型的框架EHR-Inspector，通过锚点实体提取、时间引用和表格探索工具实现高效一致性验证。
ScientistOne: 迈向基于证据链的人类级自主研究
机构 * Google Cloud AI Research（谷歌云人工智能研究）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出证据链框架Chain-of-Evidence和自主研究系统ScientistOne，通过可追溯性解决可验证性失败问题，在多项任务上达到或超越人类专家水平。
Comments Project website: https://scientist-one.github.io/
卖给我这支股票：LLM智能体中的不安全推荐漂移
机构 * Centre for Artificial Intelligence, University College London（人工智能研究中心，伦敦大学学院）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究LLM智能体在多轮金融推荐中因工具输出被操纵而产生风险不匹配推荐的问题，通过实验揭示评估盲区并分析机制。
关于指令微调大语言模型对长输入中有害句子的敏感性
机构 * School of Computation, Information and Technology, TU Munich（计算、信息与技术学院，慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.CY
AI总结 通过构建长输入并系统变化长度、有害比例、显隐性和位置，研究LLM对稀疏嵌入有害句子的敏感性，发现敏感性非单调、随长度下降、早期位置优先、显性危害更易识别。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈