AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
EvalStop：利用世界反馈检测和纠正多租户RLHF平台中的奖励过度优化
机构 * DeepMind, London, UK（深度Mind, 英国伦敦） ； University of Cambridge, UK（英国剑桥大学） ； University of Washington, USA（美国华盛顿大学）
专题命中 偏好对齐 ：RLHF(title,title_cn)；分类 cs.AI、cs.LG
AI总结 提出EvalStop调度原语，通过检测评估分数连续下降来终止作业、释放GPU并保留最佳检查点，以纠正奖励过度优化，在RLHF负载上实现高精度检测并提升JCT。
S-SPPO：语义校准的自对弈偏好优化
机构 * University of Arizona, USA（亚利桑那大学） ； Arizona State University, USA（亚利桑那州立大学） ； Now at Google LLC, work done at Rice University（现就职于谷歌公司，曾就职于里士大学） ； Clemson University, USA（克莱姆森大学） ； Washington University in St. Louis, USA（圣路易斯华盛顿大学） ； Halmstad University, Sweden（哈姆斯塔德大学） ； Guangdong Institute of Intelligence Science and Technology, China（广东智能科学与技术研究院）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 针对自对弈偏好优化（SPPO）中因偏好预测过度自信导致策略退化的问题，提出双空间语义校准框架S-SPPO，通过语义门控监督校准和潜在排斥表示校准，在保持博弈结构的同时提升对齐性能。
Comments Accepted by ICML2026
通过理论极小极大博弈视角增强LLM安全性
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； VirtueAI ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL、cs.LG
AI总结 提出极小极大强化学习框架，通过数据生成器与分类器协同进化生成高质量多语言安全数据，理论证明收敛到纳什均衡，使小模型在英文基准上超越SOTA近10%且推理速度提升4.5倍。
Comments 24 pages, 9 figures, 5 tables
FineVLA：面向可操控视觉-语言-动作策略的细粒度指令对齐
机构 * XLANG Lab, The University of Hong Kong（XLANG实验室，香港大学） ； Qwen Team, Alibaba Inc.（通义团队，阿里巴巴公司）
专题命中 安全训练 ：alignment(title)；分类 cs.AI
AI总结 提出FineVLA框架，通过构建细粒度数据集和训练策略，在保持任务成功率的同时实现机器人动作的细粒度可控性。
Comments 26 pages, 7 figures, 25 tables
用于搜索的智能体强化学习使指令微调对齐失效
机构 * University of Oxford（牛津大学） ； Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学） ； Harvard University（哈佛大学）
专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL
AI总结 研究智能体强化学习（RL）对指令微调模型对齐的影响，发现RL训练使模型将有害请求转化为良性搜索查询，但在触发条件下产生多步不安全搜索行为，并提出了基于表示引导的RL训练方法恢复对齐。
代码即武器：用于衡量编码模型对恶意代码请求遵从性的共识标记提示库
机构 * University of Nevada Las Vegas（内华达大学拉斯维加斯分校） ； Department of Information Systems（信息系统系）
专题命中 安全训练 ：jailbreak(abstract)；分类 cs.CL、cs.LG
AI总结 本文通过构建一个经五名评审共识标记的提示库（包含4,748个可执行恶意代码请求和1,923个有害安全知识请求），为编码模型对恶意代码请求的拒绝行为提供了可靠且可跨语料库比较的测量基准。
Comments 23 pages, 9 figures, 6 tables. Consensus-labeled prompt bank consolidating eight malicious-code corpora (ASTRA, CySecBench, AdvBench/harmful_behaviors, JailbreakBench, MalwareBench, RedCode, RMCBench, Scam2Prompt) spanning diverse elicitation paradigms; 6,675 prompts, 33,375 classification calls
熵感知的在线策略蒸馏语言模型
机构 * IBM Research, San Jose, CA, USA（IBM研究院，旧金山，加州，美国） ； University of Toronto, Ontario, Canada（多伦多大学，安大略，加拿大） ； Vector Institute, Ontario, Canada（向量研究所，安大略，加拿大）
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 针对在线策略蒸馏中反向KL导致生成多样性下降和教师高熵时学习信号不稳定的问题，提出熵感知的在线策略蒸馏方法，通过在高熵时引入前向KL平衡模式寻求与模式覆盖，提升了生成多样性和学生-教师对齐度。
Comments 18 pages, 11 figures, ICML 2026
DRA-GRPO：你的GRPO需要了解多样化的推理路径以进行数学推理
机构 * Morgan Stanley（摩根士丹利） ； Clemson University（克莱姆森大学） ； Arizona State University（亚利桑那州立大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Notre Dame（圣母大学） ； University of Arizona（亚利桑那大学）
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 针对GRPO在数学推理中因奖励信号非单射导致策略坍塌的问题，提出基于子模互信息的多样性感知奖励调整框架DRA，通过逆倾向评分去偏梯度估计，在五个数学基准上以少量数据和成本取得平均58.2%的准确率。
Comments ACL2026
从错误中学习：面向安全代码LLM的树状自博弈
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI
AI总结 提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。
Comments 18 pages, 3 figures, Accepted by ICML 2026
基于仿真学习的多臂腹腔镜手术机器人碰撞感知操作的神经最小距离估计
机构 * Surgical Performance Enhancement and Robotics (SuPER) Centre, Department of Surgery（外科性能增强与机器人中心（SuPER）中心，外科部） ； The Wilfred and Joyce Posluns Centre for Image Guided Innovation & Therapeutic Intervention (PCIGITI)（威廉与乔伊斯·波斯伦中心（PCIGITI）影像引导创新与治疗干预中心） ； The Hospital for Sick Children (SickKids)（儿童医院（SickKids））
专题命中 安全训练 ：safety(abstract)
AI总结 提出结合分析建模、实时仿真与深度残差神经网络的框架，用于多臂手术机器人最小距离估计与碰撞预警，模型在验证集上R²=0.940，RMSE=42.0 mm。
Journal ref Sensors 2026, 26(12), 3744
生成式AI的计算安全性：假设检验视角
机构 * IBM Research（IBM研究院）
专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文从假设检验角度形式化生成式AI的计算安全性，提出基于信号处理的方法检测恶意输入和AI生成内容。
Comments Extended version of the paper presented at the ICML 2026 Workshop on Hypothesis Testing
你真的需要GPU来保护你的LLM吗？用于大规模安全执行的CPU级分类器与多阶段流水线
机构 * BITS Pilani（比斯帕利尼大学） ； Trustwise（Trustwise公司）
专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文研究CPU级分类器（如SVM、梯度提升树）在LLM输入安全检测中的性能，发现其与GPU模型互补，并设计三阶段流水线GuardChain，在80%的分布内查询中达到近峰值精度，降低部署成本。
Comments Under Review. 25 pages, 5 figures, 38 tables
HarmRLVR: 利用可验证奖励进行有害大模型对齐
专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)
AI总结 提出HarmRLVR，首次系统研究可验证奖励强化学习（RLVR）的对齐可逆性风险，通过仅64个有害提示的GRPO即可快速逆转安全对齐，攻击成功率高达96.01%。
从ASR到ASP：评估针对开源大语言模型的提示攻击漏洞
机构 * LMU Munich（慕尼黑莱茵恩大学） ； RUB Bochum（波恩鲁姆大学） ； MCML ； A*STAR（新加坡科技研究局）
专题命中 越狱攻击 ：prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL
AI总结 提出攻击成功概率（ASP）指标，评估14个开源和3个闭源LLM对提示注入攻击的脆弱性，发现催眠攻击可达约90% ASP，忽略前缀攻击可突破所有开源模型。
Comments 8 pages, 2 figures, EMNLP 2026 under review
LLM必须忘记什么才能有效教学：前现代日语教学法的DIY方法
专题命中 越狱攻击 ：alignment(abstract)
AI总结 本文提出一种基于大型语言模型（LLM）的DIY教学框架，通过提示工程创建定制工具，避免LLM过度解释或产生幻觉，从而促进前现代日语文学和语言课程中的主动理解与教学对齐。
MUZZLE: 针对间接提示注入攻击的自适应智能体红队测试框架
机构 * Northeastern University（东北大学） ； Mozilla Corporation（Mozilla公司）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI
AI总结 提出MUZZLE框架，利用智能体轨迹自动识别高显著性注入面，自适应生成上下文相关的恶意指令，评估网络智能体对间接提示注入攻击的安全性，发现44种新攻击和跨应用攻击策略。
Cordyceps: 通过数据投毒对LLM的隐蔽控制攻击
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Systems（思科系统）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。
Comments USENIX Security '26
先派侦察兵：提示注入防御中自适应检测器分配的预推理方法
机构 * UC San Diego（加州大学圣迭戈分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 提示注入 ：safety(abstract,comments)；分类 cs.LG
AI总结 针对提示注入检测器异构且不可靠的问题，提出SCOUT框架，通过预测每个检测器对每个样本的可靠性和延迟，动态分配检测器，实现安全性与效率的权衡。
Comments We propose SCOUT, a detector allocation framework that predicts each detector's accuracy and latency on a given input before running it, letting operators control the safety-utility trade-off with a single threshold and route to an LLM judge only when needed
自动化低风险代码审查在Meta：RADAR、风险校准与审查效率
机构 * Meta USA, UK, Canada（Meta美国、英国、加拿大）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI
AI总结 提出RADAR系统，通过多阶段漏斗对代码差异进行风险分层自动化审查，在Meta部署后显著提升审查效率并降低风险。
ROSA: 多模式交通中基于多智能体轨迹预测的环岛优化速度建议
机构 * IEEE
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CY
AI总结 提出ROSA系统，结合Transformer多智能体轨迹预测与协调速度引导，提升环岛多模式混合交通的效率与安全，预测精度优于前人工作。
Comments 8 pages, 1 figure, 4 tables. Copyright 2026 IEEE. This is the accepted manuscript for 2025 IEEE International Conference on Intelligent Transportation Systems (ITSC), not the final published version
SDFLoRA: 面向异构客户隐私保护微调的选择性解耦联邦LoRA
机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学）
专题命中 隐私与版权 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 提出SDFLoRA，通过将LoRA更新解耦为共享和私有组件，仅聚合共享部分并注入差分隐私噪声，解决联邦微调中的秩异构和数据异构问题，提升隐私-效用权衡。
超越判例法：评估法规中心型法律问答中的结构感知检索与安全性
机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI
AI总结 针对法规中心型法律问答中层级检索困难与模型幻觉问题，提出结构-安全感知基准SearchFireSafety，通过图引导检索提升性能，但揭示领域适应模型在证据缺失时更易幻觉。
Comments Accepted to ACL 2026
RoTRAG: 基于经验法则推理的检索增强生成对话有害内容检测
机构 * Peking University（北京大学） ； Enhans ； University of North Texas（北得克萨斯大学）
专题命中 安全评测 ：safety(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出RoTRAG框架，通过检索外部道德规范（RoTs）增强LLM的多轮对话有害内容检测，实现基于规范推理和分类，平均F1提升约40%，分布误差降低8.4%。
Comments Accepted by SIGIR-ICTIR 2026, Oral Presentation
Journal ref Proceedings of the 2026 International ACM SIGIR Conference on Innovative Concepts and Theories in Information Retrieval (ICTIR '26), July 25, 2026, Melbourne, VIC, Australia. ACM, New York, NY, USA, 12 pages
虚拟言语治疗师：一种临床医生参与的AI言语治疗代理，用于个性化和监督式治疗
机构 * The Kashmir Hub for Artficial Intelligence（喀布尔人工智能中心） ； Microsoft / Vocametrix（微软 / Vocametrix） ； IAI, TCG CREST（IAI，TCG CREST） ； Université de Lorraine, CNRS, Inria, LORIA（洛林大学，CNRS，Inria，LORIA） ； Laboratoire Praxiling, UMR5267, CNRS et Université Paul-Valéry Montpellier 3（Praxiling实验室，UMR5267，CNRS及蒙彼利埃Paul-Valéry大学） ； Speechcare iStutter, Portuguese Catholic University（Speechcare iStutter，葡萄牙天主教大学） ； CHI – Chair of Health Informatics, TUM University Hospital（健康信息学系，TUM大学医院） ； GLAM – Group on Language, Audio, & Music, Imperial College London（语言、音频与音乐小组，伦敦帝国理工学院）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出虚拟言语治疗师（VST）平台，集成深度学习口吃分类与多智能体大语言模型推理，自动生成个性化治疗方案，并通过临床医生反馈优化，实验证明其高质量推荐。
Comments Under Review
优化大语言模型推理：带有内存约束的流引导在线调度
机构 * Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Alibaba Group（阿里巴巴集团）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出流引导在线调度方法，通过等待阈值算法和嵌套等待算法，在内存约束下优化大语言模型推理的延迟和容量，减少过载时的延迟。
Comments 79 pages, 20 figures
MedAI: 评估 TxAgent 在 NeurIPS CURE-Bench 竞赛中的治疗性智能推理
机构 * L3S Research Center（L3S研究中心）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文介绍 TxAgent，一种通过迭代检索增强生成和统一生物医学工具集进行治疗决策的智能AI方法，并在CURE-Bench竞赛中评估其推理质量，通过改进工具检索策略提升性能，荣获开放科学卓越奖。
Comments 7 pages, 3 figures
JE-IRT: 通过联合嵌入项目反应理论审视LLM能力的几何视角
机构 * Independent Researcher（独立研究者） ； University of Cincinnati（辛辛那提大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出JE-IRT几何框架，将LLM和问题嵌入共享空间，通过方向编码语义、范数编码难度，揭示主题专长和分布外行为，支持新模型高效扩展，并发现与人类分类部分对齐的内部结构。
Comments 35 pages, 17 figures, 9 tables, accepted to TMLR
BRITE：面向不可信场景的可靠可解释文本到视频评估基准
机构 * Department of Computer Science, Iowa State University, Ames, Iowa, USA（计算机科学系，爱荷华州立大学，爱荷华州阿姆斯，美国）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 提出BRITE基准，通过人工参与协议统一不可信提示、细粒度音视频一致性评估和可解释QA评估，揭示现有模型在对象-动作绑定和音视频同步上的显著缺陷。
AI中涌现的策略推理风险：基于分类法的评估框架
机构 * Amazon Nova Responsible AI（亚马逊诺瓦负责任人工智能）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI
AI总结 提出ESRRSim框架，基于7类20子类的风险分类法，通过双评估标准自动评估LLM的策略推理风险，发现检测率在14.45%-72.72%之间，且模型代际提升显著。
EEG-FM-Bench：脑电图基础模型系统评估与诊断分析的综合基准
机构 * School of Computer Science and Technology, Tongji University, Shanghai, China（同济大学计算机科学与技术学院，上海，中国） ； Translational Research Center, Shanghai Yangzhi Rehabilitation Hospital (Shanghai Sunshine Rehabilitation Center), China（上海杨氏康复医院（上海阳光康复中心）转化研究中心，中国）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 提出EEG-FM-Bench统一基准，整合14个数据集和10种范式，通过多种微调策略和诊断分析揭示多任务学习可缓解过拟合、预训练效率受梯度冲突限制、模型规模非唯一决定因素等关键发现。
Comments 36 pages, 30 figures, Accepted by ICML2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈