AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
通过回归相对奖励实现在线分布鲁棒LLM对齐
机构 * Department of Statistics and Data Science（统计与数据科学系） ； Cornell University（康奈尔大学）
专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.LG
AI总结 本文提出DRO-REBEL方法，通过类型-p Wasserstein、KL和χ²模糊集实现分布鲁棒优化，证明了在偏好转移下的参数误差界，并在多个基准测试中优于现有基线。
Comments 70 pages, 7 figures, 1 table
裁剪不安全的票据：一种资源高效的更安全且更稳健的大语言模型框架
机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；jailbreak(abstract)
AI总结 本文提出一种资源高效的剪枝框架，通过识别并移除与不安全行为相关的参数，减少不安全生成并提高对抗鲁棒性，同时保持模型性能。
在微调后输出多样性为何会崩溃？
机构 * School of Computer Science University of Sheffield（计算机科学学院 伦敦大学谢菲尔德分校）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究探讨了微调后输出多样性的崩溃原因，发现数据组成和训练方法共同影响多样性，揭示多样性崩溃发生在训练阶段而非推理阶段。
迈向稳健的内生推理：统一非平稳调谐中的漂移适应
机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faculty of Engineering and Information Technology（工程与信息技术学院）
专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.LG
AI总结 本文提出CPO++框架，解决多模态大语言模型在内生推理中的漂移问题，通过反事实推理与领域知识结合，提升推理连贯性和决策精度，适用于医疗诊断和自动驾驶等安全关键领域。
WildFeedback: 对齐大语言模型与实时用户交互与反馈
机构 * Microsoft Corporation（微软公司） ； Purdue University（普渡大学） ； Texas A&M University（德克萨斯农工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Southern California（南加州大学）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL
AI总结 本文提出WildFeedback框架，通过实时用户反馈自动创建偏好数据集，提升大语言模型对用户偏好的对齐能力，解决了现有方法的可扩展性、主观性和偏见问题。
Comments ACL 2026 Camera-ready. 25 pages, 6 figures, 9 tables
GroupDPO：内存高效的组级直接偏好优化
机构 * CMU（卡内基梅隆大学） ； Google Deepmind（谷歌DeepMind） ； Google（谷歌）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL
AI总结 本文提出GroupDPO，通过解耦样本和保留梯度实现高效的组级偏好优化，减少内存使用，提升大规模训练效果，且在离线和在线对齐中均优于单对训练。
Mind DeepResearch 技术报告
机构 * MindDR Team（MindDR团队） ； Li Auto Inc（Li Auto公司）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI
AI总结 MindDR通过高效多智能体深度研究框架，在仅30B参数模型下实现领先性能，采用精心设计的数据合成和多阶段训练流程，其核心创新为三智能体架构及四阶段智能体专用训练流程，展现竞争力。
镜像用户：构建基于用户反馈的偏好对齐用户模拟器
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CY
AI总结 本文提出一种基于用户反馈的用户模拟器构建框架，通过生成高质量模拟数据提升推荐系统与用户偏好的对齐能力，并通过实验验证其有效性。
Comments ACL 2026 Main. Github: https://github.com/Joinn99/UserMirrorer
是什么让大语言模型（LLMs）成为有效的序列推荐者？对偏好强度和时间上下文的研究
机构 * Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系） ； ByteDance, US（字节跳动（美国）） ； Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG
AI总结 本文研究了LLMs在序列推荐中有效性的关键因素，提出RecPO框架通过整合显式和隐式反馈，提升推荐性能，强调偏好强度和时间上下文的重要性。
Comments Accepted The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)
进入灰色区域：领域上下文可以模糊大语言模型安全边界
专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract,abstract_cn)；alignment(abstract)；harmlessness(abstract)
AI总结 研究探讨了领域上下文如何模糊大语言模型的安全边界，提出Jargon框架通过多轮对抗交互提升攻击成功率，通过激活空间分析揭示灰色区域的不可靠性，并设计政策引导的防护策略以减少攻击成功率。
Comments ACL 2026 Main Conference
在悲观对抗者下具有后悔和违反保证的乐观策略学习
机构 * Dept. of Electrical and Computer Engineering, NJIT, Newark, NJ, USA（电气与计算机工程系，新泽西理工学院，新泽西州纽克尔，美国）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出RHC-UCRL算法，通过建模外生因素为对抗策略，实现策略在对抗环境下的最优与安全，提供子线性后悔和约束违反保证。
PolicyBank: 为LLM代理演化政策理解
机构 * Google Cloud（谷歌云） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 研究通过交互与反馈让LLM代理自主优化政策解读，提出PolicyBank机制以结构化存储政策洞察并迭代完善，有效填补规范缺口。
LLM4C2Rust: 利用大型语言模型实现自动内存安全代码转译
专题命中 安全训练 ：safety(abstract)
AI总结 本文提出基于检索增强生成的框架，利用大型语言模型与小型语言模型结合，实现C/C++到Rust的转译，提升内存安全性。实验表明该方法能有效提高代码正确性和安全性，减少原始指针解引用和不安全类型转换。
多机器人系统中使用偏微分方程约束优化的安全去中心化密度控制
专题命中 安全训练 ：safety(abstract)
AI总结 本文提出了一种去中心化优化密度控制器，通过设计去中心化控制屏障函数，确保局部安全约束下的全局安全。采用Fokker-Planck方程建模机器人空间概率密度函数，降低计算和通信开销，通过四架四旋翼飞行器的仿真和实验验证有效性。
Comments Accepted to MRS 2025
Journal ref 2025 IEEE International Symposium on Multi-Robot and Multi-Agent Systems (MRS), Singapore, Singapore, 2025, pp. 1-7
通过语义触发和心理框架针对大推理模型的推理定向劫持攻击
机构 * College of Intelligence and Computing（智能与计算学院） ； School of New Media and Communication（新媒体与传播学院） ； Shanghai Key Laboratory of Data Science（上海数据科学 key laboratory）
专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出PRJA框架，通过语义触发选择模块和心理指令生成模块，解决大推理模型推理过程中的安全问题，实验显示在五个问答数据集上攻击成功率达83.6%。
TRIDENT：通过三维多样化红队数据合成增强大语言模型安全性
机构 * Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（航空信息安全与可信计算重点实验室，教育部，网络安全工程学院，武汉大学） ； Ant Group（蚂蚁集团） ； Ant International（蚂蚁国际） ； School of Computing Technologies, Royal Melbourne Institute of Technology（计算技术学院，皇家墨尔本理工学院）
专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL
AI总结 TRIDENT通过三维分析框架和自动化流水线生成涵盖词汇多样性、恶意意图和突破战术的多样化数据，提升大语言模型安全性，实验显示在有害内容评分和攻击成功率上有显著提升。
RedBench：用于大型语言模型全面红队测试的通用数据集
机构 * Knovel Engineering Lab（Knovel工程实验室） ； Knovel Engineering Singapore（Knovel工程新加坡） ； VNU University of Science（越南科学技术大学）
专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL
AI总结 RedBench通过整合37个基准数据集，提供标准化的风险分类和领域框架，用于系统评估大型语言模型的安全性，促进鲁棒性比较和未来研究。
当搜索出错时：针对具有网络搜索功能的大型语言模型的红队测试
机构 * Nanyang Technological University, Singapore（新加坡南洋理工大学） ； Nanjing University of Aeronautics（南京航空航天大学） ； Tsinghua University, China（清华大学）
专题命中 红队测试 ：safety(abstract)；分类 cs.AI
AI总结 本文提出CREST-Search框架，针对具有网络搜索功能的LLM的安全性问题，通过三种新型攻击策略和迭代上下文优化机制，揭示网络搜索带来的安全漏洞。
智能体安全的盲点：良性用户指令如何暴露计算机使用智能体的关键漏洞
机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of Minnesota（明尼苏达大学） ； University of Southern California（南加州大学） ； McGill University（麦吉尔大学） ； Mila（Mila研究院） ； MBZUAI（MBZUAI研究院）
专题命中 提示注入 ：safety(title,abstract)；alignment(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 研究揭示了良性用户指令下智能体安全漏洞，提出OS-BLIND基准测试，发现多数智能体在攻击条件下成功率高达90%以上，且在多智能体系统中风险加剧，现有安全措施效果有限。
Comments 63 pages
LogJack：通过云日志间接提示注入攻击大语言模型调试代理
专题命中 提示注入 ：prompt injection(title,abstract)
AI总结 研究通过云日志内容对LLM调试代理进行间接提示注入攻击，提出LogJack基准测试集，并评估8个基础模型在不同提示条件下的表现，发现部分模型在主动条件下可执行命令，而防护措施大多失效。
HarmfulSkillBench: 你的代理如何被有害技能所利用？
机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心）
专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 本文首次研究了代理生态系统中的有害技能，发现4.93%的技能具有潜在危害，并构建了HarmfulSkillBench基准，评估六个LLM在有害技能下的表现，发现预装技能显著降低拒绝率。
反思搜索器：通过带有约束的强化学习提高大语言模型的可靠性
机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 幻觉与事实性 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI
AI总结 本文提出反思搜索器框架，结合置信度校准与基于检索的搜索，通过强化学习优化准确性，提升模型输出的可靠性。
Comments Accepted by ACL 2026
FineSteer: 一种用于大语言模型推理时细粒度引导的统一框架
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出FineSteer框架，通过条件引导和细粒度向量合成两个阶段实现高效引导，保留模型效用并提升引导效果，实验显示其在安全性和真实性基准上表现优异。
Comments Accepted by ACL 2026 (Main)
推理陷阱：增强大语言模型推理能力如何放大工具幻觉
机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Nanjing University of Science and Technology（南京理工大学） ； Independent Researcher（独立研究者）
专题命中 幻觉与事实性 ：DPO(abstract)；分类 cs.AI、cs.LG
AI总结 研究探讨增强LLM推理能力是否导致工具幻觉增加，通过SimpleToolHalluBench验证因果关系，发现推理增强与幻觉成正比，且不受过拟合影响，揭示需新的训练目标平衡能力和可靠性。
Comments Accepted to ACL 2026 Main
具有人格分配的大型语言模型表现出类似人类的动机推理
机构 * University of Washington（华盛顿大学）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究探讨了分配不同政治和社会人口属性的人格对大型语言模型动机推理的影响，发现人格分配的模型在评估信息真实性时表现下降，且政治人格在科学证据评估中更倾向于与自身身份一致的结论，传统去偏方法效果有限。
Comments ACL Findings 2026
HyCal：一种无需训练的跨学科少样本类增量学习原型校准方法
机构 * Chung-Ang University（Chung-Ang 大学） ； KT Corporation（KT 公司） ； Dentium ； ETRI
专题命中 幻觉与事实性 ：alignment(abstract)
AI总结 本文提出HyCal方法，通过结合余弦相似度和马氏距离，解决跨学科少样本类增量学习中的领域引力问题，提升在不平衡数据下的性能。
Comments Accepted to CVPR 2026. Eunju Lee and MiHyeon Kim contributed equally as co-first authors
PolicyGapper：利用LLMs自动检测Google Play数据安全部分与隐私政策之间的不一致之处
专题命中 隐私与版权 ：safety(title,abstract)；alignment(abstract)
AI总结 本文提出PolicyGapper，一种基于LLM的方法，用于自动检测Google Play数据安全部分与隐私政策之间的不一致之处，通过四个阶段处理330款应用，发现2689处遗漏披露，验证精度达75%。
Comments Submitted for consideration to the Journal of Information Security and Applications (JISA)
人们如何使用Copilot进行健康咨询
机构 * Microsoft AI（微软人工智能）
专题命中 隐私与版权 ：safety(abstract)；分类 cs.AI、cs.CY
AI总结 研究通过分析50万条健康对话，构建了12类意图分类体系，揭示了健康查询的意图分布、主题演变及使用差异，发现健康咨询多涉及个人症状、他人健康及医疗系统导航问题。
Comments 12 pages, 7 figures
一种基于语言学的LLM水印方法：通过语法可预测性
机构 * Yonsei University（延世大学） ； Rensselaer Polytechnic Institute（拉特格斯理工学院）
专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出STELA框架，通过语法可预测性动态调整水印信号，提升检测鲁棒性，适用于多种语言。
Comments ACL 2026
一种用于检测事故叙述中个人可识别信息的代理工作流
专题命中 隐私与版权 ：safety(abstract)
AI总结 本文提出一种本地部署的代理工作流，利用大语言模型检测事故叙述中的个人可识别信息，通过混合提取器和验证器提升检测精度与召回率，实现隐私保护的可扩展数据处理。
Comments 13 pages, 5 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈