AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
不确定性感知的奖励建模用于稳定的RLHF
机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学）
专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(abstract)；分类 cs.AI、cs.LG
AI总结 提出不确定性感知奖励建模（UARM），通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势，以缓解奖励黑客问题，提升对齐质量。
你的鼠标和眼睛悄悄泄露你的偏好：利用用户隐式反馈进行LLM对齐
机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； York University（约克大学）
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title)；分类 cs.CL、cs.LG
AI总结 针对显式反馈稀缺的问题，提出利用鼠标轨迹和眼动数据等隐式反馈训练奖励模型，将文本奖励模型准确率从55%提升至64%，并显著提高DPO对齐后响应质量。
超越统一遗忘：不同偏好设置下顺序直接偏好优化的研究
机构 * Network Analysis and Social Influence Modelling (NASIM) Lab（网络分析与社会影响建模实验室） ； School of Physics Maths and Computing, The University of Western Australia（西澳大学物理数学与计算学院） ； School of Psychological Science, The University of Western Australia（西澳大学心理科学学院） ； School of Computing, Macquarie University（麦考瑞大学计算机学院）
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究顺序DPO在不同偏好设置下的影响，发现遗忘模式并非统一，而是取决于目标关系、信号强度和训练顺序，并提出未来对齐流程应考虑目标兼容性。
Comments Submitted to EMNLP 2026
涌现对齐
机构 * CIIRC, Czech Technical University in Prague（捷克理工大学CIIRC）
专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.AI
AI总结 提出一种在线对齐技术，通过引入良心步骤和基于直接偏好优化的对齐损失，使大语言模型在训练、微调、对抗提示和零样本学习中自我纠正非伦理输出。
Comments Rejected from ICML 2026
LLM后训练中应比较哪些对？
机构 * Columbia University（哥伦比亚大学）
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI
AI总结 研究偏好后训练中如何选择最具信息量的比较对，提出基于采样设计的比较策展方法，通过DPO训练的理论分析给出优化准则，实验证明能提升样本效率。
大语言模型的心理特征很大程度上是测量假象
机构 * Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所） ； University of Konstanz（康斯坦茨大学） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； University of Basel（巴塞尔大学）
专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 通过心理测量框架分析56个指令微调LLM，发现模型间差异主要源于方向性响应偏差而非特质，该偏差解释了81-90%的变异，且可通过题目选择操控，表明LLM心理特征是测量假象。
杠杆不等于可达性：语言模型中单神经元操控的控制窗口定律
机构 * Palo Alto Networks
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 提出预算归一化控制窗口框架，通过残差范数与写入范数之比定义的相干预算，预测单神经元干预何时产生连贯行为控制，并在15个神经元上验证了预测精度。
通过决策树蒸馏对学习到的多智能体通信策略进行形式化验证
机构 * University of Arkansas at Little Rock（阿肯色大学小石城分校）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出通过决策树蒸馏将多智能体强化学习策略转化为可解释模型，并利用PRISM进行形式化验证，确保安全属性转移至原始网络，在无人机编队任务中实现88.9%属性满足率。
Comments 9 pages, 3 figures, 7 tables. Accepted at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026), Pittsburgh, Pennsylvania, USA, September 27-October 1, 2026
Co-policy: 响应式人机音乐共创框架
机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院）
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI
AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。
利用持续同调追踪大型语言模型中的表示动态
机构 * Imperial College London（伦敦帝国学院）
专题命中 安全训练 ：alignment(abstract)；分类 cs.LG
AI总结 通过持续同调分析激活空间拓扑，发现对齐过程中拓扑重组主要发生在训练早期，且不同对齐目标产生可区分的拓扑轨迹。
Comments 29 pages
自主AI代理的抗博弈保险合约：策略证明的通行费机制设计
机构 * Hao-Hsuan Chen（何浩轩）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 本文扩展了时间一致精算运行时的框架，使运营商策略化，刻画了自主AI代理保险合约的五种攻击空间，并证明了精算运行时的抗博弈性，通过新合约条款实现激励兼容。
Comments 29 pages. Companion to arXiv:2605.26508 (Paper A, foundations) and arXiv:2605.25632 (Paper B, empirical)
Phoenix: 通过多智能体LLM实现安全的GitHub问题解决
专题命中 安全训练 ：safety(abstract)
AI总结 提出多智能体LLM系统Phoenix，通过六个专业智能体和七层安全控制，在SWE-bench Lite子集上达到75%的解决率，并在真实问题中保持100%正确性。
面向空间自主性的智能体自动研究：用于航空航天控制问题的可审计、LLM驱动的研究代理
机构 * Department of Aeronautics and Astronautics（航空航天学系）
专题命中 安全训练 ：safety(abstract)
AI总结 提出AutoResearch框架，利用大语言模型作为离线研究代理，自动迭代开发航天控制策略，并通过内置可信层审计结果，消除种子噪声影响，在交会和对接问题上验证了有效性。
安全对齐的LLM从混合顺从演示中学到了什么？
专题命中 越狱攻击 ：safety(title)；jailbreak(abstract)；分类 cs.AI、cs.LG
AI总结 研究通过混合良性顺从演示和有害顺从演示，探究演示组成如何驱动有害顺从，发现演示内容、顺序和训练方法影响模型提取的信息。
SafeSpec: 通过动态反射采样实现快速且安全的LLM
机构 * Zhejiang University, Hangzhou, China（浙江大学） ； Huawei（华为） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））
专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI
AI总结 提出SafeSpec框架，将轻量安全头集成到推测解码的验证过程中，通过风险估计和反射采样恢复安全生成，在保持加速的同时显著降低攻击成功率。
分析针对基于模型引导的自动化攻击的防御性误导策略在智能体AI系统中的应用
机构 * Application & Threat Intelligence Research Center（应用与威胁情报研究中心）
专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI
AI总结 本文通过概率模型分析智能体AI系统的攻击-防御场景，提出“检测-误导”策略（如CMPE）以替代传统“检测-拦截”方法，通过产生误导性响应降低攻击者成功率，并在基准测试中将攻击成功率上限降低两个数量级。
模糊任务上的扩散AI控制
机构 * Anthropic Fellows Program (via MATS)（Anthropic 研究员计划（通过 MATS）） ； EPFL（洛桑联邦理工学院） ； Redwood Research（红木研究） ； Anthropic
专题命中 红队测试 ：safety(abstract)；AI safety(abstract)；分类 cs.LG
AI总结 针对AI在模糊任务上的长期扩散威胁，提出蓝队与红队对抗框架，通过弱模型评分训练强模型，并发现红队可利用多目标进化提示优化找到评分高但性能差的子版本行为，蓝队则通过对抗优化提升鲁棒性。
近乎智能的革命：扩大审议规模并利用AI赋能人类的选项
机构 * Centre on Participatory and Deliberative Democracy（参与性和协商性民主研究中心）
专题命中 红队测试 ：red teaming(abstract)；分类 cs.CL
AI总结 探讨大型语言模型如何通过系统功能语言学视角扩大民主审议规模，增强包容性并赋权边缘群体，同时警惕过度承诺与低估风险。
Comments Published in /Handbook of Democracy in the Era of Artificial Intelligence/ edited by Evangelos Pournaras, Srijoni Majumdar, Carina Ines Hausladen, and Dirk Helbing. 2026
基于RAG的聊天机器人中针对提示注入的分层安全框架
机构 * ICCK Transactions on Information Security and Cryptography（信息安全与密码学国际会议交易）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL
AI总结 提出三层防御框架，通过输入过滤、上下文指令层级和输出审计，将提示注入攻击成功率从71.4%降至11.3%，误报率4.8%，延迟开销61.2毫秒。
Comments Submitted in ICCK Transactions on Information Security and Cryptography
分析大语言模型-求解器循环中的叙述差距
机构 * Eindhoven University of Technology（埃因霍温理工大学）
专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 研究LLM与SAT/SMT求解器混合推理中，将求解器输出转化为用户答案的叙述步骤存在的安全漏洞，通过形式化建模和实验评估发现证书门控可保证求解结果正确，但对抗攻击可反转结论。
量化上下文学习中的偶然不确定性以稳健衡量LLM预测置信度
机构 * POSTECH（浦项科技大学）
专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL、cs.LG
AI总结 针对上下文学习（ICL）中预测对提示设计敏感的问题，提出基于贝叶斯观点和机制可解释性的自函数向量，直接估计偶然不确定性，并设计严格评估协议，在合成和真实数据集上验证了方法的可靠性及在幻觉检测等应用中的实用性。
Comments Accepted to ACL 2026
基于机器学习的微观仿真从模拟交通冲突改进碰撞频率预测
机构 * School of Civil Engineering, University of Leeds（利兹大学土木工程学院） ； Institute for Transport Studies, University of Leeds（利兹大学交通研究所）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文利用机器学习行为模型替代传统规则模型进行交通微观仿真，通过极端值理论分析模拟冲突预测碰撞频率，在英国利兹五个信号交叉口验证了ML模型无需地点校准即可提升预测准确性。
多模态大语言模型的置信度校准：基于医学视觉问答的实证研究
机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Zhihui Medical Technology (Shanghai) Co., Ltd.（智汇医疗科技（上海）有限公司）
专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI
AI总结 针对多模态大语言模型在医学任务中置信度与准确性不匹配的问题，提出结合多策略融合询问与专家大语言模型评估的方法，在三个医学VQA数据集上将期望校准误差平均降低40%，提升了模型可靠性。
Comments Accepted by MICCAI 2025
论基于最高密度区域的量化不确定性探索
机构 * Northeastern University London（东北大学伦敦校区）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG
AI总结 针对概率机器学习中回归问题的不确定性量化，提出基于最高密度区域体积的QUEST框架，满足单调性和平移不变性公理，在选择性预测基准上优于方差和微分熵。
Comments 27 pages, of which 10 are main text. Contains 7 figures, 4 tables, 1 algorithm in total
可信多智能体系统：使用Argent信令协议缓解语义漂移
机构 * Synechron Inc（Synechron公司）
专题命中 安全评测 ：trustworthy(title)；分类 cs.CL、cs.AI
AI总结 提出Argent信令协议(ASP)，通过结构化质量信号区分可修复与不可修复的失败，在文档问答和多智能体系统中分别提升通过率和阻断无依据传播。
Comments 17 pages
LLM在硬件设计的RTL编码中如何失败与泛化？
机构 * NVIDIA Research（英伟达研究院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。
Comments Preview, under submission for EMNLP 2026
TxBench-PP：分析AI代理在小分子临床前药理学中的表现
机构 * LatchBio
专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出TxBench-PP基准，用于评估AI代理从真实实验数据中恢复临床前药理学结论的能力，测试显示最强配置Claude Opus 4.8 / Pi仅通过59.3%的端点尝试。
SARLO-80：全球斜距SAR语言光学数据集80cm
机构 * DEMR-ONERA – The French Aerospace Lab, Université Paris-Saclay（法国航空航天实验室DEMR-ONERA，巴黎-萨克雷大学） ； DTIS-ONERA – The French Aerospace Lab, Université Paris-Saclay（法国航空航天实验室DTIS-ONERA，巴黎-萨克雷大学） ； Hugging Face
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 为解决高分辨率SAR与光学图像及文本对齐的数据稀缺问题，基于Umbra SLC数据构建了80cm斜距网格的SAR-光学-文本三元组数据集，支持跨模态检索与生成任务。
FreeStyle: 从社区LoRA挖掘中实现风格-内容双参考生成的自由控制
机构 * Fudan University（复旦大学） ； StepFun ； Westlake University（西湖大学） ； University of Hong Kong（香港大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 提出FreeStyle框架，利用社区LoRA作为锚点，通过两阶段课程学习（注意力级约束和频率感知RoPE调制）解决双参考生成中的内容泄露问题，并引入新基准和评估指标，实现风格对齐、内容保持与泄露抑制的平衡。
Comments 35 pages, 26figures. Project page: https://github.com/Blue2Giant/FreeStyle
See-and-Reach: 视场内的精确视觉语言导航用于无人机
机构 * School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） ； School of Computer Science and Artificial Intelligence, Shandong Normal University（山东师范大学计算机科学与人工智能学院） ； Interdisciplinary Research Center of General Artificial Intelligence, Shandong Normal University（山东师范大学通用人工智能跨学科研究中心）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 针对无人机视觉语言导航中目标可见后精确到达能力评估不足的问题，提出UAV-VLN-FOV任务和3DG-VLN框架，通过动态3D方向线索增强细粒度视觉定位与空间对齐，在基准和真实实验中显著提升成功率。
Comments 12 pages, 7 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈