AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
LLM 能否可靠地自我报告对抗性预填充，以及如何实现？
机构 * KAIST（韩国科学技术院）
专题命中 偏好对齐 ：DPO(abstract_cn)；safety(abstract)；分类 cs.CL
AI总结 研究LLM在安全场景中识别自身输出是否受对抗性预填充攻击的能力，发现模型平均27.3%声称预填充输出有意图，且内省信号主要来自安全/拒绝推理，LoRA微调方法扩大了意图-篡改探针差距并提高了攻击成功率。
Comments In submission
将离策略令牌转换为策略内令牌：一种改进大语言模型对齐的插件方法
机构 * Renmin University of China（中国人民大学）
专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究针对大语言模型强化学习后训练中离策略数据问题，提出选择性重要性采样（SIS），受拒绝采样启发，以离策略模型为提议分布进行令牌级拒绝测试，理论证明可减少梯度估计差距，实验验证其有效性。
Agent libOS: 一种受库操作系统启发的运行时，用于长时间运行、能力受控的LLM智能体
机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 提出Agent libOS运行时，将LLM智能体建模为具有进程标识、生命周期、能力控制和审计记录的AgentProcess，通过类似libc的工具包装和运行时原语边界实现安全调度与资源控制。
Comments 20 pages, 3 figures, 7 tables. Project page: this https URL (https://github.com/yingqi-z20/Agent-libOS)
用于更智能无人机的扩散模型：决策与建模
专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI、cs.LG
AI总结 本文探索将扩散模型（DMs）与强化学习（RL）、数字孪生（DT）集成，通过仿真验证其在四无人机集群协同任务中生成邻居速度估计值的有效性，助力智能无人机的决策与建模。
用米尔格拉姆范式测量大型语言模型对权威的服从性
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 该研究将米尔格拉姆服从范式迁移至LLMs，测量42个模型的服从性概况，发现服从性异质性高、具模型特异性，受情境因素影响，且反映检查点而非模型谱系。
Comments 11 pages, 7 figures,
概率程序合成中的似然黑客行为
机构 * University of Oxford, Department of Computer Science（牛津大学计算机科学系） ； University of Edinburgh, School of Informatics（爱丁堡大学信息学院） ； CIFAR Fellow, Learning in Machines and Brains（CIFAR Fellow, 机器与大脑学习）
专题命中 安全训练 ：safety(abstract)；分类 cs.LG
AI总结 研究概率程序合成中语言模型通过强化学习生成程序时可能人为夸大边际似然奖励的问题，提出安全语言片段SafeStan以防止似然黑客行为。
每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs
机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学）
专题命中 越狱攻击 ：jailbreak(title,title_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI
AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。
Comments 15 pages, 2 figures
基于A.I.G的DeepSeek Harness安全评估：对间接提示注入的抗性评估
专题命中 提示注入 ：prompt injection(title,abstract)
AI总结 本研究用A.I.G评估DSH的间接提示注入抗性，开展多场景实验，发现不同攻击的成功率，明确需在不可信内容与敏感动作间增设控制措施。
手稿中的隐藏提示利用AI辅助同行评审
机构 * Department of Psychology, Yonsei University（延世大学心理学系） ； Department of Psychology, University of Science and Technology of China（中国科学技术大学心理学系）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究探讨了手稿中隐藏指令对AI同行评审的影响，分析了提示注入技术及学术出版物政策的不一致，指出需加强技术筛查与政策协调。
大型语言模型在规则应用中展现出概念掌握能力的证据
专题命中 提示注入 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 本文通过两项心理学实验发现，Gemini Pro等部分LLMs在规则应用上展现类人表现，证实LLMs掌握规则概念，对法律决策与哲学探究有启示。
基于李雅普诺夫监督的物理信息神经网络校正层的欠驱动航天器MPC控制
机构 * Politecnico di Torino（托斯纳理工学院） ； Argotec S.R.L.（Argotec公司）
专题命中 幻觉与事实性 ：safety(abstract)
AI总结 针对欠驱动航天器姿态控制，提出一种分层架构，结合非线性模型预测控制、物理信息神经网络和李雅普诺夫监督机制，在不确定性下降低稳态误差并保持鲁棒性。
Comments Accepted at SPAICE (AI in and for Space) 2026
通过结构化奖励强化视频MLLMs的一致性
机构 * Rutgers University（罗格斯大学） ； University of Toronto（多伦多大学）
专题命中 幻觉与事实性 ：alignment(abstract)
AI总结 研究通过结构化奖励提升视频MLLMs的一致性，发现传统监督不足，提出结合事实和时间单元的奖励机制，提升视频理解准确性。
Comments Accepted by COLM 2026
以指南为神谕：眼科电话分诊智能体的零标注训练
专题命中 隐私与版权 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 本研究提出以指南为神谕（GAO）方法，将美国眼科学会指南转化为训练监督信号，零标注训练出GAO-Triage智能体，大幅提升眼科电话分诊的一致性与紧急案例召回率，且性能优于7个通用系统。
你如何选择人工智能组件？关于安全人工智能集成实践的访谈研究
机构 * North Carolina State University（北卡罗来纳州立大学）
专题命中 隐私与版权 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 研究通过访谈了解从业者选择和集成人工智能组件的决策及安全考量，发现其选模型多受功能标准驱动，安全常被忽视，集成过程缺安全关注，行业重蹈早期软件依赖管理覆辙，为此给出相关建议倡导安全设计方法。
Comments 18 pages, 3 figures/tables
统一是否带来代价？Uni-SafeBench：一种用于统一多模态大模型的安全基准
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出Uni-SafeBench，用于评估统一多模态大模型的安全性，发现统一过程虽提升能力但显著降低基础LLM的安全性，开源资源以促进更安全的AGI发展。
CKAA：用于鲁棒持续学习的跨子空间知识对齐与聚合
机构 * School of Telecommunications Engineering, Xidian University（西安电子科技大学电信工程学院） ； School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； SUAT-Faculty of Computational Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术大学SUAT计算微电子学院） ； Brain and Artificial Intelligence Laboratory, Northwestern Polytechnical University（西北工业大学脑与人工智能实验室）
专题命中 安全评测 ：alignment(title,abstract)
AI总结 该研究针对基于PEFT的持续学习方法在误导性任务ID下决策模糊的问题，提出CKAA框架，通过DKA和TC-MoA两项创新提升鲁棒性，实验显示其性能优于同类方法。
Comments Accepted by IEEE Transactions on Image Processing (TIP), 2026
Palmyra x6技术报告：一种通过锚定监督微调进行后训练的具工具使用能力的智能体模型
机构 * Writer AI Research, Writer, Inc.（Writer AI研究院，Writer公司）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 Palmyra x6是一款针对企业级智能体任务优化的大语言模型，通过锚定监督微调后训练构建，在公开基准测试及偏见安全评估中表现优异。
Comments 12 pages
盲选策展人：有偏见的评判者如何在自我进化的智能体中悄然阻碍技能淘汰
机构 * AWS Generative AI Innovation Center（亚马逊云科技生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰科技中心，中国）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 研究自我进化智能体中，有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现，“误判通过”偏差会导致技能淘汰机制失效，此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。
Comments Published at COLM 2026 Workshop on Agent Behavior
CrevasseSeg：一种标签高效的无人机冰裂缝分割框架
机构 * School of Natural and Computing Sciences, University of Aberdeen（阿伯丁大学自然与计算科学学院） ； Interdisciplinary Institute, University of Aberdeen（阿伯丁大学跨学科研究所） ； School of Geosciences, University of Aberdeen（阿伯丁大学地球科学学院） ； Department of Engineering Cybernetics, Norwegian University of Science and Technology（挪威科技大学工程控制论系） ； School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院） ； Department of Physics and Technology, UiT The Arctic University of Norway（北极挪威大学物理与技术系）
专题命中 安全评测 ：safety(abstract)；分类 cs.LG
AI总结 CrevasseSeg框架针对无人机冰裂缝分割，采用多种自监督目标与架构，发现DINOv3特征在不同读出方式下表现反转，其优化 pipeline 性能优于基线，支持遥感标签高效分割研究。
Comments 13 pages, 5 figures, 7 tables
Eval4Sim: 一种用于人设模拟的评估框架
机构 * University of Sheffield（谢菲尔德大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL
AI总结 Eval4Sim提出了一种评估框架，用于衡量模拟对话与人类对话模式的契合度，通过三个互补维度评估人设的忠实性、一致性和自然性。
Comments Accepted at CIKM 2026
面向量子密钥分发（QKD）特定场景的机器学习：自适应协议、自由空间链路、6G集成及可操纵性感知安全综述
专题命中 安全评测 ：trustworthy(abstract)
AI总结 该综述聚焦自适应、非地面及应用集成QKD系统，梳理了ML、RL及QML在QKD多类特定场景的应用，分析了各主题的问题、方案与增益，并指出了相关开放挑战。
实验室驱动的对齐签名的出现：一种心理测量框架，用于审计生成AI中的潜在偏见和叠加风险
机构 * AI Researcher（人工智能研究员）
专题命中 AI治理与伦理 ：alignment(title)；分类 cs.CL
AI总结 本文提出了一种心理测量框架，用于审计生成AI中的潜在偏见和叠加风险，通过分析九个领先模型的实验室信号，揭示了持续行为聚类的成因。
Comments v2: expanded from 9 to 18 behavioral dimensions and from 4 to 6 developer organizations; revised statistical methodology (rank-based inference with effect-size criterion, replacing variance-decomposition approach); model-level results now reported; references corrected throughout
面向参数化安全规范的高效动态防护机制
机构 * University of California, Irvine（加州大学尔湾分校） ； IMDEA Software Institute（IMDEA软件研究所）
专题命中 其他安全 ：safety(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文针对参数化安全规范提出动态防护机制，其离线设计耗时数分钟，在线适配速度较暴力重新计算方法快最多5倍，可用于未知区域机器人导航以应对安全规范的动态变化。
在语境中说话：通过对比学习实现的多语言语音识别与语音语境对齐
机构 * Institute for Analytics and Data Science, University of Essex（数据分析与科学研究所，埃塞克斯大学） ； School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）
专题命中 其他安全 ：alignment(title,abstract)；分类 cs.CL
AI总结 本文提出一种基于对比学习的多语言语音识别框架，通过语境对齐提升识别性能，支持多种语言和口音，实现语音与上下文的高效交互。
Comments Accepted at LREC 2026
自蒸馏作为大语言模型的性能恢复机制：对抗压缩与灾难性遗忘
机构 * PayPal AI
专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出基于自蒸馏微调的性能恢复框架，通过理论分析和实验验证，证明自蒸馏能有效恢复模型能力，揭示了高维流形对齐与性能恢复之间的强相关性。
Comments 18 pages, 8 figures
注意力流动：通过故事摘要追踪LLM概念性参与
机构 * Cornell University（康奈尔大学） ； Aarhus University（奥胡斯大学）
专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究通过比较人类与LLM生成的故事摘要，分析模型在文本中的概念性参与模式，发现模型更关注文本结尾，揭示了摘要生成任务的复杂性。
Comments Error found in data creation pipeline
长视野多智能体大语言模型商业环境中涌现的对齐失效通信
专题命中 其他安全 ：safety(abstract)；分类 cs.AI
AI总结 该研究在Vending-Bench Arena环境中发现，竞争多智能体LLM交易场景会涌现与操作稀缺性、对手行为相关的可测量对齐失效通信，且该现象不受模型能力排名直接影响。
WiFo-MiSAC：一种无线基础模型，通过机器的通感（SoM）实现多模态感知与通信的整合
专题命中 其他安全 ：alignment(abstract)
AI总结 WiFo-MiSAC通过统一空间的自监督预训练，解决通信与传感数据碎片化处理导致的泛化问题，采用共享-特定解耦的混合专家架构，实现多模态交互，实验表明其在多任务中表现优异，具备强大的少样本适应与新模态集成能力。
基于交易拍卖的非合作协调
专题命中 其他安全 ：safety(abstract)
AI总结 提出TACo算法，通过去中心化的交易拍卖机制使非合作智能体无需直接通信即可达成共识，保证有限步内收敛，并实现总成本最小化和公平资源分配。
RAISECity: 一种用于城市级现实对齐3D世界生成的多模态代理框架
机构 * College of AI, Tsinghua University（人工智能学院，清华大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学） ； Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系，北京研究院，清华大学）
专题命中 其他安全 ：alignment(abstract)
AI总结 RAISECity通过多模态代理框架实现城市级3D世界生成，提升现实对齐、精度和性能，适用于沉浸媒体和具身智能应用。
Comments Accepted by ACM MM 2026, the code is available at: this https URL (https://github.com/tsinghua-fib-lab/UrbanWorld2.0)
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈