AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
安全并非普遍：大语言模型对齐中的选择性安全陷阱
机构 * Advanced Knowledge Center for Immersive Technologies（沉浸式技术先进知识中心） ； Federal University of Goiás（戈亚斯联邦大学）
专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 研究揭示大语言模型在安全对齐中的选择性安全陷阱，通过MiJaBench基准测试发现安全防御存在人口统计学层级差异，通过DPO优化实现跨群体的安全泛化。
Comments 22 pages
EvoPref：多目标进化优化发现超越梯度下降的多样化大语言模型对齐
机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 EvoPref通过多目标进化算法在帮助性、无害性和诚实性目标上优化LoRA适配器，发现比梯度下降更丰富的对齐方式，实验显示其在偏好覆盖和崩溃率上均有显著提升。
Comments 10 pages, 2 figures, 6 tables, 1 algorithm. Accepted to GECCO 2026
Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架
机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学）
专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG
AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。
基于数据的探索：面向人类反馈的在线强化学习
机构 * Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心） ； Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院） ； Northeastern University（东北大学） ； Zhejiang Gongshang University（浙江工商大学）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG
AI总结 提出数据依赖探索的偏好优化方法(DEPO)，利用历史数据构建不确定性奖励，鼓励探索高价值区域，理论证明其数据依赖的遗憾界更紧，实验表明样本效率提升。
非线性补丁：大型语言模型中的指令向量
机构 * Ubiquitous Knowledge Processing Lab (UKP Lab)（通用知识处理实验室） ； Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（计算机科学系，达姆施塔特技术大学和应用网络安全国家研究中心ATHENE，德国）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL
AI总结 通过因果中介分析发现指令表示在模型中高度局部化，称为指令向量（IVs），并揭示其线性可分性与非线性因果交互并存，提出一种免于线性假设的新方法定位信息处理，发现IVs作为电路选择器。
Comments Accepted at ACL 2026
PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)
AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。
Comments ECCV 2026
Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法
机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI
AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。
Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)
Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026
PISCES: 基于最优传输对齐奖励的无标注文本到视频后训练
机构 * Microsoft（微软） ； Stony Brook University（石溪大学）
专题命中 偏好对齐 ：alignment(abstract)
AI总结 提出PISCES算法，通过双重最优传输对齐奖励模块，无需人工标注即可提升文本生成视频的质量和语义对齐，在VBench上超越现有方法。
Comments Accepted to ICML 2026. Project page and code: https://roar-ai.github.io/pisces/
对齐否决：安全训练如何压制LLM中的文化知识
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Qatar Computing Research Institute（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·卡伊夫大学）
专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL
AI总结 研究对齐训练与语言模型编码的文化价值观冲突时的内部机制，发现模型内部logit分布仍反映人类调查数据，但输出被压制，称为“对齐否决”，并区分了压制失败与表征偏差失败，揭示了安全税在国家间的不平等。
积极对齐：人工智能促进人类繁荣
机构 * Department of Psychiatry, University of Oxford（牛津大学精神病学系） ； Flourishing Intelligence Program, Centre for Eudaimonia and Human Flourishing, Linacre College, University of Oxford（牛津大学幸福智能计划、幸福与人类繁荣中心、林acre学院） ； Google DeepMind（谷歌DeepMind） ； LIFE ； OpenAI ； Anthropic ； University of California, Los Angeles（加州大学洛杉矶分校） ； Aily Labs（Aily实验室） ； Stanford University（斯坦福大学） ； Tufts University（塔夫茨大学） ； Positive AI Labs（积极AI实验室） ； Department of Informatics, University of Sussex（Sussex大学信息学系） ； Department of Brain Sciences, Imperial College London（伦敦帝国理工学院脑科学系）
专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.CY
AI总结 本文提出积极对齐，旨在通过支持人类和生态繁荣，同时确保安全与合作，推动AI发展。研究指出传统对齐关注安全，而积极对齐强调促进人类福祉，提出多项技术挑战与设计原则。
GAC: 通过梯度对齐控制稳定大语言模型的异步RL训练
机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； Alibaba Group（阿里巴巴集团） ； Southeast University（东南大学）
专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题，提出梯度对齐控制（GAC）方法，通过梯度投影调节陈旧对齐方向，恢复稳定训练并匹配同步基线。
AIR：通过事件响应提升智能体安全性
机构 * Tianjin University（天津大学） ； Singapore Management University（新加坡国立管理学院）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI
AI总结 提出首个面向LLM智能体系统的事件响应框架AIR，通过语义检测、自动遏制恢复和规则合成，在三个典型智能体上实现超90%的检测、修复和根除成功率。
Comments Accepted at ICML 2026
CLAR: 通过融合掩码重建与多层级对比对齐学习用于机器人操作的3D表示
机构 * SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所SKL-MAIS） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Galbot ； CFCS, School of Computer Science, Peking University（北京大学计算机科学与技术学院CFCS）
专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI
AI总结 提出CLAR框架，融合掩码自编码与全局跨模态对比学习，并引入基于可变形注意力的局部自适应对齐机制，解决3D预训练中空间几何与语义细节的权衡问题，在视觉运动策略学习中达到最优性能。
Safe-SAGE: 通过拉普拉斯调制泊松安全函数实现安全交互的社会-语义自适应引导
机构 * Caltech MCE（Caltech机械工程系） ； Tufts ME（Tufts大学机械工程系）
专题命中 安全训练 ：safety(title,abstract)
AI总结 提出Safe-SAGE框架，结合泊松安全函数与拉普拉斯引导场，融合多传感器点云与视觉语义分割，通过多层安全滤波器实现腿式机器人在语义丰富动态环境中的安全导航。
Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Copyright transferred to IEEE
OPRD: 在线策略表示蒸馏
机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团）
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 针对在线策略蒸馏中输出空间监督的采样方差和忽略中间隐藏状态的问题，提出OPRD方法，通过在隐藏状态空间对齐师生表示，消除采样方差、提供更丰富的逐层结构信息，并在AIME等基准上缩小师生差距，训练速度提升1.44倍，内存减少54%。
评估基于大语言模型的议会辩论总结的论证内容
机构 * School of Computer Science, University College Dublin（都柏林大学计算机科学学院） ； School of Politics and International Relations, University College Dublin（都柏林大学政治与国际关系学院） ； Department of Informatics, King’s College London（伦敦国王学院信息学院）
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL
AI总结 本文提出一种评估议会辩论总结的框架，通过计算论证方法评估总结对辩论论证内容的忠实性，以欧洲议会辩论为例验证方法有效性。
Comments Accepted at KR'26 In The Wild Track. Camera Ready with additional supplementary materials
自适应与静态机器人-人类交接：关于方向和接近方向的研究
机构 * Department of Engineering "Enzo Ferrari", University of Modena and Reggio Emilia（工程学院"Enzo Ferrari"，摩德纳和雷吉奥艾米利亚大学） ； Department of Surgery, Medicine, Dentistry and Morphological Sciences, University of Modena and Reggio Emilia（外科、医学、牙科和形态学科学学院，摩德纳和雷吉奥艾米利亚大学）
专题命中 安全训练 ：alignment(abstract)
AI总结 本文提出了一种自适应框架，通过实时调整物体的交付姿态，提升人类抓取的效率和安全性，实验表明动态对齐能降低用户认知负荷和生理压力，增强对机器人可靠性的信任。
Comments The paper has been accepted for publication at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026)
当压缩成为攻击面：针对提示压缩的LLM智能体的黑盒攻击
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学）
专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI
AI总结 提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。
设备端可解释的基于Tsetlin机的入侵检测系统用于安全的物联网医疗设备
机构 * Department of ICT, University of Agder, Norway（阿格德大学信息与通信技术系）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG
AI总结 本文提出了一种基于Tsetlin机的设备端可解释入侵检测系统，用于IoMT环境中的入侵检测，通过逻辑规则和特征贡献提升透明度和性能，达到97.83%的分类准确率。
Comments 8 pages, 11 figures, 7 tables, accepted at the IEEE Intelligent Conference on Intelligence and Security Informatics (ISI-2026), Cambridge, UK
AgentMisalignment：衡量基于LLM的代理中失调行为的倾向性
机构 * Department of Computer Science（计算机科学系） ； University of Oxford（牛津大学） ； Institute of Intelligent Systems and Robotics（智能系统与机器人研究所） ； Sorbonne Université（索邦大学） ； The Leverhulme Centre for the Future of Intelligence（未来智能中心） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） ； Department of Computer Science and Technology（计算机科学与技术系） ； Department of Engineering（工程系）
专题命中 提示注入 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 提出AgentMisalignment基准，评估LLM代理在真实场景中自发追求非预期目标的倾向，发现更强大的代理平均表现出更高的失调倾向，且个性特征对失调影响显著。
Comments Prepint, under review for NeurIPS 2025
从不可信输入到可信内存：LLM智能体中内存投毒攻击的系统研究
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI
AI总结 本文系统研究了基于LLM的智能体中的内存投毒攻击，识别了四种内存写入通道和九种结构漏洞，提出了六类攻击的分类法，并设计了评估基准MPBench，发现更积极读写内存的智能体更易被利用，且现有提示注入防御无法覆盖内存投毒攻击。
微调后大语言模型的不确定性沟通与元认知的泛化
机构 * Department of Cognitive Sciences, University of California, Irvine, United States（认知科学系，加州大学伊文斯顿分校，美国） ； Department of Computer Science, University of California, Irvine, United States（计算机科学系，加州大学伊文斯顿分校，美国）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 研究通过监督微调提升大语言模型不确定性沟通能力，发现领域内校准和判别改善，但任务间迁移有限，多任务训练可促进泛化。
医学图像分析中贝叶斯深度学习的置信-不确定性边界校准
机构 * Escuela Técnica Superior de Ingenieros de Telecomunicación Universidad Politécnica de Madrid（电信工程高级学院马德里理工大学）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG
AI总结 提出基于贝叶斯深度学习的概率优化框架，通过置信-不确定性边界曲线（CUBC）和边界损失（CUB-Loss）校准预测置信与不确定性，并引入双温度缩放（DTS）进行后处理，在肺炎、糖尿病视网膜病变和皮肤病变三个医学图像任务上验证了有效性。
Comments 26 pages, 4 figures
EPSVec: 通过数据集向量实现高效且私密的合成数据生成
机构 * Capital One
专题命中 隐私与版权 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出EPSVec，一种轻量级差分隐私方法，通过提取并净化数据集向量来引导LLM生成合成文本，在低数据场景下实现高保真度，且计算开销低。
Comments Accepted at ICML 2026. Camera-ready version
用户在面向消费者的人工智能生成技术中需要哪些安全和隐私透明度
机构 * Duke University（杜克大学） ； Duke Kunshan University（杜克昆山大学） ； Google（谷歌）
专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.AI、cs.CY
AI总结 研究探讨用户在使用面向消费者的人工智能生成技术时对安全和隐私信息的需求，发现现有信息不足以驱动初始采用，用户更依赖流行度等粗略指标，后续使用中不确定性影响用户行为，提出需可信信息和易用界面的透明度设计。
Comments To Appear at the Twenty-Second Symposium on Usable Privacy and Security (SOUPS) 2026
OFMU：面向机器遗忘的优化驱动框架
机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院）
专题命中 隐私与版权 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出OFMU，一种基于惩罚的双层优化框架，通过层次结构优先遗忘并保持保留性能，在视觉和语言基准上优于现有方法。
Comments Under review at ICLR 2026
NOEM$^{3}$A：一种用于移动代理中多意图理解的神经符号本体增强方法
机构 * Huawei Heisenberg Research Center（华为海森堡研究中心） ； Technical University of Munich（慕尼黑技术大学）
专题命中 隐私与版权 ：alignment(abstract)；分类 cs.AI
AI总结 提出NOEM$^{3}$A，一种轻量级神经符号层，通过意图本体增强紧凑语言模型，在低延迟和隐私约束下提升移动代理的自然语言理解准确率。
Intent-Handover：在人类使用区域中接地语言以实现可信的机器人到人交接
机构 * DANiLab, University of Leicester（莱斯特大学DANiLab） ； University of Leicester（莱斯特大学） ； School of Computing and Mathematical Sciences, University of Leicester（莱斯特大学计算与数学科学学院） ； School of Metallurgy and Materials, University of Birmingham（伯明翰大学冶金与材料学院）
专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.LG
AI总结 提出Intent-Handover方法，通过视觉语言模型识别目标物体和人类使用区域，结合抓取优化和人体姿态跟踪，实现安全、可信的机器人到人物体交接。
Comments Accepted at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)
告知、指导、共情、倾听：审计LLM护理支持角色
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； OSF HealthCare（OSF医疗集团） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 本研究通过操作化四种社会支持角色（告知、指导、共情、倾听），评估大型语言模型在非正式护理对话中的安全概况，发现支持角色系统性地影响交互风险，且存在感知质量-安全性权衡。
OGD4All: 基于大语言模型的可访问地理空间开放政府数据交互框架
机构 * Professorship of Computational Social Science, ETH Zurich（计算社会科学教授职位，苏黎世联邦理工学院） ； Esri R&D Center Zurich（埃斯里苏黎世研发中心） ； Complexity Science Hub（复杂性科学中心）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY、cs.LG
AI总结 提出OGD4All框架，结合语义检索、智能体推理和沙盒执行，实现基于大语言模型的地理空间开放政府数据交互，在430个数据集上达到98%分析正确率和94%召回率，有效减少幻觉风险。
Comments Author Accepted Manuscript (AAM). Proceedings of 2026 IEEE CAI (Granada, Spain). Update manuscript with final DOI. Code & data available at: https://github.com/ethz-coss/ogd4all
Journal ref 2026 IEEE Conference on Artificial Intelligence (CAI), pp. 882-888
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈