AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
安全并非普遍：大语言模型对齐中的选择性安全陷阱
机构 * Advanced Knowledge Center for Immersive Technologies（沉浸式技术先进知识中心） ； Federal University of Goiás（戈亚斯联邦大学）
专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 研究揭示大语言模型在安全对齐中的选择性安全陷阱，通过MiJaBench基准测试发现安全防御存在人口统计学层级差异，通过DPO优化实现跨群体的安全泛化。
Comments 22 pages
重复后训练并非自我改进：诊断持续DPO流水线中的科学健忘症
机构 * MetaAI
专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.AI
AI总结 针对工业LLM团队在持续DPO训练中遇到的性能退化问题，本文提出“科学健忘症”概念，并设计诊断套件、基于程序的流水线及基准测试，通过对比五种策略发现，结论高度依赖流水线设置和评估设计。
Comments 12 pages
EvoPref：多目标进化优化发现超越梯度下降的多样化大语言模型对齐
机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 EvoPref通过多目标进化算法在帮助性、无害性和诚实性目标上优化LoRA适配器，发现比梯度下降更丰富的对齐方式，实验显示其在偏好覆盖和崩溃率上均有显著提升。
Comments 10 pages, 2 figures, 6 tables, 1 algorithm. Accepted to GECCO 2026
从社会选择视角看AI对齐
机构 * Google Research（谷歌研究院） ； University of Southern California（南加州大学） ； Harvard University（哈佛大学）
专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI
AI总结 本文从社会选择理论视角审视人类反馈对齐中的偏好聚合问题，识别失败模式并揭示处理分歧的广阔设计空间。
Comments Accepted for publication in ACM SIGecom Exchanges
Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架
机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学）
专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG
AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。
基于数据的探索：面向人类反馈的在线强化学习
机构 * Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心） ； Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院） ； Northeastern University（东北大学） ； Zhejiang Gongshang University（浙江工商大学）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG
AI总结 提出数据依赖探索的偏好优化方法(DEPO)，利用历史数据构建不确定性奖励，鼓励探索高价值区域，理论证明其数据依赖的遗憾界更紧，实验表明样本效率提升。
非线性补丁：大型语言模型中的指令向量
机构 * Ubiquitous Knowledge Processing Lab (UKP Lab)（通用知识处理实验室） ； Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（计算机科学系，达姆施塔特技术大学和应用网络安全国家研究中心ATHENE，德国）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL
AI总结 通过因果中介分析发现指令表示在模型中高度局部化，称为指令向量（IVs），并揭示其线性可分性与非线性因果交互并存，提出一种免于线性假设的新方法定位信息处理，发现IVs作为电路选择器。
Comments Accepted at ACL 2026
PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)
AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。
Comments ECCV 2026
通道位置限制潜意识学习的可审计性
机构 * Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所） ； University of Vienna（维也纳大学）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 研究潜意识学习中隐藏特征传递的可审计性，发现通道位置决定审计有效性，并识别三种传递机制，证明审计必须匹配载体通道。
大型语言模型中二项式排序偏好的行为与表征证据
机构 * Ludwig Maximilian University of Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 通过多语言二项式数据集和分布度量，研究LLM对梯度频率分布的建模能力，发现模型虽能恢复主导顺序，但难以精确匹配偏好分布，并通过稀疏探针验证偏好强度在中间层编码且可操纵。
Comments Code and data are publicly available at https://github.com/Zhi-qing-Yang/Linguistic-Binomials-in-Large-Language-Models
面向数学错误纠正的教学对齐LLM导师
机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL
AI总结 提出两阶段对齐流程（监督微调+偏好优化），结合合成数据提升LLM在数学错误纠正中的教学质量和事实准确性，优于基线模型并与专有模型竞争。
Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法
机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI
AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。
Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)
Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026
从驾驶视频到可模拟场景
机构 * Dept. Computer Science, Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学计算机科学系） ； Computer Vision Center (CVC), UAB（UAB计算机视觉中心）
专题命中 偏好对齐 ：safety(abstract)
AI总结 提出D-V2S框架，通过视觉语言模型和大语言模型从驾驶视频自动生成可模拟场景，实现90%语义元素保留和75%偏好率。
Comments 8 pages, 11 figures and Accepted for publication at the IEEE International Conference on Intelligent Transportation Systems (ITSC), 2026
$\phi$-Scene: 物理驱动的图像到3D场景重建
机构 * University of California San Diego（加州大学圣地亚哥分校）
专题命中 偏好对齐 ：alignment(abstract)
AI总结 提出$\phi$-Scene方法，将单图像3D场景重建视为拓扑驱动的物理组装过程，通过SDF优化和刚体仿真解决穿透与不稳定接触问题，在3D-Front数据集上取得最优性能。
Comments Project page: https://phi-scene.github.io/
PISCES: 基于最优传输对齐奖励的无标注文本到视频后训练
机构 * Microsoft（微软） ； Stony Brook University（石溪大学）
专题命中 偏好对齐 ：alignment(abstract)
AI总结 提出PISCES算法，通过双重最优传输对齐奖励模块，无需人工标注即可提升文本生成视频的质量和语义对齐，在VBench上超越现有方法。
Comments Accepted to ICML 2026. Project page and code: https://roar-ai.github.io/pisces/
对齐否决：安全训练如何压制LLM中的文化知识
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Qatar Computing Research Institute（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·卡伊夫大学）
专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL
AI总结 研究对齐训练与语言模型编码的文化价值观冲突时的内部机制，发现模型内部logit分布仍反映人类调查数据，但输出被压制，称为“对齐否决”，并区分了压制失败与表征偏差失败，揭示了安全税在国家间的不平等。
IndicGuard：面向印度语言的多语言安全防护模型与数据集
机构 * L3Cube-Labs, Pune（L3Cube实验室，浦那）
专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.LG
AI总结 提出IndicGuard，一个针对10种印度主要语言的多语言安全数据集和基于Gemma-3-4B-IT微调的4B参数安全防护模型，在内容审核和跨语言泛化上优于现有基线CultureGuard。
积极对齐：人工智能促进人类繁荣
机构 * Department of Psychiatry, University of Oxford（牛津大学精神病学系） ； Flourishing Intelligence Program, Centre for Eudaimonia and Human Flourishing, Linacre College, University of Oxford（牛津大学幸福智能计划、幸福与人类繁荣中心、林acre学院） ； Google DeepMind（谷歌DeepMind） ； LIFE ； OpenAI ； Anthropic ； University of California, Los Angeles（加州大学洛杉矶分校） ； Aily Labs（Aily实验室） ； Stanford University（斯坦福大学） ； Tufts University（塔夫茨大学） ； Positive AI Labs（积极AI实验室） ； Department of Informatics, University of Sussex（Sussex大学信息学系） ； Department of Brain Sciences, Imperial College London（伦敦帝国理工学院脑科学系）
专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.CY
AI总结 本文提出积极对齐，旨在通过支持人类和生态繁荣，同时确保安全与合作，推动AI发展。研究指出传统对齐关注安全，而积极对齐强调促进人类福祉，提出多项技术挑战与设计原则。
Skin-Deep: 大型语言模型表示中对齐脆弱性的几何诊断方法
机构 * Zoom Communications ； Korea University（高丽大学） ； Yonsei University（延世大学） ； Konkuk University（建国大学）
专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI
AI总结 提出Skin-Deep几何诊断方法，通过计算几何脆弱性分数（GFS）在对齐模型微调前检测其拒绝有害请求行为的脆弱性，无需运行攻击。
Comments 16 pages, 3 figures, 12 tables. The first two authors contributed equally. Code (pre-attack GFS diagnostic): https://github.com/js-lee-AI/skin-deep
GAC: 通过梯度对齐控制稳定大语言模型的异步RL训练
机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； Alibaba Group（阿里巴巴集团） ； Southeast University（东南大学）
专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题，提出梯度对齐控制（GAC）方法，通过梯度投影调节陈旧对齐方向，恢复稳定训练并匹配同步基线。
想象以确保分层强化学习的安全性
机构 * Cognitive AI Systems Lab（认知人工智能系统实验室） ； Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所） ； FRC Computer Science RAS（俄罗斯科学院联邦研究中心计算机科学研究所）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI
AI总结 提出结合可学习世界模型与高低层策略的分层方法，通过高层生成安全子目标、低层利用想象滚动减少不安全行为，在长时域任务中显著优于现有安全强化学习基线。
CNnotator: LLM引导的内存安全注释合成
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Galois, Inc.（Galois公司）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI
AI总结 提出CNnotator工具，利用大语言模型自动生成CN规范来标注C代码的内存使用模式，OpenAI o3模型首次尝试成功率达90%，表明AI辅助注释对实际C代码库可行。
Comments 6 pages. Published at ReCode 2026 (1st Workshop on Code Translation, Transformation, and Modernization), co-located with ICSE 2026. This version corrects the description of the property-based testing backend (Bennet, built on Fulminate) relative to the published version
Journal ref Proceedings of the 1st Workshop on Code Translation, Transformation, and Modernization (ReCode '26), April 12-18, 2026, Rio de Janeiro, Brazil. ACM, New York, NY, USA, 6 pages
AIR：通过事件响应提升智能体安全性
机构 * Tianjin University（天津大学） ； Singapore Management University（新加坡国立管理学院）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI
AI总结 提出首个面向LLM智能体系统的事件响应框架AIR，通过语义检测、自动遏制恢复和规则合成，在三个典型智能体上实现超90%的检测、修复和根除成功率。
Comments Accepted at ICML 2026
CLAR: 通过融合掩码重建与多层级对比对齐学习用于机器人操作的3D表示
机构 * SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所SKL-MAIS） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Galbot ； CFCS, School of Computer Science, Peking University（北京大学计算机科学与技术学院CFCS）
专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI
AI总结 提出CLAR框架，融合掩码自编码与全局跨模态对比学习，并引入基于可变形注意力的局部自适应对齐机制，解决3D预训练中空间几何与语义细节的权衡问题，在视觉运动策略学习中达到最优性能。
AI训练集群的预调度共振安全准则
专题命中 安全训练 ：safety(title,abstract)
AI总结 针对AI训练集群在BSP协议下对电网产生的周期性功率波动，提出一种预调度安全准则，通过解析两区域摇摆方程，界定危险迭代周期带，并量化集群规模上限。
Comments Submitted for North American Power Symposium (NAPS) 2026, October 11 - 13, 2026
Safe-SAGE: 通过拉普拉斯调制泊松安全函数实现安全交互的社会-语义自适应引导
机构 * Caltech MCE（Caltech机械工程系） ； Tufts ME（Tufts大学机械工程系）
专题命中 安全训练 ：safety(title,abstract)
AI总结 提出Safe-SAGE框架，结合泊松安全函数与拉普拉斯引导场，融合多传感器点云与视觉语义分割，通过多层安全滤波器实现腿式机器人在语义丰富动态环境中的安全导航。
Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Copyright transferred to IEEE
AOR-Bench: 大型音频语言模型是否会过度拒绝伪有害查询？
机构 * Penn State University（宾夕法尼亚州立大学）
专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI
AI总结 提出首个针对大型音频语言模型过度拒绝问题的基准AOR-Bench，包含3000个伪有害音频样本，评估12个模型发现过度拒绝普遍存在，并探索了两种轻量缓解策略。
认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现
机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。
Comments 10 pages, 3 figures
面向乘客导向自动驾驶的LLM可解释DRL框架
机构 * LITAN, ESTIN（LITAN，ESTIN） ； Cosys-Grettia, Univ Gustave Eiffel（Cosys-Grettia，古斯塔夫·埃菲尔大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出结合深度强化学习与大型语言模型可解释模块的框架，实现自适应驾驶控制并向乘客解释决策，平衡安全性、适应性和可解释性。
CRAX：快速安全强化学习基准测试
机构 * Eindhoven University of Technology（埃因霍温理工大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈