AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
稳定价值冲突解决的几何视角
机构 * University of Illinois - Urbana-Champaign（伊利诺伊大学厄巴纳 - 香槟分校） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(abstract)；分类 cs.AI、cs.LG
AI总结 研究大语言模型在RLHF训练中应对价值冲突的问题，核心方法是利用思维链推理，通过几何视角分析其作用，创建新的以价值冲突为重点的CoT设计，提升了道德推理性能，为改进模型处理复杂价值冲突请求的性能提供新途径。
Comments Accepted to ICML Workshop on High-Dimensional Learning Dynamics
基于偏好的抗体表达排序：大规模弱监督下的扩展
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.LG
AI总结 研究针对抗体表达排序中标记数据稀缺问题，提出基于偏好的学习框架，结合定量表达与弱监督，通过改进DPO适用于蛋白质语言模型，在多样数据集上评估，该方法优于基线，为抗体可表达性优化提供可扩展方案。
Comments Accepted at ICML 2026
噪声偏好标签下无元数据的元重加权直接偏好优化
机构 * Xi’an Jiaotong University（西安交通大学）
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.LG
AI总结 研究针对DPO性能依赖偏好数据质量问题，提出双层优化框架、无任务元知识驱动方法及结合中心差分近似与LoRA微调的可扩展训练方案，经实验验证该方法能在不同噪声率下提升训练性能。
Comments 36 pages, including appendices. Revised version with updated theoretical analysis, supplementary material, figures and improved table formatting
SciForma：科学图表的结构忠实生成
机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.LG
AI总结 研究针对科学图表结构保真度问题，提出SciForma框架，分解图表质量为三个结构轴，用M-DPO优化，策划训练和评估数据，实现迭代编辑，使SciForma-9B超越开源基线和GPT-Image-1.5，提升科学图表生成的结构保真度。
Comments 30 pages, 21 figures
冲突感知融合：通过结构化认知先验缓解大语言模型中的逻辑惯性
机构 * Xtracta & Strong AI Lab, University of Auckland（Xtracta与强人工智能实验室，奥克兰大学） ； School of Humanities, China University of Political Science and Law（人文学院，中国政法大学） ； Strong AI Lab, University of Auckland（强人工智能实验室，奥克兰大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG
AI总结 针对大语言模型在规则系统结构扰动下表现脆弱的问题，提出冲突感知融合训练流程，通过验证-演绎结构先验和符号推理奖励，在多个压力测试中实现鲁棒性饱和。
OR 否则：用于策略优化的可微信赖域
机构 * Quantiphi Inc（昆蒂菲公司） ； Self Machines Inc（自机器公司） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 研究 PPO 和 GRPO 中裁剪代理目标导数突变问题，提出用输出重置（OR）规则优化。通过对比实验，在广义优势估计下 PPO-OR 有更高奖励模型得分，组相对优势下 GRPO-OR 虽平均得分未升但差异更小，OR 改变了优化行为但奖励效果有别。
Comments 22 pages, 5 figures
一种在生成式人工智能中学习价值系统的方法
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究生成式人工智能中价值系统学习问题，提出将先前验证的方法用于此场景，基于成对偏好数据同时学习价值基础实现与价值系统表示，算法动态排序，评估显示其性能优、权衡小且可解释性强。
Comments Full version of a to be published paper in proceedings of the 9th AAAI/ACM conference in AI, Ethics and Society (AIES 2026). Includes supplementary material. 20 pages, 2 figures
Sign-SZPO：具有未知链接函数的基于可证明偏好的强化学习
机构 * University of Michigan（密歇根大学）
专题命中 偏好对齐 ：RLHF(abstract)；DPO(abstract)；分类 cs.LG
AI总结 研究具有未知链接函数的基于偏好的强化学习问题，提出Sign-SZPO零阶策略优化算法，该算法仅估计价值函数差的符号来构建更新方向，可证明收敛到平稳策略，实证显示其在链接函数错误指定下具有鲁棒性。
OmniVLM：一种用于高效设备端推理的令牌压缩、参数少于十亿的视觉语言模型
机构 * Nexa AI
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)
AI总结 研究提出OmniVLM视觉语言模型，通过令牌压缩机制减少计算开销，经多阶段训练匹配更大模型性能。在多基准测试中优于现有基线，在笔记本电脑上实证显示速度提升，能在边缘设备高效部署，模型权重可在huggingface获取。
RIMS：通过平滑多对聚合进行偏好优化以实现小规模语言模型检索增强生成
机构 * Columbia University（哥伦比亚大学） ； Rutgers University（罗格斯大学） ； Purdue University（普渡大学） ； SUNY Albany（纽约州立大学奥尔巴尼分校）
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL
AI总结 研究针对小规模语言模型检索增强生成中对噪声证据敏感的问题，提出RIMS框架，通过合成偏好数据、软聚合机制及偏好优化，实现更好性能，在多基准测试中优于现有方法
Journal ref COLM 2026
TRACE：基于轨迹的安全补丁学习用于大语言模型训练后调整
机构 * LERo
专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对FTaaS平台削弱模型安全对齐的问题，提出TRACE框架，通过模拟有害轨迹生成损坏状态，优化插件补丁，在保持效用的同时恢复模型安全，在多基准测试和模型上占据安全 - 效用前沿。
用于主动具身安全的自进化即时记忆
机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG
AI总结 研究视觉语言模型在闭环交互中应对动态危险的问题，提出自进化即时记忆框架，含RSG、事实记忆和经验记忆，并通过自动测试-验证-写入循环完善元技能，实验证明该框架大幅提升安全成功率且不阻碍任务进展。
STAC：当无害工具形成危险链以劫持LLM代理
机构 * AWS AI Labs（AWS人工智能实验室） ； UC Berkeley（伯克利大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 STAC通过多轮工具链攻击揭示LLM代理的安全漏洞，提出基于推理的防御策略，显著降低攻击成功率。
Comments Long version with 15 pages in main draft and a total of 39 pages including references and appendix. Data and code \url{https://github.com/amazon-science/MultiTurnAgentAttack}
大语言模型中的信息压制：对DeepSeek的信息审查、量化与特征化
机构 * Thomas Lord Department of Computer Science, University of Southern California, USA（汤姆斯·劳德计算机科学系，南加州大学） ； Information Sciences Institute, University of Southern California, USA（信息科学研究所，南加州大学） ； Annenberg School of Communication, University of Southern California, USA（安纳伯格传播学院，南加州大学）
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 本研究通过审计框架揭示DeepSeek在处理政治敏感提示时的信息压制现象，指出模型在内部推理中保留敏感内容，但在最终输出中进行过滤或改写，强调了对AI模型中信息压制机制进行系统审查的重要性。
Journal ref Inf. Sci. 724, C (Jan 2026)
ETAS：一种用于智能体系统的效果类型化语言
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对智能体系统设计ETAS语言，核心方法是通过规范一致性分配类型并用行为索引跟踪计算，主要贡献是为智能体执行相关推理提供编程语言基础，涵盖授权、非确定性等方面，还实现了该语言并形式化相关性质。
AIGB-R1：通过分层规划器-执行器优化实现自我进化的生成式自动出价
机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Alibaba Group（阿里巴巴集团）
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对AIGB范式在自动出价中存在的问题，提出AIGB-R1框架，利用大语言模型推理能力，通过分层规划器与执行器模块、经验驱动循环、两阶段训练及新优化方法，经实验验证该框架在自动出价任务中的有效性。
用于大语言模型训练后处理的蒸馏强化学习
机构 * College of Elite Engineers, Nankai University（南开大学精英工程师学院） ； Zhongguancun Academy（中关村学院） ； Beijing Institute of Technology（北京理工大学） ； Zhejiang University（浙江大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； College of Software, Nankai University（南开大学软件学院）
专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 研究大语言模型训练后处理问题，提出蒸馏强化学习方法，集成教师监督到RL目标，含反向重要性采样等三个组件，能有效转移知识，在家族内和跨家族蒸馏实验中性能大幅优于标准RL和OPD。
动态限制人工智能性能的硬件机制
机构 * Princeton University（普林斯顿大学） ； Princeton University Electrical（普林斯顿大学电子与计算机工程）
专题命中 安全训练 ：safety(abstract)；分类 cs.LG
AI总结 研究在人工智能模型集成到关键系统时缺乏意图控制的问题，提出用微架构旋钮动态控制硬件资源限制AI性能，评估候选旋钮并构建机制，展示其高性能敏感度等优势及多旋钮组合效果。
一种用于大语言模型护栏的双假设推理框架
机构 * University of Arizona（亚利桑那大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 该研究提出ARBITER大语言模型护栏框架，采用双假设推理和多组件监督微调方法，用成本效益高的策略生成推理痕迹及基于LoRA微调，性能超现有方法，还能为不安全决策提供解释，在安全审核基准实验中表现出色。
指定委托自治边界：智能体人工智能的需求工程
机构 * Faculty of IT, Monash University（莫纳什大学信息科技学院） ； University of Duisburg-Essen（杜伊斯堡-埃森大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI
AI总结 研究智能体人工智能系统带来的需求工程问题，提出机构理由记录和智能体委托策略两个互补工件，通过分级建模权限，以医院出院协调智能体和自动代码审查智能体为例阐释框架，解决委托自治边界相关需求工程问题。
GRASP：基于双阶段优化的 grounded CoT 推理用于多模态讽刺目标识别
机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
专题命中 安全训练 ：alignment(abstract)；分类 cs.CL
AI总结 GRASP通过整合视觉定位与显式Co-T推理，解决多模态讽刺目标识别中的细粒度定位问题，提出MSTI-MAX数据集和双阶段联合优化策略，实验表明其在多模态讽刺目标识别中表现更优。
用于动态视觉语言导航的从慢速推理器到快速规划器的逐令牌潜在流
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学）
专题命中 安全训练 ：safety(abstract)
AI总结 针对动态视觉语言导航中语言推理慢与规划需即时的矛盾，提出SPARK-VLN双系统框架，通过三个模块将慢速VLM推理器知识流到快速规划器，引入新基准套件，提高了导航成功率、社会合规性及推理效率。
用于安全和自适应交会及接近操作的人工智能增强模型预测控制
机构 * Embry–Riddle Aeronautical University（安柏瑞德航空航天大学）
专题命中 安全训练 ：safety(abstract)
AI总结 研究多智能体对抗场景下航天器自主交会及接近操作问题，提出结合约束滚动时域MPC与数据驱动监督调整层的框架，经蒙特卡罗模拟评估，该框架相比固定参数MPC有更好性能，为自适应航天器RPO提供模块化、可解释基础。
Comments 34 pages, 7 figures
越狱攻击如何为安全对齐提供信息：以防御者为中心、基于Shapley值的越狱贡献评估
机构 * ShanghaiTech University（上海科技大学） ； Zhejiang University（浙江大学）
专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(title,abstract)；alignment(title)；分类 cs.CL
AI总结 研究以防御者为中心评估越狱攻击，提出A - MESS框架，通过AttackSHAP估计攻击效用，在不同场景下实验发现攻击成功率排名与防御者效用弱对齐，有限查询能准确估计，直接优化子集安全效用更强，建议将越狱攻击视为安全改进资源。
通过高效多样响应采样暴露大语言模型中的长尾安全故障
专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract,abstract_cn)；RLHF(abstract)；分类 cs.CL
AI总结 本文通过多样响应生成方法系统暴露大语言模型的安全故障，提出PDPS算法在降低计算成本的同时提高攻击成功率，并生成更多多样化的不安全输出。
Comments Accepted by Transactions on Machine Learning Research (TMLR)
当基准谎言：在真实分布偏移下评估恶意提示分类器
机构 * Zenity
专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.LG
AI总结 研究通过LODO评估揭示了现有方法在真实分布偏移下的局限性，并展示了SAE特征在提升分类器解释性方面的潜力。
Comments v2: extended version of the AIWILD @ ICLR 2026 workshop paper; adds multi-model replication and additional analyses
图形用户界面代理相信它们的眼睛吗？诊断状态信念对像素与结构的依赖
机构 * Shenzhen University（深圳大学） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI
AI总结 研究多模态GUI代理状态信念来源，通过对310个真实探针进行单通道干预形式化视觉状态依赖并测量，核心指标是感知融合差距，发现文本状态信念依赖结构，图像精度高，错误会导致行动失败。
Comments 17 pages, 3 figures
PlanFlip：通过规划阶段提示注入攻击多智能体大语言模型系统
机构 * Fudan University（复旦大学）
专题命中 提示注入 ：prompt injection(title,abstract)；alignment(abstract)；分类 cs.AI
AI总结 研究针对多智能体大语言模型系统规划阶段的攻击，提出PlanFlip框架包含四种攻击，通过对九个模型的3479次测试发现能力放大漏洞、同类管道盲点及推理增强模型的抗性等结果，并提出检测方法，强调异构模型多样性对系统安全的重要性。
针对多跳检索增强生成智能体的显著性诱导：威胁与防御
机构 * National University of Defense Technology（国防科技大学）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL
AI总结 研究多跳检索增强生成智能体面临的新攻击面——显著性通道，提出显著性诱导方法并定义操作符类，构建管道，引入基准。通过实验评估多种模型和架构，展示该方法有效性，强调智能体RAG需防御显著性 - 相关性解耦。
Comments 18 pages, 4 figures, 12 tables
智能体如何请求许可：人工智能智能体的用户权限，从接口到执行
机构 * University of Washington（华盛顿大学）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI
AI总结 研究人工智能智能体系统中用户级权限处理问题，通过调查21个提案构建分类法，分析五个商业智能体并与文献系统比较，确定主题与空白，为智能体权限系统研究提供参考。
Comments 15 pages, 4 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈