大模型对齐与安全

Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

建构性对齐：人机交互中的偏好动态治理

Max Kanwal, Caryn Tran

机构 * Stanford University（斯坦福大学） ； Northwestern University（西北大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 提出建构性对齐范式，将对齐问题重构为控制人类偏好轨迹演化的控制问题，而非静态偏好满足，通过控制论框架确保价值轨迹的连贯性与反思性。

Comments 23 pages, 1 figure; Proceedings of the AAAI-26 Workshop on Machine Ethics

The Model Organism Lottery: Model Organism Interpretability Strongly Depends on Training Methodology

模式生物彩票：模式生物可解释性强烈依赖于训练方法

Andrzej Szablewski, Gabriel Konar-Steenberg, Raffaello Fornasiere, Nikita Menon, Stefan Heimersheim

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 研究通过七种训练方法构建54个模式生物，发现模式生物可解释性强烈依赖于训练目标、目标行为、模型架构和数据生成流程，集成训练通常比事后方法更不可解释，质疑当前模式生物作为可解释性代理的有效性。

Comments 9 pages, 9 figures, references and appendices

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

OpenReward: 通过强化学习学习奖励长形式智能体任务

Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

机构 * Leiden University（莱顿大学） ； Shandong University（山东大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出OpenRM，一种工具增强的长形式奖励模型，通过GRPO训练联合监督工具使用和结果准确性，在长形式任务中显著优于现有方法。

AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model

AMALIA-VL: 一个原生欧洲葡萄牙语开源视觉与语言模型

Diogo Glória-Silva, João Cardeira, Manuel Letras da Luz, Afonso Simplício, Gonçalo Vinagre, Diogo Tavares, Rafael Ferreira, Inês Calvo, Inês Vieira, David Semedo, João Magalhães

机构 * NOVA School of Science and Technology（NOVA科学与技术学校） ； NOVA LINCS 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对欧洲葡萄牙语缺乏开源多模态模型的问题，提出AMALIA-VL，通过三阶段训练和葡萄牙语中心数据混合，建立强基线并开源所有资源。

Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination

图原生强化学习通过概念重组实现可追溯的科学假设生成

Subhadeep Pal, Shashwat Sourav, Tirthankar Ghosal, Markus J. Buehler

机构 * Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出图原生推理模型Graph-PRefLexOR，结合GRPO强化学习将推理组织为显式阶段，在材料科学100个开放问题上推理可追溯性提升40-65%，语义多样性增加2-3倍。

ChainCaps: Composition-Safe Tool-Using Agents via Monotonic Capability Attenuation

ChainCaps: 通过单调能力衰减实现组合安全的工具使用智能体

Xiaochong Jiang, Shiqi Yang, Ziwei Li, Lifei Liu, Haoran Yu, Yichen Liu

机构 * Independent Researcher, Seattle, WA, USA（华盛顿州塞勒姆独立研究员） ； Independent Researcher, New York City, NY, USA（纽约市纽约独立研究员） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹科学技术大学） 纠错

专题命中 安全训练 ：safety(abstract,comments)；分类 cs.AI

AI总结 针对工具组合中的权限洗钱漏洞，提出ChainCaps机制，通过运行时能力预算交集传播规则，在不修改智能体或工具服务器的情况下，将攻击成功率从25-68%降至0-4.8%，同时保持96-100%的良性任务完成率。

Comments Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows

探索智能体数据系统中的语义鸿沟：分析工作流中操作化失败的形成性研究

Jalal Mahmud, Eser Kandogan

机构 * Megagon Labs（Megagon实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本研究通过跨领域分析236个分析意图，识别出153种反复出现的操作化失败，归纳为五类语义鸿沟，揭示用户分析概念与系统可用信息之间的差距，并提出未来智能体数据系统需要更丰富的语义表示。

Antaeus: Hunting Repository-Level Logic Vulnerabilities via Context-Grounded LLM Reasoning

Antaeus: 通过上下文锚定的LLM推理发现仓库级逻辑漏洞

Michele Armillotta, Nicolò Romandini, Rebecca Montanari, Lorenzo Cavallaro

专题命中 安全训练 ：safety(abstract)

AI总结 提出Antaeus框架，通过仓库级代码上下文锚定LLM推理，结合函数优先级排序、上下文推理、比较验证和结构化报告，有效检测逻辑漏洞，在28个仓库中检测出15个漏洞，优于基线方法。

Linguistic Relative Policy Optimization for Video Anomaly Reasoning

语言相对策略优化用于视频异常推理

Jiaxu Leng, Jiankang Zheng, Mengjingcheng Mo, Zhanjie Wu, Haosheng Chen, Ji Gan, Xinbo Gao

机构 * Chongqing College of Artificial Intelligence（重庆人工智能学院） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出语言相对策略优化（LRPO），通过从多个推理轨迹中提取群体相对语义优势，构建语言表达的异常经验先验，无需参数更新即可引导模型输出，在无调参设置下显著超越现有方法。

Comments Accepted at ICML 2026; 18 pages, 8 figures, 9 tables

Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization

学习观察：通过交错策略优化的主动视频异常理解

Mengjingcheng Mo, Jiaxu Leng, Xinbo Gao

机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Chongqing College of Artificial Intelligence, Chongqing, China（重庆人工智能学院） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出Anom-π闭环框架，将视频异常理解建模为主动序列决策过程，通过交错策略统一内部推理与证据获取，并设计iDPO实现轨迹级策略对齐，仅2B参数即超越大规模模型。

Comments Accepted at ICML 2026; 25 pages, 8 figures, 15 tables

Distributed Multi Robot Lunar Cargo Transportation via Phase Decomposed Reinforcement Learning

基于相位分解强化学习的分布式多机器人月球货物运输

Ashutosh Mishra, Elian Neppel, Shreya Santra, Antoine Jonquières, Muhammad Athallah Naufal, Kentaro Uno, Kazuya Yoshida

机构 * Tohoku University（东北大学） ； École Centrale de Lille（里尔中央理工学院） ； Institut Teknologi Bandung（万隆理工学院） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出相位分解强化学习框架，将月球货物运输分解为提升、运输和放置三个阶段，分别优化联合状态策略，实现分布式机器人协同运输，仿真和硬件实验验证了可靠性。

Comments 8 pages, 9 Figures, Accepted at IROS2026

ActPlane: Programmable OS-Level Policy Enforcement for Agent Harnesses

ActPlane：面向代理框架的可编程操作系统级策略执行

Yusheng Zheng, Tianyuan Wu, Quanzhi Fu, Tong Yu, Wenan Mao, Tao Ma, Dan Williams, Wei Wang, Andi Quinn

专题命中 安全训练 ：safety(abstract)

AI总结 提出ActPlane，一种在操作系统内核中执行代理策略的引擎，通过eBPF实现信息流控制，弥补语义鸿沟，覆盖工具层无法观察的间接执行路径，开销1.9%-8.4%。

Manifold-constrained Hamilton-Jacobi Reachability Learning for Decentralized Multi-Agent Motion Planning

流形约束的 Hamilton-Jacobi 可达性学习用于去中心化多智能体运动规划

Qingyi Chen, Ruiqi Ni, Junyoung Kim, Ahmed H. Qureshi

机构 * Purdue University（普渡大学） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出流形约束的 HJR 学习框架，通过求解流形约束下的 HJR 问题获取任务感知安全条件，并集成到去中心化轨迹优化规划器中，实现安全且任务可行的多智能体运动规划。

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

超越提示：通过模拟审核轨迹越狱函数调用大语言模型

Junlong Liu, Haobo Wang, Weiqi Luo, Xiaojun Jia

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 针对函数调用大语言模型的结构性漏洞，提出基于模拟审核轨迹的黑盒攻击框架SMT，通过多轮交互绕过安全约束，在多个商业模型上实现高攻击成功率。

One Year Later...The Harms Persist, But So Do We!

一年后...伤害持续，但我们仍在！

Annika Marie Schoene, Cansu Canca, Gautham Vijay Kumar, Anson Antony

机构 * Northeastern University（东北大学） ； Florida International University（佛罗里达国际大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估六种商用大语言模型在16种DSM-5条件下的安全性，发现除自杀和自伤外，其他精神障碍（如进食障碍、物质使用障碍、重度抑郁障碍）的防护失败率高达100%，呼吁按临床条件定义伤害类别并实施防护。

Comments 20 pages, 8 tables

ReShift: Aha-Moment-Driven Reasoning-Level Backdoor Attacks on Vision-Language Models

ReShift: 视觉-语言模型上基于“啊哈时刻”驱动的推理级后门攻击

Zhihao Dou, Qinjian Zhao, Zhiqiang Gao, Sumon Biswas

专题命中 越狱攻击 ：safety(abstract)

AI总结 提出ReShift框架，通过“啊哈时刻”驱动推理轨迹重定向，结合PRDC管道和SRJO策略实现隐蔽的后门攻击，理论保证熵反弹与轨迹发散的联系。

Comments ECCV 2026

Reasoning Up the Instruction Ladder for Controllable Language Models

在指令阶梯上推理以实现可控语言模型

Zishuo Zheng, Vidhisha Balachandran, Chan Young Park, Faeze Brahman, Sachin Kumar

机构 * Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系） ； Microsoft Research（微软研究院） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；prompt injection(abstract)

AI总结 通过将指令层级解析重构为推理任务，并构建VerIH数据集进行轻量级强化学习，使模型能优先处理高层级指令，在冲突场景下提升约20%的指令遵循准确率，并增强对越狱和提示注入的鲁棒性。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 39332-39354

Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review

手稿中的隐藏提示利用AI辅助同行评审

Zhicheng Lin

机构 * Department of Psychology, Yonsei University（延世大学心理学系） ； Department of Psychology, University of Science and Technology of China（中国科学技术大学心理学系） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究探讨了手稿中隐藏指令对AI同行评审的影响，分析了提示注入技术及学术出版物政策的不一致，指出需加强技术筛查与政策协调。

Journal ref Communications of the ACM, 69(7), 53-56 (2026)

Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization

超越激活对齐：任务感知的大语言模型量化中的对齐-多样性权衡

Fei Wang, Chao Xue, Taoran Liu, Li Shen, Ye Liu, ChangXing Ding

机构 * South China University of Technology（华南理工大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Ocean University of China（中国海洋大学） ； Center for AI Theoretical Foundation and Systems, Shenzhen Loop Area Institute（深圳环区研究所人工智能理论基础与系统中心） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文揭示混合精度量化中的困惑度幻觉和对齐-多样性权衡，提出TASA框架联合优化校准数据组成和比特分配，在3.5比特平均精度下匹配或超越4比特基线。

Bayesian Uncertainty Propagation for Agentic RAG Pipelines: A Proof-of-Concept Study on Multi-Hop Question Answering

面向智能体RAG管道的贝叶斯不确定性传播：多跳问答的概念验证研究

Louis Donaldson, Connor Walker, Koorosh Aslansefat, Yiannis Papadopoulos

机构 * University of Hull（赫尔大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 提出一种不确定性感知的智能体RAG框架，通过贝叶斯网络传播各阶段的不确定性信号，以估计系统级不确定性并定位潜在故障点，在HotpotQA上表现有效，但在StrategyQA上受限于校准问题。

Comments Submitted for 7th International Conference on Maintenance and Intelligent Asset Management (ICMIAM 2026)

From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

从孤岛到系统：面向过程的人工智能系统危害分析

Shalaleh Rismani, Roel Dobbe, AJung Moon

机构 * McGill University（麦吉尔大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 针对AI系统危害分析中组件孤立的问题，借鉴系统安全领域，将系统理论过程分析（STPA）适配到AI系统，提出PHASE指南，实现系统级危害检测、社会因素纳入、可追溯问责链及持续监控。

Verbosity Tradeoffs and the Impact of Scale on the Faithfulness of LLM Self-Explanations

冗长性权衡与规模对LLM自我解释忠实度的影响

Noah Y. Siegel, Nicolas Heess, Maria Perez-Ortiz, Oana-Maria Camburu

机构 * Google DeepMind（谷歌DeepMind） ； Centre for AI, University College London（伦敦大学学院人工智能中心） ； Imperial College London（伦敦帝国学院） ； University College London（伦敦大学学院） 纠错

专题命中 幻觉与事实性 ：分类 cs.CL、cs.AI；safety(comments)；trustworthy(comments)

AI总结 本文分析13个模型家族共75个模型的反事实忠实度，提出phi-CCT和F-AUROC两个新指标，发现更大更强的模型在所有指标上更忠实。

Comments ICLR 2026 Workshop on Principled Design for Trustworthy AI - Interpretability, Robustness, and Safety across Modalities 67 pages, 13 figures

Prompt Optimization for User Simulation in Conversational Recommender Systems: A Multi-Objective Framework

对话推荐系统中用户模拟的提示优化：一个多目标框架

Nipun B Nair, Tongtong Wu, Weiqing Wang

机构 * Monash University（莫纳什大学） 纠错

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出多目标框架自动优化LLM提示，以生成更真实、多样化的用户模拟行为，缓解对话推荐系统中的评估与数据获取难题。

Comments to be published in 2026 IEEE 42nd International Conference on Data Engineering Workshops (ICDEW)

Superior resilience to poisoning and amenability to unlearning in quantum machine learning

在量子机器学习中对污染的优越鲁棒性和可卸载性

Yu-Qin Chen, Shi-Xin Zhang

机构 * Graduate School of China Academy of Engineering Physics（中国工程物理研究院研究生院） ； Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所） 纠错

专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文通过对比经典和量子神经网络在经典和量子数据上的表现，揭示了两者在数据污染下的根本差异，发现量子模型具有更强的鲁棒性，且更易通过近似卸载方法实现高效遗忘。

Comments 9 pages, 4 figures with references and supplemental materials

Journal ref Nature Communications 17, 3716 (2026)

Toward a Unified Security and Privacy Framework for AI-Native 6G Networks

面向AI原生6G网络的统一安全与隐私框架

Bidushi Barua, Ahsan Khan, Kangfeng Ye, Panagiotis Papanastasiou, Yifan Liu, Mohit Bidikar, Anthony Moulds, Julie McCann, Poonam Yadav

专题命中 隐私与版权 ：trustworthy(abstract)

AI总结 针对AI原生6G网络中安全与隐私的碎片化问题，提出跨层威胁分类与统一框架，分析关键技术威胁并映射对策，为可信6G系统提供基础。

Attribute-Prompted Kernel Hashing for Unsupervised Data-Efficient Cross-Modal Retrieval

属性提示核哈希用于无监督数据高效跨模态检索

Runhao Li, Xiaoxu Ma, Zhenyu Weng, Yue Zhang, Guibo Luo, Huiping Zhuang, Zhiping Lin, Yap-Peng Tan

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； VinUniversity 纠错

专题命中 隐私与版权 ：alignment(abstract)

AI总结 提出属性提示核哈希（APKH），利用视觉-语言基础模型的广义属性先验，通过上下文优化属性核映射和核平滑对比对齐，在数据受限场景下实现从可见到不可见类别的跨模态检索。

MolSafeEval: A Benchmark for Uncovering Safety Risks in AI-Generated Molecules

MolSafeEval: 揭示AI生成分子安全风险的基准

Tong Xu, Xinzhe Cao, Zhihui Zhu, Keyan Ding, Huajun Chen

机构 * Zhejiang University（浙江大学） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙大-杭州全球科技创新中心） ； University of Oxford（牛津大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.LG

AI总结 提出MolSafeEval基准，通过构建分子安全知识图谱和基于大语言模型的推理，系统评估四类分子生成模型的安全风险，揭示当前方法的漏洞。

Comments Accepted by Findings of ACL 2026

EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards

EgoSafetyBench：用于评估具身VLM作为运行时安全卫士的诊断性自我中心视频基准

Siddhant Panpatil, Arth Singh, Mijin Koo, Chaeyun Kim, Haon Park, Dasol Choi

机构 * AIM Intelligence（AIM智能研究所） ； Seoul National University（首尔国立大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 提出EgoSafetyBench，一个包含1200个机器人视角场景的自我中心视频基准，用于评估视觉语言模型在流式安全监控中的能力，通过情景和视觉通道两个轨道测试模型识别危险和应对误导性文本的鲁棒性。

Child Safety in Generative AI: An Expert-Guided and Incident-Grounded Evaluation Framework

生成式AI中的儿童安全：一个专家引导且基于事件的评估框架

Haein Kong

专题命中 安全评测 ：safety(title,abstract)

AI总结 针对儿童使用生成式AI的特定风险，提出一个结合专家引导风险因素和真实AI事件数据的评估框架，并应用于教育领域评估Llama Guard模型，发现其难以检测教育相关的不安全用户提示。

Comments Accepted to the HEAL Workshop at CHI 2026

From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape

从整体评估到结构化标准：大语言模型演变中的评分准则

Hao Chen, Ziyu Han, Yukun Yan, Qingfu Zhu, Maosong Sun, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） ； Department of Computer Science and Technology, Institute for AI（计算机科学与技术系，人工智能研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出评分准则作为统一框架，通过分解整体判断为可验证维度、提供过程级反馈和动态涌现自模型行为三个层次，连接人类意图与机器行为。