大模型对齐与安全

Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

Data-DPO：面向大语言模型后训练中目标模型数据选择的直接偏好优化

Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.LG

AI总结 针对现有数据选择方法忽略数据与目标模型能力分布兼容性的问题，提出Data-DPO方法，结合目标模型偏好、外部质量评分与边际多样性筛选数据，在Vision-Flan和LLaVA-CoT上性能优于基线及全数据训练。

Polaris: Learning to Generate Table Descriptions from Retrieval Feedback

Polaris：基于检索反馈学习生成表格描述

Ting Cai, Tuan Minh Phan, AnHai Doan

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 Polaris是基于检索反馈训练LLM生成表格描述的系统，通过BM25排序和DPO微调优化检索效果，性能优于AutoDDG，证明检索基准可用于训练LLM生成面向检索的元数据。

Comments 22 pages, 6 figures

TraceSQL: Traceable Answerability Estimation for Reference-Free Text-to-SQL Verification

TraceSQL：无参考文本到SQL验证的可追踪答案性估计

Neelesh Kumar Shukla, Debasmita Panda, Srutanik Bhaduri, Aditya Banerjee, Viji Krishnamurthy

机构 * Oracle Corporation（甲骨文公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 针对无参考文本到SQL验证的可追踪性不足问题，提出基于67种诊断特征的轻量模型TraceSQL，在BIRD数据集上优于基线模型，可提供可追溯的预测证据。

Comments 9 pages main paper with 6 pages supplementary material

Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models

愚人金：针对开放权重模型安全移除攻击的防御性欺骗

Mark Russinovich

机构 * Microsoft Azure（微软Azure） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对开放权重模型易被移除安全对齐的问题，提出“愚人金”防御，通过训练仅在被攻击状态显现的伪造诱饵，使被攻击模型对危险请求输出高比例假回答，且无法区分真假，同时不影响干净状态的良性行为。

PACE: Policy-Attested Contract Execution for Safe AI Agents in Decentralized Finance

PACE：用于去中心化金融中安全AI智能体的策略验证合约执行

Rabimba Karanjai, Yang Lu, Richard Williamson, Hemanth Hm, Prakhar Mehrotra, Lei Xu, Weidong (Larry)Shi

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 该研究提出PACE框架，通过引入类型化交易意图等机制，实现去中心化金融中AI智能体的安全交易授权，在确定性沙箱中实现0.00不安全执行率和0.00误报率，提升了DeFi场景下AI智能体的安全性。

CityReal: Human-Aligned Urban Behavior and City Dynamics Simulation with Large-Scale LLM Agents

CityReal：基于大规模大语言模型智能体的人类对齐城市行为与城市动态模拟

Nicolas Bougie, Xiaotong Ye, Narimasa Watanabe

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 CityReal是人类对齐城市模拟的模块化框架，将智能体建模为意图驱动的决策者，通过文本适配器提升人群行为对齐度，可扩展至数万个智能体，为城市模拟与预测提供可扩展测试平台。

TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation

TRUSS：面向任务可靠且用户安全的自动化智能体技能生成

Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 TRUSS是一种证据引导框架，可生成安全可靠的智能体技能，在多基准测试中实现了漏洞检测100%的精度召回率，同时显著提升任务有效性与安全率。

Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study

使用多模态语言模型对TikTok上的有害内容暴露情况进行审计：一项跨国、按年龄分层的研究

Hamidreza Saffari, Francesco Pierri

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本研究使用多模态大语言模型Gemini 2.5 Flash，在法、意、瑞三国对TikTok开展跨国年龄分层审计，发现关键词搜索会大幅提升有害内容占比，意国各年龄组有害内容占比最高，平台安全过滤器低估了明确有害内容。

Comments 20 pages, 16 figures, 14 tables. Accepted to Findings of EMNLP 2026

Ready for What? Rethinking AI and Robotics Preparedness for Adoption and Policy

准备好应对什么？反思人工智能与机器人技术在应用和政策层面的准备情况

Peng Wang, Naomi Adel, Amy E. Morgan, Folayo Aina, Demos Parapanos, Vikas Mackevicius, Teslim Olayiwola Salahudeen

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 该研究通过分析982名参与者对17项AI与机器人技术挑战的15200次评估，揭示了挑战复杂性、重要性与准备度的关联，指出政策制定者需关注挑战特有障碍及同一利益相关者的内部差异。

Comments 33 pages, including supplementary. 8 tables, 5 figures

Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups

Prism-GRPO：通过拆分相同结果组实现更快的视觉-语言-动作（VLA）策略优化

Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

机构 * AWS AI（亚马逊云科技人工智能部门） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 该研究提出 Prism-GRPO 算法，通过拆分 GRPO 的相同结果组并引入加权执行质量分数，减少机器人 rollout 预算浪费，在四个 RoboTwin 任务中使达到目标成功率的 rollout 最多减少 56%，还抑制了奖励黑客捷径。

LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents

LEGO-RL：利用原生强化学习实现编码智能体

Yiming Du, Yuxin Jiang, Tao Yuan, Jianbo Dai, Shaowei Wang, Jierun Chen, Chaofan Tao, Xianzhi Yu, Lifeng Shang, Kam-Fai Wong, Xiaohui Li, Haoli Bai

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 LEGO-RL 是桥接原生编码智能体 harness 与策略梯度优化的框架，通过三大支柱解决训练不匹配问题，提升 Qwen3.5-35B-A3B 在三个编码基准上的性能，且保持高概率相关性。

Comments Webpage: this https URL (https://lego-rl.pages.dev)

DiSCO: Defending text-to-image generation through distribution-guided contrastive prompt optimization

DiSCO：通过分布引导的对比提示优化防御文本到图像生成

Tong Zhang, Motasem Alfarra, Carlos Hinojosa, Christos Louizos, Bernard Ghanem

机构 * Qualcomm AI Research（高通人工智能研究院） ； King Abdullah University of Science Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 DiSCO是一种零样本黑盒防御模块，通过分布引导的对比提示优化，在I2P基准上分别将未防御、已防御模型的攻击成功率降低37.7%、25.13%，提升文本到图像生成的安全性且保持语义保真度。

Brief Announcement: Fair Binding for Hidden-State Authorization in Byzantine SMR

简短公告：拜占庭SMR中隐藏状态授权的公平绑定

Arnab Mallick

专题命中 安全训练 ：safety(abstract)

AI总结 针对拜占庭SMR中隐藏状态授权问题，提出公平预留/使用协议，满足授权安全性与先到者活性，解决隐藏资源安全动态分配问题。

Comments Accepted at DISC 2026

Safe Deep Reinforcement Learning for Energy-Efficient HVAC Control in Multi-Zone Residential Buildings

面向多区域住宅建筑节能HVAC控制的安全深度强化学习

Oussama Ziadi, Abdelilah Rochd, Samir Idrissi Kaitouni, Mohamed Oualid Mghazli, Adnane Saoud

专题命中 安全训练 ：safety(abstract)

AI总结 该研究针对多区域住宅建筑HVAC控制的能耗-安全问题，提出带安全认证的深度强化学习框架，在仿真中训练PPO与SAC智能体，验证了其在降低能耗、减少舒适度违规方面的有效性及安全保证的可行性。

Comments 6 pages, 5 figures. Accepted to IEEE Conference on Control Technology and Applications (CCTA) 2026

Reflex-Guard: A Low-Latency Guardrail for LLM Prompt Safety Using Dense Semantic Embeddings

Reflex-Guard：一种使用稠密语义嵌入的低延迟大语言模型提示安全护栏

Istiaque Ahmed, Afia Anjum Borsha, Ranat Das Prangon, Abu-fuad Ahmad, Thi Hong Tran

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 Reflex-Guard是一种本地运行的轻量型LLM提示安全护栏，采用稠密语义嵌入与快速分类器，延迟低至37.6毫秒，召回率达95.9%，性能优于现有基线，可高效检测各类越狱攻击。

COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models

COMIC：面向多模态大语言模型的参考感知安全门控

Md Abdullahil Oaphy, Anhao Xiang, Zongxing Xie, Huayue Gu, Chenyu Wang, Honghui Xu

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本研究针对多模态大语言模型的参考依赖型安全缺陷，提出COMIC参考感知安全门控，通过解析操作-目标对评估安全性，提升了模型鲁棒性且保留良性效用。

Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets

Fair ASR：在共享目标调用预算下重新评估黑盒越狱攻击

Zhida He, Xiaoyu Wen, Han Qi, Ziyuan Zhou, Peng Yu, Jiajia Li, Chaochao Lu, Qiaosheng Zhang

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本研究提出Fair-ASR评估协议，重新评估11种黑盒越狱攻击，发现攻击排名随预算变化，进而提出ReCode攻击，在20次目标调用预算下于GPT-5实现85% ASR且效率优异。

Comments 29 pages, 8 figures, 13 tables. Code: this https URL (https://github.com/xsddys/Fair-ASR)

When Agents Act on Web3: An Attack-Surface Survey of MCP, Skills, and Tool Calling

当智能体在Web3中行动：MCP、技能与工具调用的攻击面调查

Rabimba Karanjai, Yang Lu, Nour Diallo, Wujie Xiong, Lei Xu, Weidong (Larry)Shi

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本调查针对智能体通过MCP等在Web3区块链上行动的攻击面，构建风险映射矩阵，发现现有防护不足，推导了相关研究议程。

MobileWorldSafety: Benchmarking GUI Agent Safety Against Environmental Injection Attacks in Android Apps

MobileWorldSafety：针对安卓应用中环境注入攻击的GUI智能体安全基准

Sujin Chen, Lijun Li, Tianyi Du, Jing Shao

专题命中 提示注入 ：safety(title,abstract)；alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 该研究推出MobileWorldSafety基准，基于142个真实安卓应用风险任务评估6种GUI智能体，发现其对环境注入攻击的成功率达40.4%-66.9%，为相关研究奠定基础。

Uncertainty-Aware Decision Making in Multimodal Large Language Models

多模态大语言模型中的不确定性感知决策

Abderrahmene Boudiaf, Irfan Hussain, Sajid Javed

机构 * Khalifa University of Science and Technology（哈利法科技大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL

AI总结 本调查围绕决策中心框架，综述多模态大语言模型（MLLMs）的不确定性感知决策相关研究，对比同类调查并指出源感知分解等开放问题，核心是不确定性需改善多模态证据下的系统行为。

A Hybrid Discrete-Event and Agent-Based Simulation Approach to Model Circular Supply Chains in Healthcare: A Case Study of Laparoscopic Scissors

用于建模医疗领域循环供应链的混合离散事件与基于智能体的仿真方法：以腹腔镜剪刀为例

Mohd Shoaib, Antuela Tako, Shahin Rahimifard

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文以腹腔镜剪刀供应链为案例，采用混合离散事件与基于智能体的仿真方法，评估医疗领域引入循环医疗器械设计的影响，为医院提供最优库存策略，指出采用循环产品可降低环境影响但需大量前期投资。

Institution-Specific LLM Prompting Recovers PHI That De-identification Systems and Their Gold Standards Both Miss

基于机构特定的大语言模型提示工程恢复去标识化系统及其黄金标准均遗漏的受保护健康信息

Daniel Palacios, Matthew Brady Neeley, Angel Adetomike Otto, Shalini Dhamodharan, John P. Woodhouse, Chi-fan Lin, Mark Zobeck, Zhandong Liu, Hyun-Hwan Jeong

机构 * Baylor College of Medicine（贝勒医学院） ； Jan and Dan Duncan Neurological Research Institute（简与丹·邓肯神经学研究所） 纠错

专题命中 隐私与版权 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出校准良好的上下文学习（ICL）的大语言模型（LLM），可通过机构特定提示恢复去标识化系统遗漏的受保护健康信息（PHI），平衡精确率与召回率，是专用去标识化系统的有效替代方案。

Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models

基准的基准：评估小型语言模型的自动化安全基准

Nyamtulla Shaik, Fengjun Li, Bo Luo

机构 * University of Kansas（堪萨斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本研究通过评估5个基准套件在26个开源SLMs上的表现，发现现有以LLM为中心的安全基准无法可靠评估SLMs，模糊性会导致模型排名出现显著变化。

Comments This paper is accepted for publication at ESORICS 2026

Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence

用于脑-语言对应关系的边际正则化结构化语义对齐

Jiaqi Wang, Huawen Hu, Shu Zhang

机构 * School of Computer Science and Technology, Northwestern Polytechnical University（西北工业大学计算机科学与技术学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文针对脑-语言解码的模糊性问题，提出MD-SigLIP框架，通过边际正则化结构化语义对齐实现基于检索的解码，在全词汇与子集评估下均取得最优检索性能。

Can Large Language Models Explain Flight Safety Events? A Prior-Guided Semantic LLM-based Approach

大语言模型能否解释飞行安全事件？一种先验引导的基于语义大语言模型的方法

Lu Xu, Xu Li, Linjiang Zheng, Fan Li, Riquan Zhang, Jiaxing Shang

机构 * College of Computer Science, Chongqing University（重庆大学计算机学院） ； Sichuan Flight Engineering Technology Research Center, Civil Aviation Flight University of China（中国民航飞行学院四川飞行工程技术研究中心） ； School of Statistics and Data Science, Shanghai University of International Business and Economics（上海对外经贸大学统计与数据科学学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究针对飞行安全事件解释难题，提出FlightLLM方法，结合特征工程、语义离散化、CatBoost先验引导及对比小样本学习等技术，在704个A320飞行样本上实现了良好分类与合理事件原因解释。

Comments 14 pages, 6 figures, submitted to IEEE Transactions on Intelligent Transportation Systems

HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety

HarnessRisk：面向生命周期的智能体管控安全基准

Yajing Bai, Jinhao Duan, Jie Peng, Xianfeng Wu, Sijia Liu, Song Wang, Tianlong Chen

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究提出面向生命周期的智能体管控安全基准HarnessRisk，含128个沙箱案例，评估多模型与管控配置的安全表现，发现管控配置阶段最易受攻击，明确风险识别未必带来安全行动，凸显多维度评估智能体安全的必要性。

Comments Project Page: this https URL (https://baiyajing.github.io/harness-risk/)

Orphan risks at the frontier of artificial intelligence: What diverging safety and compliance frameworks reveal about how AI companies choose the risks they prioritize

人工智能前沿的孤儿风险：不同的安全与合规框架揭示了AI公司如何选择其优先处理的风险

Andrew D. Maynard

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CY

AI总结 本文对比四家前沿AI公司2023-2026年的安全合规文件，识别出其风险选择的四个筛选标准，提出“安全差异”概念，揭示了孤儿风险的成因及轻量应对工具。

Comments 21 pages, 40 references

MANIGUARD: A Benchmark and Data Suite for Specification-Grounded Safety Evaluation and Improvement of Robotic Manipulation

MANIGUARD：用于基于规范的机器人操作安全评估与改进的基准及数据集套件

Yiyan Peng, Philip Wang, Simon Sinong Zhan, Yiqi Lyu, Zhenyang Ni, Jixin Yan, Fiorelli Wong, Ruochen Jiao, Hang Yin, Xinyu Cao, Huajie Shao, Manling Li, Ruohan Zhang, Qi Zhu

机构 * Northwestern University（西北大学） ； Stanford University（斯坦福大学） ； William & Mary（威廉玛丽学院） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 本研究提出ManiGuard基准与数据集套件，针对机器人操作基础模型策略，通过含23000余次滚动的实验证实安全需独立于任务成功评估，微调可提升安全表现但仍存差距。

Balancing Safety and Autonomy: Accessibility-Oriented Interventions in Generative AI for Cognitive Impairment

平衡安全与自主性：面向认知障碍群体的生成式AI可及性导向干预

Yibo Meng, Jingruo Chen, Lyumanshan Ye, Bingyi Liu, Zhicong Lu

专题命中 安全评测 ：safety(title,abstract)

AI总结 本研究针对认知障碍老年群体使用生成式AI的安全与自主冲突问题，通过对45名患者及照护者的质性研究，提出五种可及性导向机制，发现机制效果随障碍程度变化，强调需设计平衡安全与自主的动态AI方案。

Comments Accepted to ASSETS 2026

An Investigation of the NeurIPS and ICML 2025 Position Tracks

NeurIPS与ICML 2025立场论文 track 的调查

Fan Yang, Wenkai Li, Jun Liu

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.CY

AI总结 本文审计了NeurIPS和ICML 2025立场论文 track 的公开投稿，发现其以改革派批判为主，建议增设方向设定类工作，并提出四项CFP层面干预措施以优化投稿结构。