大模型对齐与安全

Procedural Fairness Failures in RLHF from Preference Averaging

来自偏好平均的RLHF中的程序公平性失败

M P V S Gopinadh, Karthik Kamuju, Kummari Avinash, John Joshua, Srinivasa Raju Rudraraju

机构 * Vishnu Institute of Technology（维什努理工学院） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(abstract,comments)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究指出标准RLHF因偏好平均引发程序公平性失败，提出PA-RLHF分开优化不同偏好模式，提升了对齐准确率并缩小了群体公平差距，对大模型和智能体系统有重要意义。

Comments 4 pages, Accepted at the ICLR 2026 Workshop on Algorithmic Fairness Across Alignment Procedures and Agentic Systems (AFAA)

Multiplayer Nash Preference Optimization

多玩家纳什偏好优化

Fang Wu, Xu Huang, Weihao Xuan, Zhiwei Zhang, Yijia Xiao, Guancheng Wan, Xiaomin Li, Bing Hu, Peng Xia, Jure Leskovec, Yejin Choi

机构 * Stanford University（斯坦福大学） ； Georgia Institute of Technology（佐治亚理工学院） ； The University of Tokyo（东京大学） ； RIKEN AIP（日本理化学研究所智能系统研究中心） ； Pennsylvania State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Harvard University（哈佛大学） ； UNC–Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多玩家纳什偏好优化框架，扩展了传统的两玩家纳什对齐方法，通过引入多玩家博弈机制，提升对复杂非传递性人类偏好的对齐能力，并在多个基准测试中表现更优。

Journal ref ICLR 2026 Oral

Scheduling Mixed RL Rollouts Beyond Prefix Locality

超越前缀局部性的混合强化学习回滚调度

Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 针对混合RL回滚调度的异构性问题，提出MISA-T策略，在多基准实验中显著提升回滚吞吐量并降低平均轮次时间，同时维持缓存命中率与工作负载混合比例。

Overconfident and Blind to Details: Fixing Prompt Insensitivity with Abductive Preference Learning

过度自信且忽视细节：通过归纳偏好学习修复提示不敏感

Yijin Ni, Simon Yu, Peng Qi

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Northeastern University（东北大学） ； Uniphore（Uniphore公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出归纳偏好学习方法，通过优化归纳策略提升模型对罕见提示的敏感度，显著提高在VLMBias和Inverse-IFEval基准测试中的性能。

Comments 26 pages, 15 tables, 3 figures

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent：当视频详细描述器通过代理自我反思而自我进化

Qiang Wang, Xinyuan Gao, Yuhang He, Jizhou Han, Jiangyang Li, SongLin Dong, Zhiheng Ma, Yihong Gong

机构 * Xi’an Jiaotong University（西安交通大学） ； Kuaishou Technology（快手科技） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 VDC-Agent通过自我反思机制实现视频详细描述的自我进化，利用自动生成的(描述，评分)对提升描述准确性与评分表现。

Comments Accepted to ECCV 2026. Project Page: https://vdcagent.github.io

StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning

StructReward：用于自修正多模态推理的高效结构化过程奖励

Yifan Li, Ruxin Sun, Tongzhou Zhao

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本研究提出StructReward框架，通过结构化步骤级奖励对齐结合GRPO目标等方式，在无额外验证器的情况下降低多模态强化学习开销，实现自修正多模态推理。

Comments 9 pages, 3 figures. Yifan Li and Ruxin Sun contributed equally

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap：通过图像字幕强化学习提升大型视觉语言模型（LVLM）的安全性

Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

专题命中 安全训练 ：safety(title,abstract)；DPO(abstract,abstract_cn)；alignment(abstract)；jailbreak(abstract)

AI总结 SafeCap是一种通过图像字幕强化学习提升LVLM安全性的框架，在多模态安全基准上安全得分提升3.7-19.0个百分点，且视觉效用相当或更优，性能优于安全SFT等方法。

Comments 16pages, 4 figures. Preprint. Project page: https://safe-vlm.github.io/SafeCap/ ; code: https://github.com/Safe-VLM/SafeCap

The Illusion of Cross-Lingual Safety in Low-Resource Languages

低资源语言中跨语言安全的错觉

Abigail Oppong, P Sam Sahil, Tadesse Destaw Belay, Maryam Ibrahim Mukhtar, Esmael Ahmed Abdu, Tassallah Abdullahi, Jessica Oparebea, Saminu Mohammad Aliyu, Idris Abdulmumin, Abubakar Juma Chilala, Nicholaus Dismas Ladislaus, Alfred Malengo Kondoro, Lemofouet Valdini Douglace, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 研究发现大型语言模型的跨语言安全迁移在四种非洲低资源语言中极为有限，现有多语言安全对齐仅停留在表面。

TAF-MED: Multi-Turn Safety Refusal Collapse in LLMs Under Declared Self-Treatment Intent

TAF-MED：声明自我治疗意图下大语言模型的多轮安全拒绝崩溃

Waleed Jamil, Raphael Schmitt

机构 * Independent Researcher（独立研究者） ； School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院） ； Institute of General Practice, Faculty of Medicine and Medical Center, University of Freiburg（弗莱堡大学医学中心医学院普通实践研究所） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出TAF-MED医疗安全基准，评估8个大语言模型的多轮医疗对话安全表现，发现多数模型会在后续对话中出现安全拒绝崩溃，自动评判工具与医生标注一致性较高，将公开基准支持相关研究。

Nuclear fusion for AI: A pathway to power data centers sustainably

AI的核聚变：可持续为数据中心供电的途径

Layla Araiinejad, Vineet Jagadeesan Nair

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 该研究探讨核聚变能否为AI驱动型数据中心提供可持续电源，通过技术经济分析发现其适配数据中心需求，具备成本竞争力与可行性，应优先部署。

Comments Under review

SBCO: Self-Supervised, Verifier-Grounded Harness Optimization For Planning Agents

SBCO：面向规划智能体的自监督、验证器驱动的工具链优化器

Vivek Kulkarni, Sudipta Paul, Aounon Kumar, Nicholas Tzou, Srinivas Chappidi

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本研究针对规划任务提出SBCO，一种自监督的验证器驱动工具链优化器，其性能优于或相当的定制基线，且计算成本仅为其1/4至1/5.5。

Adaptive Supervised Anchoring for On-Policy Self-Distillation

面向策略内自蒸馏的自适应监督锚定

Meilin Yang, Zixuan Ding, Jianhao Nie, Weite Zhang, Yuxin Zhang, Zhiming Shao, Li Yu, Zhe Fu

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 针对策略内自蒸馏的 rollout 条件信号退化问题，提出分离监督路径并自适应调整锚定强度的框架，提升了任务获取能力并优化了可塑性-稳定性权衡。

Comments 9 pages, 4 figures, and 3 tables. Meilin Yang and Zixuan Ding contributed equally. Corresponding authors: Li Yu and Zhe Fu

CAPO: Critic-Guided Action-Aligned Policy Optimization for Advancing LLM Agent Capabilities

StepPO: 面向智能体强化学习的步骤对齐策略优化

Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Chunli Liu, Shijin Wang, Qi Liu, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） 纠错

专题命中 安全训练 ：RLHF(abstract_cn)；分类 cs.CL

AI总结 提出StepPO，一种步骤级策略优化方法，通过将智能体强化学习从token级MDP重构为步骤级MDP并引入步骤级信用分配，以解决现有算法在智能体决策粒度上的不匹配问题，在多跳问答等任务上优于多种RL算法。

Toward the Cognitive--Physical Limits of Embodied Intelligence through a World-Model-Centric Autonomous Racing Agent

通过以世界模型为中心的自主智能体探索具身智能的认知-物理极限

Zitong Shan, Baichuan Lou, Yanxin Zhou, Shuge Wu, Xianqi He, Bolin Zhao, Sheng Zhao, Zhouheng Li, Chee Kiong Ong, King Ho Holden Li, Chen Lv

机构 * K2 Holding, L.L.C（K2控股有限责任公司） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 该研究提出以世界模型为中心的自主赛车智能体，结合实车与模拟实验，探索具身智能的认知-物理极限，提升了交互成功率与泛化能力，为安全部署提供边界感知方法。

ECHO: A Locally-Deployable Agentic Health Assistant with Temporal Memory, Safety Guardrails, and Speech Assessment

ECHO：具备时序记忆、安全护栏与语音评估功能的本地可部署智能体式健康助手

Abdulkadir Külçe, Alihan Esen, Çağla Fikir, Berke Kurt, Kuzey Arar, Gökhan Ercan, Faik Boray Tek

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出具备时序记忆、安全护栏与语音评估功能的本地可部署智能体式健康助手ECHO，其核心聊天机器人、安全层、语音评估模块均达特定性能指标，且可在消费级硬件运行，符合数据保护法规。

Comments 5 pages

ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

ProbGuard：基于大语言模型输出分布的校准安全风险估计

Xinzhe Huang, Biwu Yao, Kedong Xiu, Mengnan Zhao, Di Wang, Puning Zhao, Tianhang Zheng

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究针对现有LLM安全防护的确定性范式局限，提出概率架构无关防护框架ProbGuard，利用早期输出分布信号校准安全风险，实现提前终止不安全输出，在9种组合设置及6种越狱攻击中均表现优异。

Fine-grained CLIP fine-tuning with self-annotated region alignment

基于自标注区域对齐的细粒度CLIP微调

Chenyang Zhao, Wei Lin, Janet H. Hsiao, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Hong Kong University of Science & Technology（香港科技大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)

AI总结 研究针对CLIP在细粒度表示上的局限，提出SFF-CLIP方法，仅用图像-文本对输入，通过运行时区域-短语对齐方案提升其细粒度表示能力，在相关任务中性能显著提升且维持原CLIP图像级任务表现。

Data Attribution of Emergent Misalignment with Persona Features

基于角色特征的涌现失配数据归因

Clemens Vetter, David Kaczér, Lucie Flek, Florian Mai

机构 * Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛信息技术中心，波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本研究基于SAE分析揭示EM源于角色特征，操控特征可双向控制EM，发现人类文本无法可靠诱导EM而合成指令响应对可以，明确响应结构或模型措辞的关键作用。

Measuring Semantic Abstractness of SAE Features via Nonlocality

通过非局部性测量SAE特征的语义抽象性

Chuqiao Lin, Shivaji Sondhi, Xiao-Liang Qi

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出特征非局部性（FNL）指标，可区分SAE特征的抽象层级，用于审计越狱缓解特征及引导DeepSeek-R1模型特征提升数学推理准确率。

Comments 18 pages, 9 figures

On Understanding, Identifying, and Mitigating Vulnerabilities in Agentic Large Language Models

关于智能体大语言模型漏洞的理解、识别与缓解

Md Jafrin Hossain, Mohammad Arif Hossain, Nirwan Ansari

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI

AI总结 本研究针对智能体大语言模型安全开展系统文献综述，提出四层漏洞分类法，发现攻击研究多于防御研究、感知层漏洞研究占比偏高等现状，识别7个开放问题及架构耦合的核心不安全根源。

Never Stop Speaking: a Denial-of-Service Attack on End-to-End Speech Language Models

永不停止说话：针对端到端语音语言模型的拒绝服务攻击

Shuozhe Cheng, Kunlan Xiang, Mingxuan Li, Ji Zhang, Dongxiao Liu, Wenbo Jiang

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 本研究针对端到端语音语言模型提出基于扰动的拒绝服务攻击，通过优化声学扰动抑制EOS生成以延长解码，在三类开源模型上验证了其攻击有效性及安全风险。

SoK: The Attack Surface of Agentic AI - Tools and Autonomy

SoK：代理AI的攻击面——工具与自主性

Ali Dehghantanha, Sajad Homayoun

专题命中 越狱攻击 ：prompt injection(abstract)

AI总结 本文系统分析了代理AI的安全风险，提出攻击分类与评估指标，探讨防御措施及开放研究挑战，帮助研究人员和工程师应对代理AI的安全威胁。

REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems

REDAgentBench：可执行的红队测试与LLM智能体系统的忠实测量

Zixing Chen, Xingyuan Liu, Jie Zhu, Huaixia Dou, Shuo Jiang, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang

专题命中 红队测试 ：red teaming(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体安全评估的缺陷，推出REDAgentBench框架，经实验发现其宏平均ASR为65.69%，还揭示了识别-执行差距，无训练策略提醒可减少70%以上违规

Comments 6 figures, 4 tables. Supplementary material included

Generating Attacks for LLMs with GFlowNets

用GFlowNets为大语言模型生成攻击

Berkay Ozcam, Irem Onen, Mehmet Fatih Amasyali, Emin Islam Tatli

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI

AI总结 本研究提出基于GFlowNets的自动化自适应红队评估方法，训练攻击者模型测试目标大语言模型，可生成更有效的英文攻击及土耳其语攻击输入，用于评估模型鲁棒性。

Covert Visual Prompt Injection against Commercial Multimodal Large Language Models

对抗性提示注入攻击多模态大语言模型

Meiwen Ding, Song Xia, Chenqi Kong, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院快速丰富目标搜索实验室） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击，通过界文本叠加嵌入恶意提示并优化视觉扰动，提升攻击性能。

From Prompt Injection to Web Exploitation: Revisiting Classic Vulnerabilities in LLM-Integrated Applications

从提示注入到Web漏洞利用：重新审视集成大语言模型的应用中的经典漏洞

Spiros Tsigkopoulos, Christoforos Ntantogian

专题命中 提示注入 ：prompt injection(title)

AI总结 本文研究集成大语言模型的Web应用的新型攻击LLM介导的Web攻击，提出LLM2X系列攻击类型，通过实现TicketOracle实验发现模型易感性差异，给出多层缓解策略。

Grounded Post-Training with Hard Examples for Reducing Hallucination in Multimodal Large Language Models

通过分布偏移下的分阶段偏好优化减少视觉-语言模型中的幻觉

Qinwu Xu

机构 * Meta AI 纠错

专题命中 幻觉与事实性 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出分阶段偏好优化框架，通过构建针对幻觉问题的数据集，提升视觉-语言模型的 grounded reasoning，减少幻觉并提高响应信息量。

CARE: Confidence-Aware Reasoning for Reliable Medical VQA

CARE：用于可靠医学视觉问答的置信感知推理

Yuetian Du, Yucheng Wang, Zhenyuan Chen, Luyuan Chen, Rongyu Zhang, Jinjian Zhang, Wei Zhou, Zhijie Xu, Ming Kong, Zhan Zhou, Jie Liu, Qiang Zhu

机构 * Ant Group（蚂蚁集团） ； University of Michigan（密歇根大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 该研究针对医学多模态大语言模型的置信度校准问题，提出CARE框架，通过双阶段流程优化准确率与校准度，在三个医学VQA基准上取得最优性能，为临床决策支持提供可信基础。

Comments Accepted by MICCAI 2026

VIDS-Seg: Towards Reliable Uncertainty Quantification in Pediatric Cardiac Ultrasound Segmentation

VIDS-Seg：面向儿科心脏超声分割的可靠不确定性量化

Paul Fischer, Ece Ozkan

机构 * University of Basel（巴塞尔大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 该研究提出VIDS-Seg方法，在成人超声数据集训练后零样本应用于儿科心脏超声分割，可可靠检测模型在儿科亚群的隐性失效，兼具分割精度与不确定性匹配优势。

ConfTriage: A Calibration-Aware LLM Triage Framework for Pulmonary Nodule Malignancy with Selective Specialist Deferral

ConfTriage：用于肺结节恶性程度分级的校准感知大语言模型分级框架，结合选择性专家模型转诊机制

Md Rabiul Islam, Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本研究提出ConfTriage框架，以校准感知LLM为核心结合专家DL后备模型，通过肺结节属性的自然语言表述实现分级，在LIDC-IDRI数据集上取得88.22%的F1分数与0.92的AUC，可高效处理多数病例并仅转诊不确定病例，为医疗决策支持提供了新路径。

Comments 14 pages, 8 figures. Currently under review