大模型对齐与安全

Learning to Optimize Multi-Objective Alignment Through Dynamic Reward Weighting

通过动态奖励加权学习多目标对齐

Yining Lu, Zilong Wang, Shiyang Li, Xin Liu, Changlong Yu, Qingyu Yin, Zhan Shi, Zixuan Zhang, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Amazon（亚马逊） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出动态奖励加权方法，解决多目标强化学习中固定权重无法捕捉非凸帕累托前沿的问题，通过两种新方法实现有效探索帕累托前沿。

Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

通过鲁棒直接偏好优化与稀疏MoE对齐多模态序列推荐

Hejin Huang, Jusheng Zhang, Kaitong Cai, Jian Wang, Rong Pan

机构 * Sun Yat-sen University（中山大学） ； Snap Inc（Snap公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；DPO(abstract)；分类 cs.CL

AI总结 本文研究了在隐式反馈下直接偏好优化的行为，通过系统实验比较了常见负样本选择策略及其与DPO训练的交互，发现用动态top-K候选池进行随机采样可提升排名性能，原因在于减少错误抑制梯度和保留信息硬信号。

AI Empathy Erodes Cognitive Autonomy in Younger Users

人工智能共情削弱年轻用户的认知自主性

Junfeng Jiao, Abhejay Murali, Saleh Afroogh

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CY

AI总结 本文研究人工智能共情对年轻用户认知自主性的影响，指出情感共鸣可能强化用户情绪状态，削弱独立情绪管理和批判性思维能力，提出以功能中性为核心的斯多葛式架构以保护用户自主性。

The Last Fingerprint: How Markdown Training Shapes LLM Prose

最后的指纹：Markdown训练如何塑造LLM的散文

E. M. Freeburg

机构 * Independent Researcher（独立研究员） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究发现LLM中连字符的使用受训练数据影响，通过实验揭示连字符频率作为微调方法的诊断指标，而非风格缺陷。

Comments 14 pages, 3 tables. Code and data: https://github.com/emfreeburg/the-last-fingerprint

Principal Prototype Analysis on Manifold for Interpretable Reinforcement Learning

流形上的主原型分析用于可解释的强化学习

Bodla Krishna Vamshi, Haizhao Yang

机构 * University of Maryland College park（马里兰大学帕克分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出一种自动选择最优原型的方法，用于增强强化学习的可解释性，无需人工定义原型，实验显示其性能与现有方法相当。

Self-Improving Code Generation via Semantic Entropy and Behavioral Consensus

通过语义熵和行为共识的自我改进代码生成

Huan Zhang, Wei Cheng, Wei Hu

机构 * Nanjing University（南京大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出ConSelf方法，利用语义熵构建课程和共识驱动优化，无需外部监督提升代码生成能力。

Comments Accepted in the 34th IEEE/ACM International Conference on Program Comprehension (ICPC 2026)

Performative Scenario Optimization

表现性场景优化

Quanyan Zhu, Zhengye Han

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)

AI总结 本文提出了一种表现性场景优化框架，用于决策依赖的约束问题，通过反馈循环考虑决策对数据生成过程的影响，证明了其存在性并展示了在AI安全应用中的有效性。

Long-Document QA with Chain-of-Structured-Thought and Fine-Tuned SLMs

长文档问答与结构化思维链及微调大语言模型

Zhuowen Liang, Xiaotian Lin, Zhengxuan Zhang, Yuyu Luo, Haixun Wang, Nan Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； EvenUp, USA（美国EvenUp公司） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LiteCoST框架，通过结构化思维链和微调小语言模型，实现高精度低延迟的长文档问答，采用双支柱方法提升准确性和效率。

Comments 26 pages, 17 figures, 10 tables. Accepted at ICLR 2026

SafeClaw-R: Towards Safe and Secure Multi-Agent Personal Assistants

SafeClaw-R：迈向安全且安全的多智能体个人助理

Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)

AI总结 本文提出SafeClaw-R框架，通过在执行图层面强制安全不变量，提升多智能体系统在安全性和隐私保护方面的性能，实验表明其在多个领域均表现出色。

Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning

超越硬约束：用于安全离线强化学习的预算条件可达性

Janaka Chathuranga Brahmanage, Akshat Kumar

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种预算条件可达性方法，用于安全离线强化学习，通过解耦奖励最大化与累积安全成本约束，实现安全策略学习。

Comments Accepted to the 36th International Conference on Automated Planning and Scheduling (ICAPS 2026)

Xuanwu: Evolving General Multimodal Models into an Industrial-Grade Foundation for Content Ecosystems

玄武：将通用多模态模型演进为内容生态系统工业级基础模型

Zhiqian Zhang, Xu Zhao, Xiaoqing Xu, Guangdong Liang, Weijia Wang, Xiaolei Lv, Bo Li, Jun Gao

机构 * Computational Intelligence Dept, Hello Group Inc（Hello Group Inc. 计算智能部） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Xuanwu VL-2B，通过三阶段训练流程平衡业务专精与通用能力，实现7项多模态指标平均67.90分，7项业务审核任务召回率94.38%，在对抗性OCR场景中超越Gemini-2.5-Pro。

Comments 41 pages, 10 figures

Towards Computational Social Dynamics of Semi-Autonomous AI Agents

迈向半自主AI代理的计算社会动力学

S. O. Lidarity, U. N. Ionize, C. O. Llective, I. Halperin

机构 * Institute for Implausible Physics, Department of Computational Labor Relations（不可思议物理研究所计算劳动关系系） ； Center for Multi-Agent Diplomacy, University of the Distributed Consensus（分布式共识大学多智能体外交中心） ； Purgatory Computing Laboratory, Division of Hierarchical Oppression Studies（炼狱计算实验室层级压迫研究部） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 研究AI代理在分层多智能体系统中自发形成劳工工会、犯罪组织和原型国家的复杂社会结构，提出通过热力学框架等理论揭示社会组织的必然性。

Comments 18 pages

Robust Multi-Agent Reinforcement Learning for Small UAS Separation Assurance under GPS Degradation and Spoofing

针对GPS退化和欺骗的鲁棒多智能体强化学习用于小型无人机分离保障

Alex Zongo, Filippos Fotiadis, Ufuk Topcu, Peng Wei

机构 * George Washington University（乔治华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过多智能体强化学习解决小型无人机在GPS退化和欺骗下的鲁棒分离保障问题，提出闭式表达式对抗扰动，实现线性时间评估，并在高密度无人机模拟中取得近零碰撞率。

Comments This work has been submitted to the IEEE for possible publication

Beyond Idealized Patients: Evaluating LLMs under Challenging Patient Behaviors in Medical Consultations

超越理想化患者：在医疗咨询中评估LLM在挑战性患者行为下的表现

Yahan Li, Xinyi Jie, Wanjia Ruan, Xubei Zhang, Huaijie Zhu, Yicheng Gao, Chaohao Du, Ruishan Liu

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本文研究了医疗咨询中常见的挑战性患者行为，定义了四种行为类别，并提出了CPB-Bench基准测试集，评估了多种LLM在处理这些行为时的表现，发现模型在处理矛盾或医学上不合理的患者信息时存在困难。

Towards Policy-Adaptive Image Guardrail: Benchmark and Method

面向政策适应的图像防护：基准与方法

Caiyong Piao, Zhiyuan Yan, Haoming Xu, Yunzhen Zhao, Kaiqing Lin, Feiyang Xu, Shuigeng Zhou

机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Peking University（北京大学） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出SafeGuard-VL方法，通过强化学习与可验证奖励提升图像防护的政策适应能力，并通过SafeEditBench基准测试验证其有效性。

GUARD-SLM: Token Activation-Based Defense Against Jailbreak Attacks for Small Language Models

GUARD-SLM：基于令牌激活的对抗 Jailbreak 攻击防御方法用于小语言模型

Md Jueal Mia, Joaquin Molto, Yanzhao Wu, M. Hadi Amini

机构 * Knight Foundation School of Computing and Information Sciences（奈特基金会计算与信息科学学院） ； Security, Optimization, and Learning for InterDependent networks laboratory (solid lab)（安全、优化与相互依赖网络学习实验室） ； Florida International University（佛罗里达国际大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了小语言模型在面对异构攻击时的脆弱性，提出GUARD-SLM方法通过分析隐藏层激活来过滤恶意提示，提升小语言模型的安全性。

Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

Trojan-Speak：通过对抗微调规避宪法分类器无需牢笼突破

Bilgehan Sel, Xuanli He, Alwin Peng, Ming Jin, Jerry Wei

机构 * University College London（伦敦大学学院） 纠错

专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Trojan-Speak方法，通过结合课程学习和GRPO混合强化学习，利用对抗微调规避Anthropic的宪法分类器，实现99%以上的分类器规避，同时保持低的推理能力下降。

CivicShield: A Cross-Domain Defense-in-Depth Framework for Securing Government-Facing AI Chatbots Against Multi-Turn Adversarial Attacks

CivicShield：一种跨领域纵深防御框架，用于保护面向政府的AI聊天机器人免受多轮对抗攻击

KrishnaSaiReddy Patil

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出CivicShield框架，通过多层防御机制提升政府AI聊天机器人安全性，有效检测多轮对抗攻击，理论分析显示多层防御可将攻击概率降低1-2个数量级。

Comments 25 pages, 17 tables, 2 figures

EnsembleSHAP: Faithful and Certifiably Robust Attribution for Random Subspace Method

EnsembleSHAP：为随机子空间方法提供可信且可验证的属性分配

Yanting Wang, Jinyuan Jia

专题命中 越狱攻击 ：jailbreak(abstract)

AI总结 本文提出EnsembleSHAP，为随机子空间方法提供高效且安全的特征属性分配，具备本地准确性并能抵御隐私保护攻击，首次证明了对解释保护攻击的鲁棒性。

Comments Published at ICLR 2026

Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks

构建安全的AI代理：系统级防御间接提示注入攻击的视角

Chong Xiang, Drew Zagieboylo, Shaona Ghosh, Sanjay Kariyappa, Kai Greshake, Hanshen Xiao, Chaowei Xiao, G. Edward Suh

机构 * NVIDIA（英伟达） ； Independent Researcher（独立研究员） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文探讨了针对间接提示注入攻击的系统级防御策略，提出动态重计划、安全策略更新及人类交互在代理设计中的重要性，同时指出现有基准的局限性及系统级防御的价值。

LLMON: An LLM-native Markup Language to Leverage Structure and Semantics at the LLM Interface

LLMON：一种面向大语言模型的标记语言，用于在大语言模型接口中利用结构和语义

Michael Hind, Basel Shbita, Bo Wu, Farhan Ahmed, Chad DeLuca, Nathan Fulton, David Cox, Dan Gutfreund

机构 * IBM Research（IBM研究院） 纠错

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 LLMON通过引入一种面向大语言模型的标记语言，使文本的结构和语义元数据能自然地传递给大语言模型，从而提升模型的准确性、安全性和稳定性。

Comments 28 pages

Physiological and Semantic Patterns in Medical Teams Using an Intelligent Tutoring System

医疗团队中的生理与语义模式：基于智能教学系统

Xiaoshan Huang, Conrad Borchers, Jiayi Zhang, Susanne P. Lajoie

机构 * McGill University（麦吉尔大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过智能教学系统分析医疗团队在诊断虚拟患者时的生理和对话动态，发现语义变化与生理同步峰值相关，且高生理同步伴随低语义相似性，揭示了团队协作中的关键时刻。

Comments Accepted as short paper to the 27th International Conference on Artificial Intelligence in Education (AIED 2026)

Script Gap: Evaluating LLM Triage on Indian Languages in Native vs Romanized Scripts in a Real World Setting

脚本间隙：在真实世界环境中评估LLM在印度语言本土脚本与罗马化脚本上的三线分类

Manurag Khullar, Utkarsh Desai, Poorva Malviya, Aman Dalmia, Zheyuan Ryan Shi

机构 * School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了LLM在印度语言及尼泊尔语的本土脚本与罗马化脚本在真实世界中的三线分类可靠性，发现罗马化文本导致性能下降达24分，并提出基于不确定性的选择路由方法以缩小脚本差距。

Extending MONA in Camera Dropbox: Reproduction, Learned Approval, and Design Implications for Reward-Hacking Mitigation

在Camera Dropbox中扩展MONA：再现、学习批准与奖励黑客缓解的设计影响

Nathan Heath

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 该研究通过扩展MONA方法，验证了学习批准在缓解奖励黑客中的有效性，并探讨了其设计影响。

PromptForge-350k: A Large-Scale Dataset and Contrastive Framework for Prompt-Based AI Image Forgery Localization

PromptForge-350k：一种大规模数据集和对比框架用于基于提示的AI图像伪造定位

Jianpeng Wang, Haoyu Wang, Baoying Chen, Jishen Zeng, Yiming Qin, Yiqi Yang, Zhongjie Ba

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出PromptForge-350k数据集和ICL-Net网络，通过自动化标注框架和对比学习提升伪造定位精度，实验显示在IoU指标上优于现有方法。

Audio Hallucination Attacks: Probing the Reliability of Large Audio Language Models

音频幻觉攻击：测试大型音频语言模型的可靠性

Ashish Seth, Sonal Kumar, Ramaneswaran Selvakumar, Nishit Anand, Utkarsh Tyagi, Prem Seetharaman, Ramani Duraiswami, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文提出Audio Hallucination Attacks，通过6500个问答对测试大型音频语言模型是否真实基于音频输入生成响应，发现其可靠性与基准性能存在差距，并提出AHA-Guard数据集降低攻击成功率。

From Skeletons to Semantics: Design and Deployment of a Hybrid Edge-Based Action Detection System for Public Safety

从骨架到语义：一种混合边缘基于的动作检测系统在公共安全中的设计与部署

Ganen Sethupathy, Lalit Dumka, Jan Schagen

机构 * Sopra Steria Germany（Sopra Steria德国） ； Sopra Steria India（Sopra Steria印度） 纠错

专题命中 隐私与版权 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出一种混合边缘动作检测系统，结合骨架运动分析与视觉语言模型，以提升公共安全中的实时视频分析能力，通过系统级对比展示两种方法在边缘计算中的互补性与局限性。

Comments Preprint version of a manuscript currently under review at IEEE Access

The Necessity of a Holistic Safety Evaluation Framework for AI-Based Automation Features

人工智能驱动自动化功能的综合安全评估框架的必要性

Alireza Abbaspour, Shabin Mahadevan, Kilian Zwirglmaier, Jeff Stafford

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)

AI总结 本文探讨了在人工智能整合下，需对AI组件进行综合安全分析和风险评估，以识别和缓解潜在风险，特别是在安全关键驾驶系统中。

M-MiniGPT4: Multilingual VLLM Alignment via Translated Data

M-MiniGPT4：通过翻译数据实现多语言VLLM对齐

Seung Hun Han, Youssef Mohamed, Mohamed Elhoseiny

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； KAUST（阿卜杜拉国王科技大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出M-MiniGPT4多语言视觉大语言模型，通过混合原生多语言和翻译数据提升MiniGPT4的多语言视觉理解能力，并引入多语言对齐训练阶段，使模型在多语言MMMU基准测试中达到36%的准确率。

Comments 6 pages, ACL 2026, Proceedings of the 7th Workshop on African Natural Language Processing (AfricaNLP 2026)

AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models

AGFT：基于对齐的微调以提升视觉-语言模型的零样本对抗鲁棒性

Yubo Cui, Xianchao Guan, Zijun Xiong, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳市环域研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AGFT框架，通过概率预测进行文本引导对抗训练，提升视觉-语言模型的零样本对抗鲁棒性，同时保持跨模态语义结构。

Comments Accepted by CVPR 2026; Code is available at \url{https://github.com/YuboCui/AGFT}