大模型对齐与安全

Certifiable Safe RLHF: Semantic Grounding and Fixed Penalty Constraint Optimization for Safer LLM Alignment

可认证安全RLHF：基于语义基础与固定惩罚约束优化的更安全大语言模型对齐

Kartik Pandit, Sourav Ganguly, Arnesh Banerjee, Shaahin Angizi, Arnob Ghosh

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； New Jersey Institute of Technology（新泽西理工学院） ； Department of Computer Engineering（计算机工程系） ； Heritage Institute of Technology（遗产理工学院） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(title)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有RLHF方法依赖奖励/成本函数和双变量调优导致性能敏感且缺乏可证明安全保证的问题，提出CS-RLHF，通过语义基础成本模型和固定惩罚约束优化，实现可认证安全对齐，效率提升至少5倍。

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

TokenRatio: 通过比率匹配实现原理化的token级偏好优化

Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

机构 * National University of Singapore（新加坡国立大学） ； Institute of Cybernetics and Robotics, Czech Technical University in Prague（捷克布拉格技术大学控制论与机器人研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TBPO方法，通过比率匹配恢复token级偏好最优性，改进对齐质量和训练稳定性，并增加输出多样性。

Autoregressive Direct Preference Optimization

自回归直接偏好优化

Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

机构 * University of Tokyo（东京大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI

AI总结 提出自回归直接偏好优化（ADPO），在应用Bradley-Terry模型前显式引入自回归假设，通过将DPO目标中的求和操作移至log-sigmoid函数外部，实现更优的偏好对齐，并首次区分token长度μ和反馈长度μ'两种度量。

Comments ICML 2026

Toward Preference-aligned Large Language Models via Residual-based Model Steering

基于残差模型引导的偏好对齐大型语言模型

Lucio La Cava, Andrea Tagarelli

机构 * DIMES Dept., University of Calabria, Italy（卡利博大学DIMES系） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出PaLRS方法，利用残差流中的偏好信号提取轻量级引导向量，无需训练即可在推理时对齐模型偏好，在数学推理和代码生成任务上取得一致提升，同时节省大量时间。

Comments Accepted at IJCAI 2026

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

面向隐私敏感的临床信息抽取的自提示小型语言模型

Yao-Shun Chuang, Tushti Mody, Uday Pratap Singh, Shirindokht Shiraz, Chun-Teh Lee, Ryan Brandon, Muhammad F Walji, Xiaoqian Jiang, Bunmi Tokede

机构 * McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校麦克威廉斯生物医学信息学学院） ； School of Public Health, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校公共卫生学院） ； School of Dentistry, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校牙科学院） ； Willamette Dental and Skourtes Institute（威廉特牙科与斯库尔特斯研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对牙科病历中非结构化、领域特定且隐私敏感的命名实体识别挑战，提出一种本地可部署的自提示框架，通过多提示集成推理和基于QLoRA的微调及直接偏好优化，使小型语言模型在Qwen2.5-14B-Instruct上达到微宏F1分数0.864/0.837。

AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin

AsFT：在窄安全盆地内锚定大语言模型微调期间的安全性

Shuo Yang, Qihui Zhang, Yuyang Liu, Xiaojun Jia, Kunpeng Ning, Jiayu Yao, Jigang Wang, Hailiang Dai, Yibing Song, Li Yuan

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 针对微调大语言模型时安全性易受损的问题，提出AsFT方法，通过惩罚与对齐方向正交的更新，将模型约束在窄安全盆地内，在提升任务性能的同时显著降低有害行为。

Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models

超越语义主导：音频语言模型中的认知情感推理与共情响应对齐

Zhixian Zhao, Shuiyuan Wang, Wenjie Tian, Jingbin Hu, Ziyu Zhang, Lei Xie

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 安全训练 ：alignment(title)

AI总结 提出CogAudio-LLM框架，通过构建LIME-440K数据集实现声学-语义解耦，设计EIPS思维链机制进行心理推理，并采用DR-SAPO优化策略平衡逻辑严谨性与共情质量，解决音频语言模型中的语义主导和情感认知不足问题。

Comments Accepted by Interspeech2026

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

LLM-Enhanced Deep Reinforcement Learning for Task Offloading in Collaborative Edge Computing

LLM增强的深度强化学习用于协作边缘计算中的任务卸载

Hao Guo, Kaixiang Xu, Ziwu Ge, Lei Yang

专题命中 安全训练 ：alignment(abstract)

AI总结 提出LeDRL框架，结合轻量级LLM与自注意力增强DRL，通过结构化提示和语义反馈实现实时任务卸载，在成功率、收敛速度和实时性上优于基线方法。

Bypassing Prompt Guards in Production with Controlled-Release Prompting

绕过生产环境中的提示守卫：受控释放提示攻击

Jaiden Fairoze, Sanjam Garg, Keewoo Lee, Mingyuan Wang

机构 * UC Berkeley（加州大学伯克利分校） ； zkBricks Inc（zkBricks公司） ； Ethereum Foundation（以太坊基金会） ； NYU Shanghai（纽约大学上海分校） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.LG

AI总结 针对AI对齐的提示过滤存在理论上的不可能性，本文提出受控释放提示攻击，利用轻量级输入过滤器与主模型之间的资源不对称性，在实际部署的大语言模型系统中成功绕过提示守卫。

Comments Accepted to USENIX Security 2026

Learning to Inject: Automated Prompt Injection via Reinforcement Learning

学习注入：通过强化学习实现自动化提示注入

Xin Chen, Jie Zhang, Florian Tramèr

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出AutoInject，一种基于强化学习的黑盒框架，自动学习对抗性后缀进行提示注入，在AgentDojo上优于模板攻击和多种自适应攻击，并突破专门防御模型。

ProjGuard: Safety Monitoring for Computer-Use Agents via Low-Dimensional Projections

ProjGuard：通过低维投影实现计算机使用代理的安全监控

Kebin Contreras, Carlos Hinojosa, Jorge Bacca, Bernard Ghanem

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)

AI总结 ProjGuard通过行为轨迹监控实现计算机使用代理的安全防护，利用轻量级风险信号提前预警潜在危险，结合辅助视觉语言模型进行针对性修正，提升任务完成率并降低安全风险。

Comments The manuscript was submitted under an inappropriate category. In addition, substantial updates and improvements are currently being made to the document. To avoid confusion and ensure that readers access the most accurate version of the work, we request withdrawal of the current manuscript

AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations

AttriGuard: 通过工具调用的因果归因击败LLM代理中的间接提示注入

Yu He, Haozhe Zhu, Yiming Li, Shuo Shao, Hongwei Yao, Zhihao Liu, Zhan Qin

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 针对LLM代理易受间接提示注入攻击的问题，提出基于并行反事实测试的运行时防御AttriGuard，通过因果归因区分用户意图驱动与不可信观察驱动的工具调用，在多个基准上实现0%攻击成功率。

Comments Accepted by USENIX Security 2026

Auditing CoT Answer-Hijack Patches: Source-Control Certificates with Type-I Guarantees

链式思维答案劫持的选择感知诊断

Jianwei Tai

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CY

AI总结 针对链式思维答案劫持攻击，提出选择感知诊断方法，通过激活修补定位脆弱区域，并验证恢复依赖于同问题干净源。

Identifying Topological Invariants of Non-Hermitian Systems via Domain-Adaptive Multimodal Model for Mathematics

通过数学多模态模型识别非厄密系统拓扑不变量

Jiuchun Meng, Lichao Sun, Xiumei Wang, Dandan Zhu, Xingping Zhou

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文提出利用多模态模型识别非厄密系统拓扑不变量，通过输入哈密顿量的本征值和本征向量，结合数学大语言模型进行复杂计算和推理，有效提取拓扑信息。

What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

什么语义能经受住连接器的考验？视频编辑中VLM到DiT对齐的诊断

Hangyu Lin, Chao Wen, Chengming Xu, Jianxiong Gao, Jiangning Zhang, Xiaobin Hu, Yanwei Fu

机构 * HKUST（香港理工大学） ； FDU（福建大学） ； ZJU（浙江大学） ； NUS（新加坡国立大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题，通过提出TRACE-Edit数据集和诊断协议，发现连接器模块会导致细粒度结构语义的严重退化，挑战了原有假设。

Conformal Risk-Averse Decision Making with Action Conditional Guarantee

具有行动条件保证的共形风险规避决策

Zihan Zhu, Shayan Kiyani, George Pappas, Hamed Hassani

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出行动条件共形预测方法，通过分位数损失最小化算法实现行动条件风险价值优化，在有限样本下提供行动条件安全保证。

GrowLoop: Self-Evolving Conversation Evaluation Seeded by Human

GrowLoop: 由人类种子驱动的自进化对话评估

Yihang Lin, Yunze Gao, Zeyang Lin, Dongbo Li, Kun Peng, Yue Liu

机构 * Amap, Alibaba Group（阿里集团阿地图） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对开放域对话中类人性评估的隐性知识、标准分歧和动态演化三大挑战，提出GrowLoop自进化评估系统，通过最小人工种子标注和启发式学习迭代提取评估标准，并利用标准-案例协同进化机制持续适应模型进步和场景变化。

FinTradeBench: A Financial Reasoning Benchmark for LLMs

FinTradeBench: 面向LLM的金融推理基准

Yogesh Agrawal, Aniruddha Dutta, Md Mahadi Hasan, Santu Karmaker, Aritra Dutta

机构 * University of Central Florida（佛罗里达中央大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出FinTradeBench基准，通过结合公司基本面与交易信号，评估大语言模型在金融推理中的表现，发现检索增强对数值和时间序列推理帮助有限。

Comments 9 pages main text, 31 pages total (including references and appendix). 5 figures, 16 tables. Preprint under review. Code and data will be made available upon publication

Right Predictions, Misleading Explanations: On the Vulnerability of Vision-Language Model Explanations

正确预测，误导性解释：关于视觉-语言模型解释的脆弱性

Narges Babadi, Hadis Karimipour

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG；trustworthy(comments)

AI总结 研究探讨了视觉-语言模型中解释热图在对抗条件下是否忠实反映推理过程，提出X-Shift攻击揭示解释与预测行为的脱节，验证了解释机制的脆弱性。

Comments Accepted at the ICML 2026 Workshop on Trustworthy AI for Good (AI4GOOD), Seoul, South Korea

Automated Scoring of Arabic Text Using Large Language Models: A Literature Review

使用大型语言模型对阿拉伯语文本进行自动评分：文献综述

Khaoula Dahimi, Hadda Cherroun, Amel Belabbaci

机构 * Laboratoire d’Informatique et de Mathématiques LIM, Amar Telidji University（阿马尔·特里吉大学计算机与数学实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文综述了基于大型语言模型的阿拉伯语文本自动评分方法，包括简答题评分和作文评分，提出了包含五个维度的分类体系，并对比分析了现有研究的方法、数据集和性能。

Comments Accepted at NCMAI 2026

Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy

评估多源RAG中的事实密度：医学AI准确性研究

Michael R. DeMarco

机构 * NexusAgentics 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对标准RAG管道因专家盲视效应而忽视高密度事实证据的问题，提出事实密度（FD*）作为检索优化信号，通过概率事实性分析预处理和Z-score归一化消除长度偏差，在HealthFC基准上实现100%系统综述覆盖率。

Comments 16 pages, 8 tables. Includes Experiment 3 results (n=11, Wilcoxon p=0.0619). Preliminary findings; powered Experiment 3 and Graph RAG extension identified as future work. Updated from v1

OpenVTON-Bench: A Large-Scale High-Resolution Benchmark for Controllable Virtual Try-On Evaluation

OpenVTON-Bench：用于可控虚拟试穿评估的大规模高分辨率基准

Jin Li, Tao Chen, Kai Wen, Siqi Yin, Shuai Jiang, Weijie Wang, Jingwen Luo, Chenhui Wu

机构 * Renxing Intelligence, Hangzhou, China ； Hangzhou Dianzi University, Hangzhou, China（杭州电子科技大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出OpenVTON-Bench，包含约10万对高分辨率图像，通过DINOv3聚类和Gemini描述构建，并设计多模态评估协议，沿五个维度衡量试穿质量，与人类判断高度一致。

Comments Under review for the NeurIPS 2026 Datasets and Benchmarks Track

A Survey of Reasoning and Agentic Systems in Time Series with Large Language Models

时间序列中基于大语言模型的推理与智能体系统综述

Ching Chang, Yidan Shi, Defu Cao, Wei Yang, Jeehyun Hwang, Haixin Wang, Jiacheng Pang, Wei Wang, Yan Liu, Wen-Chih Peng, Tien-Fu Chen

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Southern California（南加州大学） ； National Yang Ming Chiao Tung University（阳明交通大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文定义时间序列推理问题，按推理拓扑分为直接、线性链和分支结构三类，结合传统分析、解释、因果推断和生成等目标，综述方法、系统、数据集和评估实践，并指导拓扑选择与部署权衡。

Comments Accepted to Transactions on Machine Learning Research (TMLR)

Harnessing Embodied Agents: Runtime Governance for Policy-Constrained Execution

利用具身体 agent：运行时治理以实现政策约束执行

Xue Qin, Simin Luan, John See, Zeyd Boukhers, Cong Yang, Zhijun Li

机构 * School of Software, Harbin Institute of Technology（哈尔滨工业大学软件学院） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； School of Mathematical and Computer Sciences, Heriot-Watt University, Malaysia Campus（赫瑞-沃德大学马来西亚校区数学与计算机科学学院） ； School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院） ； Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所） 纠错

专题命中 AI治理与伦理 ：safety(abstract)

AI总结 本文提出了一种政策约束执行框架，通过将 agent 认知与执行监督分离，增强了具身体 agent 的运行时治理能力，通过 1000 次随机模拟验证，显著提高了对未经授权动作的拦截率和系统恢复成功率。

Comments 36 pages, 3 figures, 10 tables

Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction

超越扩散：层级到层级自回归用于fMRI到图像重建

Xu Zhang, Ruijie Quan, Wenguan Wang, Yi Yang

机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University, China（脑机智能国家重点实验室，浙江大学，中国） ； ReLER, CCAI, College of Artificial Intelligence, Zhejiang University, China（ReLER、中国人工智能学会、人工智能学院、浙江大学、中国） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI

AI总结 提出MindHier框架，通过层级fMRI编码器、层级对齐和尺度感知粗到细引导策略，实现从粗到细的fMRI到图像重建，优于扩散方法。

Comments ICLR 2026

SIL: Symbiotic Interactive Learning for Language-Conditioned Human-Agent Co-Adaptation

SIL: 语言条件的人机协同适应的共生交互学习

Linus Nwankwo, Bjoern Ellensohn, Christian Rauch, Elmar Rueckert

机构 * Technical University of Leoben（莱博恩技术大学） 纠错

专题命中 其他安全 ：alignment(abstract)

AI总结 提出共生交互学习（SIL）框架，实现人类与智能体在共享潜在任务空间中的双向协同适应，通过联合信念状态、FM空间推理和记忆架构，在指令跟随等任务中达到90.4%完成率和0.83信念对齐分数。

From Correspondence to Actions: Human-Like Multi-Image Spatial Reasoning in Multi-modal Large Language Models

从对应到动作：多模态大语言模型中类人多图像空间推理

Masanari Oi, Koki Maeda, Ryuto Koike, Daisuke Oba, Nakamasa Inoue, Naoaki Okazaki

机构 * University of Tokyo（东京大学） 纠错

专题命中 其他安全 ：alignment(abstract)

AI总结 提出HATCH框架，通过补丁级空间对齐和动作-答案推理两个目标，提升多模态大模型在多图像空间推理中的性能，在三个基准上超越同规模基线。

Comments ICML 2026

Solvability of the Output Corridor Control Problem by Pulse-Modulated Feedback

脉冲调制反馈下输出走廊控制问题的可解性

Alexander Medvedev, Anton V. Proskurnikov

专题命中 其他安全 ：safety(abstract)

AI总结 针对具有特定结构的三阶正系统，证明脉冲调制反馈在稳态下总能解决输出走廊控制问题，并用于评估药代动力学-药效学模型的患者安全性可行性。

Comments shortened version will be presented at IFAC World Congress 2026, Busan, Korea