大模型对齐与安全

FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment

FedPDPO：联邦个性化直接偏好优化用于大语言模型对齐

Kewen Zhu, Liping Yi, Zhiming Zhao, Zhuang Qi, Han Yu, Qinghua Hu

机构 * College of Intelligence and Computing, Tianjin University, Tianjin, China（智能与计算学院，天津大学，天津，中国） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出FedPDPO，一种联邦个性化直接偏好优化框架，通过参数高效微调和个性化奖励头解决非iid数据下的大语言模型对齐问题，实验显示在联邦内域和跨域设置中平均准确率提升达4.80%。

Comments under review

HPS: Hard Preference Sampling for Human Preference Alignment

HPS: 人类偏好对齐的硬偏好采样

Xiandong Zou, Wanyu Lin, Yuchen Li, Pan Zhou

机构 * Singapore Management University（新加坡国立管理学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出HPS框架，通过优先选择最受好评的响应并拒绝所有不受欢迎和有害的响应，提升大语言模型与人类偏好的对齐效率和鲁棒性。

An Empirical Study of SFT-DPO Interaction and Parameterization in Small Language Models

小语言模型中SFT-DPO交互与参数化的实证研究

Yuming Feng, Christy Yang

机构 * Department of Computer Science（计算机科学系） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对比SFT、DPO及分阶段训练方法，发现全参数微调在小模型中表现更优，而偏好优化和低秩适应带来的边际收益有限。

GenFacet: End-to-End Generative Faceted Search via Multi-Task Preference Alignment in E-Commerce

GenFacet：通过多任务偏好对齐的端到端生成方法实现电商多维搜索

Zhouwei Zhai, Min Yang, Jin Li

专题命中 偏好对齐 ：alignment(title)

AI总结 本文提出GenFacet，一种端到端生成框架，通过多任务偏好对齐提升电商多维搜索效果，实验证明显著提升点击率和转化率。

Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

通过元数据增强的RAG流水线和直接偏好优化增强法律LLM

Suyash Maniyar, Deepali Singh, Rohith Reddy

专题命中 偏好对齐 ：DPO(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出元数据增强的RAG和直接偏好优化，解决法律领域长文本检索和生成中的精度问题，提升模型的可靠性与安全性。

Comments 12 pages including Appendix

DreamCS: Geometry-Aware Text-to-3D Generation with Unpaired 3D Reward Supervision

DreamCS: 基于几何感知的文本到3D生成与无配对3D奖励监督

Xiandong Zou, Ruihao Xia, Hongsong Wang, Pan Zhou

机构 * Singapore Management University（新加坡管理学院） ； East China University of Science and Technology（东华大学） ； Southeast University（东南大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出DreamCS框架，通过无配对3D-MeshPref数据训练奖励模型，提升文本到3D生成的几何准确性和人类偏好对齐能力。

The Verifier Tax: Horizon Dependent Safety Success Tradeoffs in Tool Using LLM Agents

验证者税：工具使用LLM代理中地平线依赖的安全成功权衡

Tanmay Sah, Vishal Srivastava, Dolly Sah, Kayden Jordan

专题命中 安全训练 ：safety(title,abstract)

AI总结 研究运行时强制执行对多步骤工具使用大语言模型代理端到端任务性能的影响，发现安全调解虽能拦截94%的非合规动作，但难以保证安全完成，凸显了需要具备基础身份验证和后干预推理能力的代理。

Comments 10 pages, 7 figures

HALO: Hierarchical Reinforcement Learning for Large-Scale Adaptive Traffic Signal Control

HALO：用于大规模自适应交通信号控制的分层强化学习

Yaqiao Zhu, Hongkai Wen, Geyong Min, Man Luo

机构 * University of Exeter Department of Computer Science Exeter UK（埃克塞特大学计算机科学系埃克塞特英国） ； University of Warwick Department of Computer Science Coventry UK（沃里克大学计算机科学系科文特里英国） ； University of Exeter（埃克塞特大学） ； University of Warwick（沃里克大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 HALO通过分层强化学习框架解决大规模自适应交通信号控制中的可扩展性与协调性矛盾，采用高低层策略协同优化，实现高效交通管理。

Comments Accepted to The Web Conference (WWW) 2026

Trojan's Whisper: Stealthy Manipulation of OpenClaw through Injected Bootstrapped Guidance

Trojan's Whisper：通过注入的Bootstrap引导 stealthily操纵OpenClaw

Fazhong Liu, Zhuoyan Chen, Tu Lan, Haozhen Tan, Zhenyu Xu, Xiang Li, Guoxing Chen, Yan Meng, Haojin Zhu

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文研究了通过注入引导文件进行的隐蔽攻击，揭示了自主代理生态系统设计中的根本矛盾，强调了基于能力隔离、运行时策略执行和透明引导溯源的防御需求。

PowerLens: Taming LLM Agents for Safe and Personalized Mobile Power Management

PowerLens：利用大语言模型安全且个性化地管理移动设备电源

Xingyu Feng, Chang Sun, Yuzhu Wang, Zhangbing Zhou, Chengwen Luo, Zhuangzhuang Chen, Xiaomin Ouyang, Huanqi Yang

机构 * China University of Geosciences (Beijing)（中国地质大学（北京）） ； Shenzhen University（深圳大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 PowerLens通过利用大语言模型的常识推理，实现安全且个性化的移动电源管理。系统通过用户活动与系统参数之间的语义桥梁，生成适应个人偏好的零样本策略，通过隐式反馈学习用户偏好，无需显式配置，3-5天内收敛。

From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing

从直觉到探究：一种工具增强的推理MLLM框架用于可推广的面部反伪装

Haoyuan Zhang, Keyao Wang, Guosheng Zhang, Haixiao Yue, Zhiwen Tan, Siran Peng, Tianshuo Zhang, Xiao Tan, Kunbin Chen, Wei He, Jingdong Wang, Ajian Liu, Xiangyu Zhu, Zhen Lei

机构 * SAI, UCAS（UCAS智能科学研究院） ； MAIS, CASIA（CASIA模式识别与智能信息处理研究院） ； Baidu Inc（百度公司） ； CAIR, HKISI, CAS（HKISI CAS计算机视觉研究院） ； M.U.S.T 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出TAR-FAS框架，通过整合外部视觉工具提升面部反伪装的泛化能力，采用CoT-VT范式使MLLM深入分析细微伪装线索，实验表明其在跨域协议下达到SOTA性能。

Comments Accepted by CVPR 2026

Reinforcement Unlearning via Group Relative Policy Optimization

通过群体相对策略优化实现强化反学习

Efstratios Zaradoukas, Bardh Prenkaj, Gjergji Kasneci

机构 * Chair of Responsible Data Science（负责任数据科学教授职位） ； Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出PURGE方法，通过群体相对策略优化框架将反学习建模为可验证问题，有效减少敏感数据影响，提升模型流畅性和鲁棒性，实验表明其在反学习效果和实用性上优于现有方法。

Comments Accepted to ICLR 2026

Efficient Cross-Domain Offline Reinforcement Learning with Dynamics- and Value-Aligned Data Filtering

高效跨领域离线强化学习中的动态与价值对齐数据筛选

Zhongjian Qiao, Rui Yang, Jiafei Lyu, Chenjia Bai, Xiu Li, Siyang Gao, Shuang Qiu

机构 * City University of Hong Kong ； University of Illinois Urbana-Champaign ； Tencent ； Institute of Artificial Intelligence, China Telecom (TeleAI) ； Tsinghua University. Corresponding Author 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出DVDF方法，通过动态和价值对齐筛选源域样本，提升跨领域离线强化学习性能，实验表明其在多种任务和数据集上表现优异。

Evolving Jailbreaks: Automated Multi-Objective Long-Tail Attacks on Large Language Models

进化式越狱：针对大语言模型的自动化多目标长尾攻击

Wenjing Hong, Zhonghua Rong, Li Wang, Feng Chang, Jian Zhu, Ke Tang, Zexuan Zhu, Yew-Soon Ong

机构 * School of Artificial Intelligence（人工智能学院） ； Brain-Inspired Technology Co.,Ltd（脑启发技术有限公司） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Southern University of Science and Technology（南方科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出EvoJail框架，通过多目标进化搜索自动发现长尾分布攻击，提升对大语言模型安全性的评估。

When Prompt Optimization Becomes Jailbreaking: Adaptive Red-Teaming of Large Language Models

当提示优化成为劫持：大型语言模型的自适应红队测试

Zafir Shamsi, Nikhil Chekuru, Zachary Guzman, Shivank Garg

机构 * Algoverse AI Research（Algoverse AI研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大型语言模型在对抗性提示优化下的安全性漏洞，通过自适应红队测试发现开源小模型的安全保障显著降低，表明静态评估无法准确反映真实风险。

Comments EACL SRW 2026, Oral

Governing Dynamic Capabilities: Cryptographic Binding and Reproducibility Verification for AI Agent Tool Use

动态能力治理：用于AI代理工具使用的加密绑定与可重复性验证

Ziling Zhou

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文提出三种代理治理要求，通过加密绑定和可重复性验证解决AI代理动态能力验证问题，证明两个结构定理并验证两种加密方案，展示低开销和高安全性。

Comments 23 pages, 5 figures, 18 tables. Includes 11 experiments, 9 formal security properties, and appendix with proofs

A Framework for Formalizing LLM Agent Security

一个形式化大语言模型代理安全性的框架

Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Neil Gong, Chenguang Wang, Dawn Song

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； UC Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） 纠错

专题命中 提示注入 ：alignment(abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文提出一个框架，从情境安全角度系统化现有攻击与防御，定义四个安全属性并引入Oracle函数验证，重新定义攻击和防御，为未来研究提供方向。

Evaluating Evidence Grounding Under User Pressure in Instruction-Tuned Language Models

评估在用户压力下指令调优语言模型的证据基础

Sai Koneru, Elphin Joe, Christine Kirchhoff, Jian Wu, Sarah Rajtmajer

机构 * College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院） ； Department of Computer Science, Old Dominion University（老 Dominion 大学计算机科学系） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 研究探讨了在用户压力下指令调优语言模型如何平衡用户对齐压力与上下文证据的忠实性，通过控制的认知冲突框架评估证据一致性准确性及排序表现。

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

既非此处亦非彼处：多语言编码器中混合语言文本的跨语言表示动态

Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

机构 * Indian Institute of Science Education and Research（印度科学教育与研究学院） ； Microsoft Corporation（微软公司） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 研究探讨多语言编码器对混合语言文本的内部表示，发现标准模型在英语和印地语间表现良好，但混合文本与任一语言连接松散。通过训练混合数据可提升英语混合文本对齐，但损害英语-印地语对齐。引入三语后训练目标，使混合文本表示更接近构成语言，提升跨语言理解。

Comments 24 pages

Reviewing the Reviewer: Graph-Enhanced LLMs for E-commerce Appeal Adjudication

审查审查者：图增强的大语言模型用于电商争议裁决

Yuchen Du, Ashley Li, Zixi Huang

机构 * Purdue University（普渡大学） ； Amazon（亚马逊） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出图增强的大语言模型，通过显式动作建模和冲突建模解决电商争议裁决中的信息不对称问题，提升裁决一致性。

Comments 10 pages, 3 figures, KDD 2026 Applied Data Science Track

CO-EVOLVE: Bidirectional Co-Evolution of Graph Structure and Semantics for Heterophilous Learning

CO-EVOLVE：图结构与语义的双向共演用于异质学习

Jinming Xing, Muhammad Shahzad

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文提出CO-EVOLVE框架，通过双向共演解决异质学习中的语义-结构不一致、误差传播和盲从问题，引入对比损失、自适应门控和不确定性门控策略提升模型性能。

Whose Values? Measuring the (Subjective) Expression of Basic Human Values in Social Media

谁的价值？在社交媒体中测量（主观）基本人类价值观的表达

Ziv Epstein, Farnaz Jahanbakhsh, Tiziano Piccardi, Isabel Gallegos, Dora Zhao, Johan Ugander, Michael Bernstein

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文基于Schwartz价值观体系，提出一种规模化测量社交媒体中价值观表达的框架，通过个性化校准注释提升预测准确性，揭示人类价值观测量的新方法。

Comments Proceedings of the International AAAI Conference on Web and Social Media. 2026

DPxFin: Adaptive Differential Privacy for Anti-Money Laundering Detection via Reputation-Weighted Federated Learning

DPxFin：基于声誉加权联邦学习的反洗钱检测中的自适应差分隐私

Renuga Kanagavelu, Manjil Nepal, Ning Peiyan, Cai Kangning, Xu Jiming, Fei Gao, Yong Liu, Goh Siow Mong Rick, Qingsong Wei

机构 * A*STAR IHPC（A*STAR 国家实验室信息物理计算中心） ； SRM University-AP（SRM 大学-安得拉邦） ； Evyd Singapore（Evyd 新加坡） 纠错

专题命中 隐私与版权 ：alignment(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 本文提出DPxFin框架，通过声誉引导的自适应差分隐私技术，在反洗钱检测中提升隐私保护与模型效用的平衡。

Comments Accepted at AI FOR FINANCIAL FRAUD DETECTION & PREVENTION AT ACM ICAIF-25

PlanTwin: Privacy-Preserving Planning Abstractions for Cloud-Assisted LLM Agents

PlanTwin: 云辅助规划中的隐私保护规划抽象

Guangsheng Yu, Qin Wang, Rui Lang, Shuai Su, Xu Wang

机构 * University of Technology Sydney（悉尼技术大学） ； CSIRO Data61（CSIRO数据61） 纠错

专题命中 隐私与版权 ：safety(abstract)；分类 cs.AI

AI总结 PlanTwin通过构建规划导向的数字孪生，实现云辅助规划中本地环境信息的隐私保护，同时保持规划质量接近全上下文系统。

Assessing the Case for Africa-Centric AI Safety Evaluations

评估非洲中心的AI安全评估的必要性

Gathoni Ireri, Cecil Abungu, Jean Cheptumo, Sienka Dounia, Mark Gitau, Stephanie Kasaon, Michael Michie, Chinasa T. Okolo, Jonathan Shock

专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CY

AI总结 本文探讨了非洲环境中前沿AI系统带来的严重风险，提出了一种分类方法来识别这些风险，并提出了针对非洲情境的威胁建模策略及评估指导。

Comments 41 pages, 1 figure

A Multi-Perspective Benchmark and Moderation Model for Evaluating Safety and Adversarial Robustness

一种多视角基准和评估模型用于评估安全性和对抗鲁棒性

Naseem Machlovi, Maryam Saleki, Ruhul Amin, Mohamed Rahouti, Shawqi Al-Maliki, Junaid Qadir, Mohamed M. Abdallah, Ala Al-Fuqaha

机构 * Department of Computer and Information Science, Fordham University（福德汉大学计算机与信息科学系） ； College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·卡西姆大学科学与工程学院） ； Department of Computer Science and Engineering, Qatar University（卡塔尔大学计算机科学与工程系） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GuardEval多视角基准和GGuard模型，通过细粒度标签提升内容审核的准确性和对抗鲁棒性，实验显示GGuard在宏平均F1得分上优于现有模型。

LSR: Linguistic Safety Robustness Benchmark for Low-Resource West African Languages

LSR：低资源西非语言的语言安全鲁棒性基准

Godwin Abuh Faruna

机构 * Fagmart Lab（法格马特实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 LSR是首个评估跨语言拒绝退化现象的基准，针对西非语言中的有害意图表达，发现模型拒绝率从英语的90%降至35-55%，其中Igala语言退化最严重。

Comments 6 pages. Reference implementation: https://huggingface.co/spaces/Faruna01/lsr-dashboard. Dataset: https://huggingface.co/datasets/Faruna01/lsr-benchmark

EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

EvidenceRL: 为可信语言模型强化证据一致性

J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pekin University（培根大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.CL、cs.LG

AI总结 EvidenceRL通过强化学习框架在训练中强制证据遵循，提升语言模型在医疗诊断和法律推理中的证据接地和可信度，同时保持任务准确性。

CAF-Score: Calibrating CLAP with LALMs for Reference-free Audio Captioning Evaluation

CAF-Score: 通过LALMs校准CLAP用于无参考音频描述评估

Insung Lee, Taeyoung Jeong, Haejun Yoo, Du-Seong Chang, Myoung-Wan Koo

机构 * Department of Artificial Intelligence, Sogang University, South Korea（人工智能系，ソガン大学，韩国） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CAF-Score，一种无参考音频描述评估指标，通过结合对比音频-文本嵌入与LALM推理，有效检测语法不一致和细微幻觉，实验表明其在BRACE基准上与人类判断相关性最高。

Comments A condensed version of this work has been submitted to Interspeech 2026. Section 10 is an extended analysis added in this version

Mapping Caregiver Needs to AI Chatbot Design: Strengths and Gaps in Mental Health Support for Alzheimer's and Dementia Caregivers

将照护需求映射到AI聊天机器人设计：阿尔茨海默病和痴呆症照护者的心理健康支持优势与不足

Jiayue Melissa Shi, Dong Whi Yoo, Keran Wang, Violeta J. Rodriguez, Ravi Karkar, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 研究探讨了阿尔茨海默病和痴呆症照护者在心理健康支持中的需求与AI聊天机器人设计的匹配度，通过访谈揭示了照护者在信息获取、情感支持等方面的需求及技术的优劣势。

Journal ref ACM Transactions on Computing for Healthcare, 2026