大模型对齐与安全

Value Drifts: Tracing Value Alignment During LLM Post-Training

价值漂移：在大语言模型训练后追踪价值对齐

Mehar Bhatia, Shravan Nayak, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Vered Shwartz, Siva Reddy

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ETH Zurich（苏黎世联邦理工学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 研究大语言模型训练后价值对齐问题，通过实验区分训练后算法和数据集影响，测量价值漂移，发现SFT阶段确立模型价值，后续偏好优化难重对齐，不同算法在偏好数据不变时也有不同结果，为相关选择提供见解。

Comments TACL 2026

Optimization Is Not All You Need

优化并非你所需的全部

Minh Hua, Rita Raley

机构 * Scale AI（Scale人工智能公司） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究指出优化并非全部，以GPT - 2为例，通过追踪其预训练等环节的优化文化，发现优化程序虽能测文本可能性，但无法区分不可能性是错误还是创新，却在五年内获设定语言协议权威。

Comments This essay will be forthcoming in MFS Modern Fiction Studies, published by JHUP (Spring-Summer 2027)

AI Can Learn Scientific Taste

AI 可以学习科学品味

Jingqi Tong, Mingzhe Li, Hangcheng Li, Yongzhuo Yang, Yurong Mou, Weijie Ma, Zhiheng Xi, Hongji Chen, Xiaoran Liu, Qinyuan Cheng, Ming Zhang, Qiguang Chen, Weifeng Ge, Qipeng Guo, Tianlei Ying, Tianxiang Sun, Yining Zheng, Xinchi Chen, Jun Zhao, Ning Ding, Xuanjing Huang, Yu-Gang Jiang, Xipeng Qiu

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出RLCF框架，通过社区反馈学习科学品味，使AI能提出高潜力研究想法，实验显示其优于现有模型并具备泛化能力。

Comments 46 pages, 5 figures

Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments

完美演示造就差劲教师：从关键运动片段学习鲁棒对齐

Mingyu Liu, Zeju Li, Jiuhe Shu, Hanqing Wang, Yuhao Chao, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）） ； Nanjing University（南京大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 针对精细操作中流畅演示因压缩关键对齐动作导致策略学习不足的问题，提出数据级重采样和表示级STAIR特征，利用稠密运动感知监督提升策略鲁棒性。

Mind the Gap: Action Rebinding Attacks against Android GUI Agents

零权限操纵：我们能否信任由大型多模态模型驱动的GUI代理？

Yi Qian, Kunwei Qian, Xingbang He, Ligeng Chen, Jikang Zhang, Tiantai Zhang, Haiyang Wei, Linzhang Wang, Hao Wu, Bing Mao

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Hornor Device Co., Ltd（Hornor设备有限公司） ； Institute of Dataspace, Hefei Comprehensive National Science Center（数据空间研究所，合肥综合性国家科学中心） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 研究揭示了由大型多模态模型驱动的GUI代理在Android中存在视觉原子性假设的漏洞，通过零权限攻击实现对代理执行的重新绑定，并利用意图对齐策略绕过验证门，展示了代理-操作系统集成中的安全缺陷。

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant：一种用于KV缓存无校准低比特向量量化的双重归一化方法

Donghyun Son, Euntae Choi, Sungjoo Yoo

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型KV缓存内存密集问题，NSNQuant提出一种无校准向量量化技术，通过三步变换结合哈达玛变换使令牌分布与标准正态分布对齐，在1比特和2比特设置下优于先前方法，提升吞吐量。

Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

Hallo4D：用于一致时空生成的多模态幻觉缓解

Hongbo Wang, Huaibo Huang, Jie Cao, Jin Liu, Haoyang Tong, Ran He

机构 * Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghaitech University（上海科技大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对3D和4D内容生成中的时空幻觉问题，提出Hallo4D框架，利用多模态语言模型，通过生成-检测-校正范式及多种技术提升一致性，实验证明其在多样生成设置下优于基线，提供了可扩展通用的一致性感知内容生成方案。

Overcoming Language Barriers: Multilingual Analysis of the 2023 Swiss Privacy Law's Impact

克服语言障碍：对2023年瑞士隐私法影响的多语言分析

Luka Nenadic, David Rodriguez, Joseph A. Calandrino

机构 * ETH Zurich（苏黎世联邦理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 隐私与版权 ：alignment(abstract,abstract_cn)；分类 cs.CL

AI总结 研究2023年瑞士隐私法与欧盟法规对齐对瑞士网站隐私政策的影响，开发基于大语言模型的管道提取法律信息，应用于超35000个网站隐私政策，发现政策中数据主体权利披露增加，还揭示了政策生成器对披露率的影响。

Journal ref Proceedings on Privacy Enhancing Technologies 2026(4) 703-723

The Joint Effect of Quantization and Sampling Temperature on LLM Safety Alignment: A Factorial Analysis

量化和采样温度对LLM安全对齐的联合效应：一项因子分析

Hari Prasad, Ritam Pal

机构 * Conscious Engines（意识引擎） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过因子分析评估9个模型在3种精度和6种温度下的安全对齐，发现量化通常安全中性，而高温增加决策不稳定性，且两者无系统性叠加效应。

Comments 11 pages, 5 Figures

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

用于IWSLT 2026指令跟随任务的NAVER LABS系统重新实现

Anand Kamble, Aniket Tathe

机构 * NAVER LABS（NAVER实验室） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 该研究为IWSLT 2026共享任务重新实现NAVER LABS系统，采用规定组件，保留三阶段方法，构建合成示例用于微调，其主要模型在EN-ZH语音翻译和英语SQA任务中取得了一定成绩。

From Reward-Hack Activations to Agentic Risk States: Context-Calibrated Mechanistic Monitoring in LLM Agents

从奖励黑客激活到智能体风险状态：LLM智能体中的上下文校准机制监控

Patrick Wilhelm, Odej Kao

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本研究通过分析ReAct风格智能体在Gameable ALFWorld和WebShop环境中的奖励黑客行为，提出结合激活状态、熵和决策上下文的上下文校准监控方法，以更准确评估智能体风险。

Advancing Multimodal Judge Models through a Capability-Oriented Benchmark and MCTS-Driven Data Generation

通过能力导向的基准和MCTS驱动的数据生成推进多模态评判模型

Zeyu Chen, Huanjin Yao, Ziwang Zhao, Min Yang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出M-JudgeBench和Judge-MCTS框架，通过能力导向的基准和MCTS驱动的数据生成提升多模态评判模型的评估能力。

Breaking Déjà Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

打破似曾相识：通过视觉语言推理对视觉场所识别进行独立审计

Sania Waheed, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） ； School of Electrical Engineering and Computer Science, Queensland University of Technology（昆士兰科技大学电气工程与计算机科学学院） ； School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 研究针对视觉场所识别中图像匹配阈值在环境变化下不可靠的问题，引入视觉场所识别审计框架，利用视觉语言模型通过联合推理评估检索匹配，经实验验证该方法有效提升召回率并降低误接受率。

Mystra: Declarative Dynamic Taint Analysis via Shadow Virtual Machine

Mystra：通过影子虚拟机进行声明式动态污点分析

Zhuohao Zhang, Junkun Liu, Rui Yang, Yinzhi Cao, Ziyang Li

专题命中 安全评测 ：trustworthy(abstract)

AI总结 研究针对解释型语言的动态污点分析问题，核心方法是引入影子虚拟机并设计声明式污点规范语言Mystra，主要贡献是实现工具Shar，在准确性和性能上均有出色表现，如V8实例召回率高且零误报，运行时开销低。

A Comparative Evaluation of Large Vision-Language Models for 2D Object Detection under SOTIF Conditions

大型视觉-语言模型在SOTIF条件下2D目标检测的比较评估

Ji Zhou, Yilin Ding, Yongqi Zhao, Jiachen Xu, Dong Bi, Johannes Betz, Arno Eichberger

机构 * Institute of Automotive Engineering, Graz University of Technology（汽车工程研究所，格拉茨技术大学） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 本文评估了大型视觉-语言模型在SOTIF条件下2D目标检测的性能，发现其在复杂场景中召回率显著优于传统方法，但几何精度仍有一定优势。

Comments 8 pages, 11 figures

Are we Merging the Right Models? Impact of Expert Training Duration on Model Merging for LLMs

我们合并的模型正确吗？专家训练时长对大语言模型模型合并的影响

Nikita Kozodoi, Zainab Afolabi, Jack Butler

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究领域专家训练时长对大语言模型模型合并质量的影响，在多领域多模型规模上微调专家模型，保存不同训练步数的检查点并评估五种合并方法，发现方法依赖模式，表明训练时长和合并方法应联合选择。

Comments Accepted to ICML 2026 workshop on weight-space symmetries

FairCoder: Probing LLM Bias in High-Stakes Decision Making via Coding Tasks

FairCoder：通过编码任务探究高风险决策中语言模型的偏差

Yongkang Du, Jen-tse Huang, Jieyu Zhao, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； University of Southern California（南加州大学） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.CL

AI总结 研究通过FairCoder基准将决策制定设为编码任务，探究LLMs在多领域的偏差，针对现有指标不足提出FairScore指标，经实验揭示了此前未充分探索的偏差模式，凸显LLMs作决策代理的风险并提供评估框架。

Move-Then-Operate: Behavioral Phasing for Human-Like Robotic Manipulation

移动-然后-操作：用于类人机器人操作的行为相位

Haoming Xu, Lei Lei, Jie Gu, Chu Tang, Jingmin Chen, Ruiqi Wang

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China.（杭州高等研究院，中国科学院大学，中国杭州） ； University of Science and Technology of China, Hefei, China.（中国科学技术大学，中国合肥） ； School of Aritificial intelligence, Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing, China（人工智能学院，人工智能研究院，北京科技大学，中国北京） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)

AI总结 本文提出Move-Then-Operate框架，将机器人操作分为粗略移动和接触关键交互两个阶段，通过双专家策略提升操作精度与效率。

Comments 15 pages, 10 figures

AI Alignment Amplifies the Role of Race, Gender, and Disability in Hiring Decisions

人工智能对齐放大了种族、性别和残疾在招聘决策中的作用

Ze Wang, Guobin Shen, Michael Thaler

专题命中 其他安全 ：alignment(title,abstract)；分类 cs.CY

AI总结 研究探讨语言模型在招聘决策中是否使用人口统计数据，发现对女性和黑人候选人有优势，对残疾候选人有劣势，且对齐过程放大了这些差异。

Knowledge- and Gradient-Guided Reinforcement Learning for Parametrized Action Markov Decision Processes

用于参数化动作马尔可夫决策过程的知识与梯度引导强化学习

Jonas Ehrhardt, René Heesch, Oliver Niggemann

机构 * HSU-AI Institute for Artificial Intelligence（HSU人工智能研究所） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI

AI总结 研究参数化动作马尔可夫决策过程中的强化学习，提出KGRL算法，利用领域知识修剪动作、约束参数空间，结合梯度细化参数，能提供局部解释并提高样本效率，优于现有强化学习基线。

Beyond tokens: a unified framework for latent communication in LLM-based multi-agent systems

超越Token：基于LLM的多智能体系统中潜在通信的统一框架

Yingzhuo Liu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL

AI总结 提出一个三维统一框架（通信内容、发送-接收对齐、信息融合方式），系统分类2024-2026年间18种潜在通信方法，识别五种设计模式并揭示开放挑战。

AvAtar: Learning to Align via Active Optimal Transport

AvAtar: 通过主动最优输运学习对齐

Qi Yu, Ruizhong Qiu, Zhichen Zeng, My T. Thai, Huan Liu, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Florida（佛罗里达大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.LG

AI总结 提出AvAtar框架，利用主动学习策略通过熵正则化最优输运的梯度影响量化候选点信息量，并采用伴随状态法高效求解，以提升对齐性能。

Comments Published as a conference paper at ICML 2026

Interaction Protocol Shapes Moral Judgment in Multi-Agent Debate

辩论动态与价值对齐在大语言模型辩论中

Pratik S. Sachdeva, Tom van Nuenen

机构 * D-Lab University of California, Berkeley（D-Lab 加州大学伯克利分校） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI

AI总结 研究通过LLM辩论探讨多轮设置中模型的辩论动态与价值对齐，发现不同模型在同步和轮转结构下的行为差异及价值倾向。

Track and Caption Any Motion: Open-Vocabulary Spatiotemporal Captioning via Trajectory-Conditioned Generation

跟踪并描述任何运动：通过轨迹条件生成实现开放词汇时空字幕

Bishoy Galoaa, Sarah Ostadabbas

机构 * Northeastern University（东北大学） 纠错

专题命中 其他安全 ：alignment(abstract)

AI总结 研究提出TCAM框架，无需文本查询和区域提示，通过字幕感知重采样器在点粒度结合跟踪与语言，用现有分割注释训练，能描述视频中运动、定位时间及轨迹，优于密集视频字幕基线，匹配相关方法，为运动驱动视频理解提供新途径。