语言大模型 / LLM

TI-StegoAlign: Channel-Guided Post-Training for Generative Text Steganography under Tokenization Inconsistency

TI-StegoAlign：面向分词不一致场景的生成式文本隐写的通道导向后训练方法

Jiuan Zhou, Yuhao Xue, Yu Cheng, Yuan Xie, Zhaoxia Yin

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；preference optimization(abstract)

AI总结 TI-StegoAlign是一种仅更新LoRA参数的通道导向后训练框架，通过BCSO和CCPO优化，在分词不一致场景下实现100%接收方比特准确率，同时降低归一化困惑度偏差并提升抗隐写分析性能。

Verbalizable Representations Form a Global Workspace in Language Models

语言模型中的可言语化表征形成全局工作空间

Wes Gurnee, Nicholas Sofroniew, Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson, Jack Lindsey

机构 * Anthropic（A÷） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨语言模型中可言语化表征，用雅可比透镜识别出J空间，其具有全局工作空间功能特性与结构特征，能揭示模型未显思考，发现训练后助手观点在工作空间，引入反事实反思训练，解码表征助于了解认知过程。

Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

停止思考，开始观察：通过无推理对齐实现多模态文档问答的高效训练后优化

Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

专题命中 后训练与偏好优化 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多模态文档问答中高效训练后优化问题，提出感知 - RFT 框架，用组相对策略优化绕过推理令牌直接对齐视觉与基础输出，通过构建变体评估推理必要性，发现启用推理模型有优势，还识别基础差异，表明早期转换可减少训练数据并保持精度。

Comments Accepted at ICML 2026, Workshop on Efficient Multimodal Question Answering (EMM-QA)

Scheduling Mixed RL Rollouts Beyond Prefix Locality

超越前缀局部性的混合强化学习回滚调度

Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对混合RL回滚调度的异构性问题，提出MISA-T策略，在多基准实验中显著提升回滚吞吐量并降低平均轮次时间，同时维持缓存命中率与工作负载混合比例。

MemHarness: Memory Is Reconstructed, Not Replayed

MemHarness：记忆是被重构的，而非被重放的

Rong Wu, Daocheng Fu, Licheng Wen, Xuemeng Yang, Shu Zou, Jianbiao Mei, Yuxin Wang, Hairong Zhang, Yu Yang, Tao Hu, Cong Zhang, Botian Shi, Pinlong Cai

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对现有记忆增强LLM智能体的逐字重放范式缺陷，提出MemHarness框架，通过GRPO训练实现记忆重构，在ALFWorld、WebShop等任务中性能优于基线，提升了智能体推理与分布外鲁棒性。

Comments 20 pages, 13 figures

Emergent Alignment

涌现对齐

Martin Kolář

机构 * CIIRC, Czech Technical University in Prague（捷克理工大学CIIRC） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出一种在线对齐技术，通过引入良心步骤和基于直接偏好优化的对齐损失，使大语言模型在训练、微调、对抗提示和零样本学习中自我纠正非伦理输出。

Comments Rejected from ICML 2026

Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance

多语言情感感知文本摘要：一种用于一致性维护的强化学习方法

Mikhail Krasitskii, Alexander Gelbukh, Olga Kolesnikova, Grigori Sidorov

机构 * Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)（国立理工学院（IPN），计算研究中心（CIC）） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究RLHF摘要中的情感漂移现象，提出基于策略归因框架的情感感知KL正则化方法，在保持摘要质量的同时缓解情感中性化。

What Do People Actually Want From AI? Mapping Preference Plurality

人们真正希望从AI中得到什么？偏好多元性映射

Julia Sepúlveda Coelho, Scott A. Hale

机构 * Oxford Internet Institute, University of Oxford（牛津大学互联网研究所） ； Meedan 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析75个国家1500份开放式回答，发现不同人对AI的期望各异，多数价值观仅被少数人要求，且同一词语（如“真实性”）含义分歧，某些能力存在争议，揭示当前RLHF偏好聚合方法的根本缺陷。

Comments Accepted at the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26)

Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

基于多智能体视角偏好优化的性别歧视检测学习

Hadi Mohammadi, Tina Shahedi, Robert A. Bagheri, Mehdi Dastani, Masoume M. Raeissi

机构 * Utrecht University（乌得勒支大学） ； Wageningen University & Research（瓦赫宁根大学及研究中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对性别歧视检测中标注分歧问题，提出MAP-PO框架，通过聚类标注者并训练对应智能体，结合个体与团队奖励协调智能体，实验验证了聚类训练及团队信号的必要性。

Comments 17 pages, 12 figures, 14 tables. Preprint; under review at EACL 2027 (ACL Rolling Review, August 2026 cycle). Code and data: https://github.com/mohammadi-hadi/MAP-PO

Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

Groc-PO：用于真实多模态大语言模型的基于上下文的偏好优化

Zhixiao Zheng, Zheren Fu, Zhiyuan Yao, Chunxiao Liu, Dongming Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaomi Corporation（小米公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民日报社传播内容认知国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对多模态大语言模型的不真实问题，提出基于上下文的偏好优化框架Groc-PO，构建相关数据集，通过多阶段偏好样本捕捉基础上下文，加强上下文相关推理，减轻跨阶段错误传播，提升模型性能。

Comments Accepted by ACM-MM 2026

Self-Improving Diffusion Classifiers with Minority Preference Optimization

通过少数偏好优化实现自我改进的扩散分类器

Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

机构 * Korea University（韩国大学） ； Kook Min University（国民大学） ； Kyung Hee University（庆熙大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现扩散分类器感知偏向多数区域，提出MiPO方法，利用少数偏好奖励微调预训练扩散模型，无需额外图像数据等，经实验验证可缓解偏差并提升零样本扩散分类性能。

Comments ECCV 2026

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

Cliff Tokens: 识别大语言模型数学推理中的单Token失败触发点

Jaeyong Ko, Pilsung Kang, Yukyung Lee

机构 * Seoul National University（首尔大学） ； Boston University（波士顿大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出“悬崖token”概念，通过自适应阈值和单侧双比例z检验识别导致推理失败的单个token，删除并重采样可恢复pass@64至1.0，并基于贪心选择和token熵建立分类法，通过Cliff-DPO优化提升准确率。

Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training

Spotlight: 协同种子探索与抢占式GPU用于DiT强化学习后训练

Ruiqi Lai, Dakai An, Wei Gao, Ju Huang, Siran Yang, Jiamang Wang, Lin Qu, Dmitrii Ustiugov, Wei Wang

机构 * NTU Singapore（南洋理工大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对DiT强化学习后训练成本高的问题，提出Spotlight系统，通过利用探索对旧权重的容忍性和SP组快速重配置，在抢占式GPU上实现高效训练，加速4倍并降低成本1.4-6.4倍。

Direct Preference Optimization for Chatbot Fine-Tuning: An Empirical Study

面向聊天机器人微调的直接偏好优化：一项实证研究

Dezhi Yu, Yvonne Qiu, ShuoJia Fu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文实证研究直接偏好优化（DPO）在聊天机器人微调中的应用，表明其简化训练流程、提升计算效率且性能有竞争力，但存在训练不稳定性。

Comments 7 pages, 3 figures, 1 table. All authors contributed equally

Optimal Post-Training Quantization Scales and Where to Find Them

最优后训练量化尺度及其寻找方法

Juan Amboage, Pablo Monteagudo-Lago, Ian Colbert, Giuseppe Franco, Nicholas Fraser

机构 * AMD 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出PiSO算法，利用校准数据精确高效地计算逐通道最优量化尺度，并扩展到分组量化，在Llama和Qwen模型上显著提升困惑度和零样本准确率。

SAEExplainer: Interpreting SAE Features with Activation-Guided Preference Optimization

SAEExplainer: 基于激活引导偏好优化的SAE特征解释

Jingyi He, Haiyan Zhao, Ruxue Shi, Yanguang Liu, Xin Wang, Fei Sun, Mengnan Du

机构 * Shanghai Jiao Tong University（上海交通大学） ； NJIT（新泽西理工学院） ； Jilin University（吉林大学） ； Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SAEExplainer框架，利用激活分数作为奖励信号，通过两轮优化迭代自纠正基础解释，减少解释幻觉并增强因果触发模式。

GPT-Red: Automated Red Teaming via Self-Play at Scale

GPT-Red：基于大规模自博弈的自动化红队测试

Eric Wallace, Christopher A. Choquette-Choo, Nikhil Kandpal, Sam Toyer, Dylan Hunn, Stephanie Lin, Yuxin Wen, Xiangyu Qi, Christopher Wolff, Zizhao Wang, Milad Nasr, Sicheng Zhu, Chuan Guo, Juan Felipe Cerón Uribe, Kaiwen Wang, Aiden Low, Kai Xiao, Kai Chen

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出GPT-Red，一种基于大规模自博弈的自动化红队测试智能体，可发现新型提示注入攻击、攻破过往模型且泛化能力强，用于提升LLM鲁棒性并形成自我改进飞轮。

Comments 28 pages.13 main pages and 13 main figures

SPA: A SQL-Plan-Aware Reinforcement Learning Framework for Query Rewriting with LLMs

SPA：一种面向LLM查询重写的SQL计划感知强化学习框架

Xinyi Huang, Zhengjie Miao

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)

AI总结 提出SPA框架，利用物理执行反馈训练LLM重写SQL查询，通过概率门控自适应奖励塑形和策略自改进，显著提升端到端运行时性能并减少有害重写。

From Sweep to Seam: Interleaved Cross-Block Post-Training Quantization

从扫描到缝合：交错跨块后训练量化

Achille Jacquemond, Yuma Ichikawa, Akira Sakai

机构 * Fujitsu Limited（富士通公司） ； RIKEN Center for AIP（理化学研究所先进智能项目中心） ； Tokai University（东海大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型的分块后训练量化，提出交错跨块量化方法，通过重新处理块边界降低量化困惑度，提升了三比特及GPTQ等量化方案的性能。

Comments 34 pages, 1 figure

Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training

控制多样化强化微调：解耦RL后训练的共享控制瓶颈

Binwen Tan, Jingchao Wang, Dengzhe Hou, Lingyu Jiang, Zeyuan Wu, Yunhan Shen, Fangzhou Lin, Kazunori Yamada, Atsushi Koike

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 本研究提出CD-RFT方法，定义后训练控制系数揭示RL后训练的共享控制瓶颈，通过正则化减少控制坍缩，在Qwen2.5-7B等模型上实现控制解耦与多任务能力提升，效果可迁移至Llama-3.2-3B。

GraphThink: Graph-Enhanced LLM Thinking for Long-Horizon Embodied Task Planning

GraphThink：用于长视距具身任务规划的图增强大语言模型思维

Chen Li, Sijie Cheng, Yuelin Zhang, Junxi Li, Maozhi Huang, Yang Liu, Wenbing Huang

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Tsinghua University（清华大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 GraphThink框架结合任务图与场景图，通过上下文提示、迭代优化、GRPO奖励设计及事件驱动重规划，在ALFRED基准上实现最优性能，具强泛化能力。

ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization

ReQuant：用于训练后量化的固定网格离散细化

Yongge Ma, Guoan Wang, Feiyu Wang, Yaoming Li, Qian Zhang, Zihan Yan, Yinjun Han, Tong Yang

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； School of Physics, Peking University（北京大学物理学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Central Research Institute, ZTE Corporation（中兴公司中央研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ReQuant是用于训练后量化（PTQ）的无反向传播固定网格细化方法，可作为即插即用后处理阶段，提升各类PTQ初始化器生成的量化模型性能，在低位宽下增益显著。

Comments 10 pages, 3 figures, 16 tables

Antigen-specific Antibody Multi-modal Foundation Model for Functional Antibody Design

用于功能性抗体设计的抗原特异性抗体多模态基础模型

Xiaoliang Shi, Zichen Wang, Runze Ma, Zhongyue Zhang, Shuangjia Zheng

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 该研究针对抗原特异性抗体设计难题，引入AAMFM多模态基础模型，通过跨模态适配器整合抗原信息，用校准直接偏好优化微调，实现抗体 - 抗原相互作用联合建模，实验证明其在功能性抗体设计中性能最优，有抗原特异性抗体工程潜力。

TD-DPO: Difference-Aware Preference Optimization for Mitigating Sycophancy in Clinical Autism Intervention Dialogue

TD-DPO：用于减轻临床自闭症干预对话中谄媚行为的差异感知偏好优化

Shuzhong Lai, Junhong Lai, Chenxi Li, Qing Zhou, Haifeng Li, Gang Pan, Lin Yao, Yueming Wang

机构 * Nanhu Brain-Computer Interface Institute（南湖脑机接口研究所） ； MOE Frontiers Science Center for Brain and Brain-Machine Integration, Zhejiang University（浙江大学脑与脑机融合教育部前沿科学中心） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Children’s Hospital Zhejiang University School of Medicine（浙江大学医学院附属儿童医院） ； State Key Laboratory of Brain-Machine Intelligence（脑机智能技术国家重点实验室） ； Department of Neurobiology, Affiliated Mental Health Center and Hangzhou Seventh People’s Hospital, Zhejiang University School of Medicine（浙江大学医学院附属精神卫生中心和杭州市第七人民医院神经生物学系） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型在自闭症干预对话中的谄媚问题，提出最小编辑数据增强策略及令牌级差异直接偏好优化方法，通过加权差异令牌、降权共享令牌抑制背景漂移，经实验验证该方法能在减轻谄媚与保留干预能力间达较好平衡。

Comments commited to EMNLP2026

Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

通过多模态基于人类反馈的强化学习偏好对齐实现汉喃手稿到现代越南语的直接图像翻译

Thi Kim Trang Vo, Nghia Hieu Nguyen, Ha Minh Tan

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 针对汉喃手稿到现代越南语翻译的挑战，提出多模态基于人类反馈的强化学习偏好对齐框架，结合四个流生成越南语，比较PPO、DPO和KTO，结果显示各有优劣，且多模态偏好优化能补充监督学习提升翻译质量。

Comments Accepted Paper at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR)

Predictive Divergence Masks for LLM RL

用于大语言模型强化学习的预测性散度掩码

Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

机构 * Tencent Hunyuan（腾讯混元） ； UIUC（伊利诺伊大学厄巴纳 - 香槟分校） ； NUS（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型强化学习中PPO方向标准不足，提出预测性散度掩码，通过判断策略梯度步骤对散度的影响改进训练，针对离散softmax策略推导预测并开发轻量级估计器，提升不同模型规模和精度设置下的强化学习训练效果。

Multi-Objective Exploration and Preference Optimization via Mutual Information

基于互信息的多目标探索与偏好优化

Hongyan Xie, Yikun Ban, Ruiyu Fang, Zixuang Huang, Deqing Wang, Jianxin Li, Shuangyong Song

机构 * School of Computer, Beihang University（北京航空航天大学计算机学院） ； Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（星辰AGI实验室，中国电信人工智能技术（北京）有限公司） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出MI-EPO框架，通过最大化生成响应、偏好反馈和偏好向量的联合条件互信息，统一多目标探索与对齐，实现可控且稳定的多目标权衡。

Comments Accepted at ECML/PKDD 2026

The Value Axis: Language Models Encode Whether They're on the Right Track

价值轴：语言模型编码它们是否在正确的轨道上

Nick Jiang, Isaac Kauvar, Jack Lindsey

机构 * Stanford University（斯坦福大学） ； Anthropic 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 通过构建Qwen3-8B的“价值轴”，发现语言模型内部追踪当前轨迹的成功概率，并影响自信、自我纠正和探索行为。

Comments Code repository: https://github.com/nickjiang2378/value-axis

Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs

分析与改进医学LVLMs中的细粒度偏好优化

Shayan Mohammadizadehsamakosh, Pritam Sarkar, Leonid Sigal, Ali Etemad, Elham Dolatabadi

机构 * York University（约克大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Queen’s University（女王大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 针对医学大视觉语言模型在事实一致性、视觉定位和临床对齐方面的不足，提出一种结合双向令牌级KL正则化和视觉对比定位目标的细粒度在线偏好优化框架，通过最小编辑模型输出构建偏好对，仅修正临床错误片段，显著提升诊断准确性。

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

训练LLM通过重力加权直接偏好优化强制执行多级指令层次结构

Lena S. Bolliger, Lena A. Jäger

机构 * Department of Computational Linguistics, University of Zurich, Switzerland（计算语言学系，苏黎世大学，瑞士） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,abstract_cn)；preference optimization(title)；分类 cs.CL

AI总结 提出重力加权DPO（GW-DPO）方法，通过线性或双边调度加权冲突级别间的结构距离，结合层次分隔符和指令段嵌入，在Llama-3.1-8B-Instruct上提升多级指令优先级遵守率并降低过度拒绝率。