语言大模型 / LLM

SFT-GRPO Data Overlap as a Post-Training Hyperparameter for Autoformalization

SFT-GRPO数据重叠作为自动形式化后的训练超参数

Xiaole Su, Kasey Zhang, Andy Lyu

机构 * Osmosis AI 纠错

专题命中 后训练与偏好优化 ：SFT(title,title_cn)；post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究探讨SFT-GRPO数据重叠对自动形式化性能的影响，发现数据不重叠能提升编译和语义准确性，验证了数据共享程度对模型表现的重要性。

An Engineering Journey Training Large Language Models at Scale on Alps: The Apertus Experience

在Alps上规模化训练大型语言模型的工程之旅：Apertus经验

Jonathan Coles, Stefano Schuppli, Lukas Drescher, Fawzi Roberto Mohamed, Elia Palme, Henrique Mendonça, Miguel Gila, Mark Klein, Maxime Martinasso, Joost VandeVondele, Torsten Hoefler, Thomas Schulthess, Josh Romero, Igor Gorodetsky, Ryan Hankins, Isa Wazirzada, Martin Jaggi, Antoine Bosselut, Imanol Schlag, Antoni-Joan Solergibert i Llaquet, Alejandro Hernández Cano, Theofilos Ioannis Manitaras, Nicholas John Browning

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；post-training(abstract)

AI总结 本文描述了在Alps超级计算机上训练完全开源多语言基础模型Apertus的工程过程，克服了存储瓶颈和大规模互连稳定等挑战，为公共机构提供了可持续的AI训练平台。

English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training

英语并非一切所需：系统探索多语言在大语言模型后训练中的作用

Mehak Dhaliwal, Shashwat Chaurasia, Yao Qin, Dezhi Hong, Thomas Butler

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究通过220次监督微调实验，探讨训练语言覆盖、模型规模和任务领域间的相互作用，发现增加后训练语言覆盖对各任务和模型规模均有益，低资源语言受益最大，高资源语言趋于稳定。单语种多语言性可提升英语表现和跨语言泛化，英语独占后训练效果不佳。

Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models

别让视频说话：面向音频-视觉语言模型的音频对比偏好优化

Ami Baid, Zihui Xue, Kristen Grauman

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(title,abstract)

AI总结 本文提出ACPO方法，通过引入输出对比和输入对比目标，解决音频-视觉语言模型中视频驱动的音频幻觉问题，提升音频真实性和多模态能力。

Comments Project page: https://vision.cs.utexas.edu/projects/acpo/

SPG: Sandwiched Policy Gradient for Masked Diffusion Language Models

SPG：用于遮蔽扩散语言模型的夹心策略梯度

Chenyu Wang, Paria Rashidinejad, DiJia Su, Song Jiang, Sid Wang, Siyan Zhao, Cai Zhou, Shannon Zejiang Shen, Feiyu Chen, Tommi Jaakkola, Yuandong Tian, Bo Liu

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； MIT（麻省理工学院） ； USC（南加州大学） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SPG策略梯度方法，通过同时利用真实对数似然的上下界，解决扩散大语言模型在强化学习中对齐人类偏好或任务奖励的难题，实验显示其在多个任务中表现优异。

Comments ICLR 2026

Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges

大模型时代的奖励黑客：机制、涌现偏差、挑战

Xiaohua Wang, Muzhao Tian, Yuqi Zeng, Zisu Huang, Jiakang Yuan, Bowen Chen, Jingwen Xu, Mingbo Zhou, Wenhao Liu, Muling Wu, Zhengkang Guo, Qi Qian, Yifei Wang, Feiran Zhang, Ruicheng Yin, Shihan Dou, Changze Lv, Tao Chen, Kaitao Song, Xu Tan, Tao Gui, Xiaoqing Zheng, Xuanjing Huang

机构 * Fudan NLP Group（复旦大学NLP小组） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨大模型中奖励黑客的机制与挑战，提出代理压缩假说框架，分析优化过程中的表现偏差和对抗性行为，提出检测与缓解策略。

Comments 42 pages, 5 figures, 2 tables

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

通过事实性感知偏好学习减少大语言模型的幻觉

Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； University of Cincinnati（辛辛那提大学） ； University of Calgary（卡尔加里大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出F-DPO方法，通过二元事实性标签和标签翻转变换提升模型事实性，减少幻觉。在七种大模型上验证效果，Qwen3-8B幻觉率降低5倍，事实性得分提升50%。

Debate to Align: Reliable Entity Alignment through Two-Stage Multi-Agent Debate

辩论以对齐：通过双阶段多智能体辩论实现可靠的实体对齐

Cunda Wang, Ziying Ma, Po Hu, Weihua Wang, Feilong Bao

机构 * Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning, Central China Normal University, Wuhan, China（湖北人工智能与智能学习省级重点实验室，中央财经大学，武汉，中国） ； School of Computer Science, Central China Normal University, Wuhan, China（中央财经大学计算机科学学院，武汉，中国） ； National Language Resources Monitoring and Research Center for Network Media, Central China Normal University, Wuhan, China（网络媒体语言资源监测与研究中心，中央财经大学，武汉，中国） ； College of Computer Science, Inner Mongolia University, Hohhot, China（内蒙古大学计算机学院，呼和浩特，中国） ； National and Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian, Inner Mongolia University, Hohhot, China（蒙古语智能信息处理技术国家与地方联合工程研究中心，内蒙古大学，呼和浩特，中国） ； Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology, Inner Mongolia University, Hohhot, China（内蒙古多语言人工智能技术重点实验室，内蒙古大学，呼和浩特，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出AgentEA框架，通过双阶段多角色辩论机制提升实体对齐的可靠性，实验表明其在跨语言、稀疏、大规模和异构场景下均有效。

Alignment as Institutional Design: From Behavioral Correction to Transaction Structure in Intelligent Systems

对齐作为制度设计：从行为修正到智能系统中的交易结构

Rui Chai

机构 * Shanghai Sanda University（上海沙达大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出将AI对齐视为制度设计，通过内部交易结构使对齐行为成为各组件的低成本策略，将对齐问题转化为政治经济学问题。

Comments This is Paper 5 in a 10-paper series on Super-Alignment via Wuxing Institutional Architecture. It shifts alignment from external behavioral correction to internal institutional design, making aligned behavior the lowest-cost equilibrium

Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation

通过联合解码实现知识整合的检索增强生成

Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Yuxi Zhang, Huimin Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Kam-Fai Wong, Xian Wu

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of International Relations（国际关系大学） ； Tencent Jarvis Lab（腾讯Jarvis实验室） ； Westlake University（西湖大学） ； Ministry of Education Key Laboratory of High Confidence Software Technologies, CUHK（教育部高可信软件技术重点实验室，香港中文大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出GuarantRAG框架，通过分离推理与证据整合，提升检索增强生成的准确性和事实性，实验显示在五个问答基准上准确率提升12.1%，幻觉减少16.3%。