语言大模型 / LLM

Multimodal Integrated Knowledge Transfer to Large Language Models through Preference Optimization with Biomedical Applications

通过偏好优化整合多模态知识以增强大语言模型的多模态知识转移（生物医学应用）

Zhanliang Wang, Da Wu, Quan Nguyen, Zhuoran Xu, Kai Wang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 MINT通过偏好优化整合多模态知识，提升大语言模型在生物医学任务中的表现，特别是在罕见遗传疾病预测和组织类型分类中取得显著成效。

DRIFTLENS: Measuring Memory-Induced Reasoning Drift in Personalized Language Models

DRIFTLENS: 测量个性化语言模型中记忆引发的推理漂移

Xi Fang, Weijie Xu, Yingqiang Ge, Yuhui Xu, Stephanie Eckman, Chandan K. Reddy

机构 * Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；LLM(abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 提出DRIFTLENS框架，通过将推理步骤映射到价值类别并比较有无用户属性记忆的轨迹，量化个性化语言模型中的推理漂移，发现记忆会引发中等至大的推理变化，且现有后训练方法仅部分缓解。

Comments 10 pages, 5 figures

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

小语言和视觉语言模型网络智能体中GRPO的学习率门控失败：一个可控的无效结果及其机制

Chengguang Gan, Zhixi Cai, Yunhao Liang, Hanjun Wei, Shiwen Ni, Qinghao Zhang

机构 * Monash University（莫纳什大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Pusan National University（釜山国立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究4B到8B规模小语言和视觉语言模型网络智能体中GRPO的效果，通过控制变量实验发现其在已掌握任务上无明显提升，解释了学习率导致失败的机制，表明该耦合与模型规模相关。

Post-Training in End-to-End Autonomous Driving

端到端自动驾驶中的训练后处理

Ruining Yang, Muxing Wang, Yixiao Chen, Tongfei Guo, Yi Xu, Can Cui, Zichong Yang, Yitian Zhang, Ziran Wang, Yun Fu, Lili Su

机构 * Northeastern University（东北大学） ； Purdue University（普渡大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。

Rethinking Reward Models for Multi-Domain Test-Time Scaling

重新思考多领域测试时扩展的奖励模型

Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

机构 * KAIST（韩国科学技术院） ； Microsoft Research Asia（微软亚洲研究院） ； TH Nürnberg 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多领域测试时扩展的奖励模型，对四种奖励模型变体进行统一评估，发现dORM与dPRM相当，gPRM无竞争力，gORM最稳健，挑战细粒度监督更好的假设，支持生成式结果验证并公开代码。

Z-Reward: Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions

超越标量奖励：将推理内化到分数分布中

Xin Jin, Huanqia Cai, Zhen Li, Zechao Zhan, Dengyang Jiang, Aiming Hao, Yuming Jiang, Xiangpeng Yang, Chunle Guo, Peng Gao, Ming-Ming Cheng, Steven C. H. Hoi

机构 * Alibaba Group（阿里巴巴集团） ； Nankai University（南开大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出Z-Reward框架，通过教师-学生模型将推理型奖励内化为紧凑VLM的分数分布，实现高效且准确的文本到图像优化。

Comments Z-Image Team Technical Report. Project page: https://srameo.github.io/projects/z-reward/