语言大模型 / LLM

Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training

Rollplex：面向视觉语言模型后训练的跨阶段GPU空间共享

Hanfeng Lu, Tianyu Feng, Suyi Li, Yuheng Zhao, Wei Gao, Shaopan Xiong, Ju Huang, Siran Yang, Jiamang Wang, Lin Qu, Wei Wang

机构 * HKUST（香港科技大学） ； Alibaba Inc（阿里巴巴公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 Rollplex是一种跨阶段GPU空间共享运行时，通过解耦RL后训练的参考与训练阶段、优化内存与并行度，提升VLMs后训练的GPU利用率与训练速度。

Comments 16 pages, 10 figures

APTER: Adaptive Post-Training with Expert-Grounded Rubrics

APTER：基于专家准则的自适应后训练

Xukai Wang, Liangqi Li, Zhiyue Xu, Jingang Zhou, Xiaoyu Shi, Jiansheng Cai, Bo Zhang, Zhe Li, Xu-Yao Zhang

机构 * Ant Digital Technologies, Ant Group（蚂蚁集团数字科技） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 APTER是将结构化领域知识融入专业复杂推理评估、优化与诊断的框架，通过专家准则生成查询级准则并用于自适应后训练，在数学、医学领域三代模型上均实现性能提升。

From Recovery to Drop-off: How Action Post-training Reduces a VLM's Late-Layer Depth Decodability

从恢复到骤降：动作后训练如何降低视觉语言模型的深层解码能力

Alexander Hackett, Arnaud Denis-Remillard, Axel Cassou

机构 * New York University（纽约大学） ； Reflex ； Université de Montréal（蒙特利尔大学） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究探究动作后训练对VLM空间理解的影响，发现VLA存在深层解码能力的“基底”差距与“悬崖”骤降，定位其源于深层MLP干扰，消融该模块可恢复多数解码性能。

Comments Accepted to the archival proceedings track of the Embodied Multimodal Reasoning (EMR) Workshop at ECCV 2026

RL-Index: Reinforcement Learning for Retrieval Index Reasoning

RL-Index：用于检索索引推理的强化学习

Yongjia Lei, Nedim Lipka, Zhisheng Qi, Utkarsh Sahu, Yuchen Zhuang, Wenqi Shi, Koustava Goswami, Franck Dernoncourt, Ryan A. Rossi, Yu Wang

机构 * University of Oregon（俄勒冈大学） ； Adobe Research（Adobe研究） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出RL-Index框架，将检索索引推理转化为强化学习问题，通过LLM生成理由增强文档，使用GRPO优化，提升检索和问答性能并降低在线延迟。

Bridging Network Fragmentation: A Semantic-Augmented DRL Framework for UAV-aided VANETs

弥合网络碎片化：一种语义增强的深度强化学习框架用于无人机辅助的VANETs

Gaoxiang Cao, Wenke Yuan, Huasen He, Yunpeng Hou, Xiaofeng Jiang, Shuangwu Chen, Jian Yang

机构 * Department of Automation, University of Science & Technology of China（中国科学技术大学自动化系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出语义增强深度强化学习框架，通过语义推理优化无人机在VANETs中的部署，提升网络连通性与效率。

Comments Revised version. This update includes substantial improvements to the methodology, ablation studies, temporal robustness analysis, and cross-city generalization experiments. Submitted to IEEE Transactions on Cognitive Communications and Networking. 15 pages, 14 figures

Debiasing Text-to-Image Evaluation via Implicit Cultural Alignment Reward Modeling

通过隐式文化对齐奖励建模消除文本到图像评估中的偏差

Bo-An Chang, Yu-Chih Chen

机构 * National Tsing Hua University（国立清华大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 研究文本到图像评估中文化真实性问题，提出基于轻量级多模态大语言模型构建的隐式文化对齐奖励模型，集成隐式文化探测器与跳跃连接交叉注意力机制，实验证明该模型准确率高、速度快，能为偏好优化管道提供有效信号。

Comments 16 pages, 2 figures, ECCV 2026 Workshop FAILED

Improving Generalization Robustness of Multimodal RLVR

提升多模态RLVR的泛化鲁棒性

Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） ； University of California Berkeley（加州大学伯克利分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Renmin University of China（中国人民大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 针对多模态RLVR泛化鲁棒性不足的问题，提出含动态三元奖励与一致性正则化器的PIRL方法，压力测试与动态评估中其性能下降幅度均小于GRPO。

Comments 32 pages, 5 figures

RobustFlow: Towards Robust Agentic Workflow Generation

RobustFlow：面向鲁棒智能体工作流生成

Shengxiang Xu, Jiayi Zhang, Shimin Di, Yuyu Luo, Liang Yao, Hanmo Liu, Jia Zhu, Min-Ling Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对现有智能体工作流生成方法对语义等价不同表述指令鲁棒性不足的问题，提出RobustFlow系统，结合偏好优化与专用基准，在多扰动下鲁棒性得分70%--90%，优于AFlow、ScoreFlow等方法。

BICPO-VLA: Behavior-Identified Continuation Preference Optimization for Smooth Asynchronous Vision-Language-Action Control

BICPO-VLA：用于平滑异步视觉-语言-动作控制的行为识别延续偏好优化

Ming Shang, Yuchen Huang, Jiaoyang Chen, Haoyuan Hu, Han Yu, Liping Song, Luyun Feng, Shuo Bao, Wei Dong, Xinzhou Wang, Fuchun Sun

专题命中 后训练与偏好优化 ：preference optimization(title)

AI总结 BICPO-VLA针对异步视觉-语言-动作控制的请求交接间隙问题，通过行为识别、动作分解重建、参考相对Flow-DPO优化，实现平滑控制。

Comments 9 pages,4 figures

Bootstrapping Niche Multilingual Code Translation via Reinforcement Learning with Execution-Based Verifiable Supervision

基于执行可验证监督的强化学习引导小众多语言代码翻译

Kouki Yuki, Jie Zeng, Kyoko Ogawa, Ryunosuke Ikeda, Yohei Kobashi, Takeshi Kojima, Ikuya Yamada, Yusuke Iwasawa, Yutaka Matsuo

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究针对多语言代码翻译中热门语言外场景并行监督稀缺、翻译不可执行的问题，提出基于执行监督的偏好强化学习方法，引入HumanEval-X++基准，用Qwen模型验证了方法的有效性。

Comments 11 pages, 3 figures, 5 tables. Preprint under review

GRPO Beyond English: A Large-Scale Study of GRPO in Non-English and Multilingual Settings

超越英语的GRPO：非英语与多语言场景下GRPO的大规模研究

Konstantin Dobler, Federico Scozzafava, Jonathan Janke, Mohamed Ali, Simon Lehnerer

机构 * Apple（苹果公司） ； Hasso Plattner Institute（哈索·普拉特纳研究所） ； ELLIS Unit Potsdam（波茨坦ELLIS单元） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对非英语及多语言场景开展GRPO大规模实证，发现母语训练推理与英语训练差距小、存在跨语言迁移但趋势依赖模型语言，指出非英语RLVR有跨语言增益但需全面评估退化问题。

Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View

为扩散模型设计强化学习：统一的路径空间视角

Yixian Xu, Yuanrui Zhang, Shengjie Luo, Liwei Wang, Di He

机构 * State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； ByteDance（字节跳动） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文从路径空间视角统一了扩散模型RL算法的原理，推导得到降方差值梯度形式，提出多样本KDE估计器和尺度受限权重族，在SD3.5-M等模型上验证了方法有效性并优于基线。

Comments 29 pages, 9 figures, 4 tables; work in progress

Hi-Token: Hierarchical Coordinate Tokenization for Generative Visual Grounding

Hi-Token：用于生成式视觉定位的分层坐标分词

Xiuyuan Zhu, Ke Lu, Kun Dong, Siwen Jiao, Hao Wu, Zijin Du, Shun Mao, Dongming Zhang, Jian Xue

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 该研究提出Hi-Token分层坐标分词方法，结合基于几何的Hi-GAR奖励，在生成式视觉定位任务中提升了多模型多基准的定位性能，优于强专用基线。

Comments 15 pages, 7 figures, 15 tables