NeurIPS

Retrospective In-Context Learning for Temporal Credit Assignment with Large Language Models

回顾上下文学习用于大语言模型中的时间信用分配

Wen-Tse Chen, Jiayu Chen, Fahim Tajwar, Hao Zhu, Xintong Duan, Ruslan Salakhutdinov, Jeff Schneider

机构 * Carnegie Mellon University（卡内基梅隆大学） ； The University of Hong Kong（香港大学） ； Stanford University（斯坦福大学） 纠错

AI总结 本文提出利用大语言模型进行回顾上下文学习，以提高强化学习中时间信用分配的样本效率和泛化能力。

Comments Accepted to NeurIPS 2025

ReplaceMe: Network Simplification via Depth Pruning and Transformer Block Linearization

ReplaceMe: 通过深度剪枝和Transformer块线性化实现网络简化

Dmitriy Shopkhoev, Ammar Ali, Magauiya Zhussip, Valentin Malykh, Stamatios Lefkimmiatis, Nikos Komodakis, Sergey Zagoruyko

机构 * MWS AI, ITMO University（MWS AI，ITMO大学） ； MWS AI ； MWS AI, ITMO University, IITU University（MWS AI，ITMO大学，IITU大学） ； University of Crete, IACM-Forth, Archimedes Athena RC（希腊克里特大学，IACM-第四研究机构，Archimedes Athena RC） 纠错

AI总结 ReplaceMe通过深度剪枝和Transformer块线性化实现高效网络简化，无需额外训练即可实现高达25%的剪枝率并保持90%性能。

Comments This work was accepted and presented at NeurIPS 2025. Code is available at https://github.com/mts-ai/replaceme Reviews at OpenReview: https://openreview.net/forum?id=zEj1FSYCRn NeurIPS 2025 Proceedings: https://openreview.net/pdf?id=zEj1FSYCRn

Capturing Individual Human Preferences with Reward Features

通过奖励特征捕捉个体人类偏好

André Barreto, Vincent Dumoulin, Yiran Mao, Mark Rowland, Nicolas Perez-Nieves, Bobak Shahriari, Yann Dauphin, Doina Precup, Hugo Larochelle

机构 * Google DeepMind（谷歌DeepMind） 纠错

AI总结 通过奖励特征捕捉个体偏好，提出自适应奖励模型架构，展示其在不同用户偏好下的有效性。

Comments Published at NeurIPS 2025

Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

通过基于模型的数据选择增强多语言大语言模型预训练

Bettina Messmer, Vinko Sabolčec, Martin Jaggi

机构 * EPFL（苏黎世联邦理工学院） 纠错

AI总结 本文提出了一种基于模型的数据选择框架，通过提高多语言大语言模型预训练的效果，实现了在较少训练数据下达到基线分数并提升其他基准测试的表现。

Comments NeurIPS 2025 Track on Datasets and Benchmarks