New York University（纽约大学）

One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

单个冻结模拟器不够：多智能体强化学习中的模拟器崩溃问题

Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi

机构 * Northeastern University（东北大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） 纠错

AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷，提出Verbalized Sampling和Co-Training两种方案，在多轮基准测试和真实用户研究中显著提升了性能，发布了开源框架SCOPE。

Comments 41 pages, 28 figures

Small-Scale Experiments: Are We There Yet?

小规模实验：我们达到目标了吗？

Nicholas Lourie, Kyunghyun Cho, Karen Ullrich, Sanae Lotfi

机构 * FAIR at MSL Meta ； New York University（纽约大学） 纠错

AI总结 该研究指出小规模模型对超参数的敏感性是缩放定律在小规模实验中失效的关键，开发了以模型为中心的研究方法论，通过小规模实验证实Transformer中预归一化随模型规模增大效果更好，表明小规模实验可兑现缩放定律的承诺。

Comments 29 pages, 17 figures

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

面向分布外泛化的、受Epiplexity引导的数据选择与生成

Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

机构 * New York University（纽约大学） 纠错

AI总结 该研究提出以Epiplexity为引导，通过数据选择与合成数据生成提升模型分布外泛化能力，实验显示更高Epiplexity可改善零样本及微调任务的下游性能。

Comments Code available for EpiSelect (https://github.com/eysu35/EpiSelect) and EpiGen (https://github.com/eysu35/EpiGen)

Dion3: Full-Stack Orthogonal Updates

Dion3：全栈正交更新

Noah Amsel, Jack Zhang, Kwangjun Ahn, Ali Naeimi, Austin Feng, Berlin Chen, Tri Dao, John Langford

机构 * Microsoft Research（微软研究院） ； New York University（纽约大学） ； Princeton University（普林斯顿大学） ； NVIDIA（英伟达） ； Yale University（耶鲁大学） 纠错

AI总结 Dion3是针对Muon优化器开销的改进版本，通过全栈优化降低了正交化、通信等开销，步长时间最多降6倍，可作为Muon的即插即用替代方案。

Comments 37 pages, 23 figures