New York University（纽约大学）

Beyond Language Modeling: An Exploration of Multimodal Pretraining

超越语言模型：多模态预训练的探索

Shengbang Tong, David Fan, John Nguyen, Ellis Brown, Gaoyue Zhou, Shengyi Qian, Boyang Zheng, Théophane Vallaeys, Junlin Han, Rob Fergus, Naila Murray, Marjan Ghazvininejad, Mike Lewis, Nicolas Ballas, Amir Bar, Michael Rabbat, Jakob Verbeek, Luke Zettlemoyer, Koustuv Sinha, Yann LeCun, Saining Xie

机构 * FAIR, Meta（FAIR、Meta） ； New York University（纽约大学） 纠错

AI总结 本文通过多模态预训练探索，揭示了视觉与语言数据的互补性及统一预训练对世界建模的促进作用，并提出MoE架构解决多模态扩展的不对称性问题。

Comments Project website at https://beyond-llms.github.io/

GPUTOK: GPU Accelerated Byte Level BPE Tokenization

GPUTOK: 基于GPU的字节级BPE分词

Venu Gopal Kadamba, Kanishkha Jaisankar

机构 * New York University（纽约大学） 纠错

AI总结 GPUTOK提出基于GPU的字节级BPE分词器，通过优化算法和内存管理，显著提升分词速度，同时保持输出质量，适用于长上下文推理任务。

Learning to Pay Attention: Unsupervised Modeling of Attentive and Inattentive Respondents in Survey Data

学习如何关注：在调查数据中无监督建模注意力集中与不集中受访者

Ilias Triantafyllopoulos, Panos Ipeirotis

机构 * Stern School of Business, New York University（纽约大学斯特恩商学院） 纠错

AI总结 本文提出了一种无监督框架，通过几何重建和概率依赖建模检测调查数据中的不集中受访者，揭示心理测量与机器学习的对齐关系。

Lightweight Transformer for EEG Classification via Balanced Signed Graph Algorithm Unrolling

基于平衡符号图展开的轻量级变换器用于EEG分类

Junyi Yao, Parham Eftekhar, Gene Cheung, Xujin Chris Liu, Yao Wang, Wei Hu

机构 * Peking University（北京大学） ； York University（约克大学） ； New York University（纽约大学） 纠错

AI总结 本文提出基于平衡符号图展开的轻量级变换器，用于高效分类EEG信号，通过频谱去噪算法实现低通滤波，减少参数量同时保持分类性能。

Comments Accepted by ICLR2026, 10 pages, 2 figures

Diverging Preferences: When do Annotators Disagree and do Models Know?

分歧偏好：标注者何时分歧以及模型是否知道？

Michael JQ Zhang, Zhilin Wang, Jena D. Hwang, Yi Dong, Olivier Delalleau, Yejin Choi, Eunsol Choi, Xiang Ren, Valentina Pyatkin

机构 * New York University（纽约大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） ； NVIDIA（NVIDIA公司） ； University of Washington（华盛顿大学） ； University of Southern California（南加州大学） 纠错

AI总结 本文研究了标注者分歧的来源，发现任务不明确等因素导致大多数分歧，并提出方法以减轻其在LLM评估和训练中的影响。

Comments ICML 2025