Korea Advanced Institute of Science and Technology（韩国科学技术院）

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

数据受限的语言模型预训练：改进的正则化与缩放定律

Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

机构 * University of Michigan（密歇根大学） ； KAIST AI（韩国科学技术院人工智能研究所） 纠错

AI总结 研究数据受限下语言模型预训练的正则化与缩放，提出掩码输入正则化（MIR）改善验证损失，并设计SoftQ缩放定律更准确拟合重复数据下的模型与数据规模交互。

Scaling Self-Supervised Speech Models Uncovers Deep Linguistic Relationships: Evidence from the Pacific Cluster

扩展自监督语音模型揭示深层语言关系：来自太平洋集群的证据

Minu Kim, Hoirin Kim, David R. Mortensen

机构 * School of Electrical Engineering, KAIST, Republic of Korea（韩国成均馆大学电气工程学院） ； Thomas Lord Department of Computer Science, University of Southern California, USA（美国南加州大学计算机科学系） ； Language Technologies Institute, Carnegie Mellon University, USA（美国卡内基梅隆大学语言技术研究所） 纠错

AI总结 通过将自监督语音模型的语言识别系统从126种扩展到4017种语言，发现系统在4K规模下发生质变，揭示出太平洋地区基因无关语言的宏观集群，表明大规模模型能内化多层语言历史。

Comments Accepted to Interspeech 2026