Is More Data Worth the Cost? Dataset Scaling Laws in a Tiny Attention-Only Decoder
更多数据值得付出成本吗?在极小注意力解码器中的数据集扩展定律
机构 * Institute of Computer Science, University of St. Gallen(圣加仑大学计算机科学研究所) ; Institute of Computer Science in Vorarlberg, University of St. Gallen(圣加仑大学福拉尔贝格计算机科学研究所)
AI总结 本文通过极小注意力解码器研究数据集规模扩展定律,发现数据量增加带来性能提升但存在边际效益递减,为数据与计算成本平衡提供指导。
Comments Presented as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil. Published at 13th IEEE Swiss Conference on Data Science and AI (SDS 2026)