Columbia University（哥伦比亚大学）

Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers

Muon训练的Transformer中表示-读出接口的后顿悟崩溃

Ali Janati, Kaoutar El Maghraoui, Andrei Kanavalau, Anass Belfatmi

机构 * Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所） ； Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） ； CentraleSupélec（中央高等电力学院） 纠错

AI总结 该研究发现Muon训练的Transformer在模块化加法等任务中，顿悟后会因表示-读出接口故障丧失泛化性，冻结嵌入/读出可避免，傅里叶滤波能分离故障与掩码，任务对齐族可恢复性能。

Comments 34 pages, 6 figures, 20 tables. Full technical version; a condensed 9-page version is currently under review. Code: https://github.com/Na00s/muon-grokking

NTDH: Complex Reasoning for Comprehensive Affective Analysis

NTDH：用于综合情感分析的复杂推理

Tianlei Zhu, Zhiwei Liu, Yuyan Wang, Xiao-Yang Liu, Sophia Ananiadou

机构 * Columbia University（哥伦比亚大学） ； The University of Manchester（曼彻斯特大学） 纠错

AI总结 针对综合情感分析的挑战，提出NTDH方法，通过自然化、感知容差门等策略，在少数据量下提升性能，获最优EI-reg结果。

Comments 16 pages, 3 figures, 9 tables