Training, Reading, and Editing Legible Transformers
训练、读取和编辑清晰可读的Transformer
机构 * University of Washington(华盛顿大学) ; School of Computer Science and Engineering(计算机科学与工程学院)
AI总结 研究如何让Transformer清晰可读,提出用通道方差下限等方法,构建出最清晰可读的Transformer,使单元能分离检测与命名,编辑更局部,还揭示清晰度调节旋钮,质量与传统基线相当。