Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors
前馈层中的显式模糊逻辑:自遗忘量词发现可读的语法许可检测器
机构 * University of Washington(华盛顿大学)
AI总结 提出参数中性的显式模糊逻辑前馈层(NC-FFN),通过交集和集差操作实现逻辑推理,在125M参数语言模型上达到与GELU基线相当的困惑度,并通过自遗忘量词使前馈层可解释为语法许可检测器。