DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
DiscoLoop: 循环离散嵌入与连续隐藏状态用于多跳推理
机构 * University of California, Berkeley(加州大学伯克利分校)
AI总结 针对多跳推理中非循环Transformer的深度局部存储问题,提出DiscoLoop架构,通过循环同时携带离散嵌入和连续隐藏状态,实现近乎完美的泛化,并在符号和合成语言任务中显著减少训练步数。
Comments 16 pages, 7 figures