H$^{2}$MT: Semantic Hierarchy-Aware Hierarchical Memory Transformer
H$^{2}$MT: 语义层次感知的层次记忆Transformer
机构 * University of California, Los Angeles(加州大学洛杉矶分校)
专题命中 向量检索 :RAG(abstract,abstract_cn);retrieval-augmented generation(abstract);分类 cs.CL
AI总结 提出H$^{2}$MT模型,通过离线构建语义层次结构并利用自底向上的后序聚合计算记忆嵌入,在推理时实现从粗到细的查询路由,从而在长上下文推理中实现质量与效率的权衡。