Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE
Jet-Long:使用动态双焦点旋转位置编码的高效长上下文扩展
机构 * NVIDIA(英伟达)
专题命中 长文档RAG :retrieval-augmented generation(abstract);RAG(abstract);分类 cs.AI
AI总结 研究针对现代语言模型长上下文应用中零样本上下文扩展问题,提出Jet-Long方法,通过动态双焦点RoPE及相关技术,在推理时开销小,在多种模型和基准测试中表现优异,还能推广到其他架构且超参数弹性强。
Comments added discussion of AdaGroPE and LaMPE (Findings of ACL 2026) with clarified contribution