OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling
OctoLong:跨仓库代码上下文的训练中优化增强长上下文建模
专题命中 仓库级理解 :repository(title,abstract);分类 cs.SE、cs.AI、cs.LG
AI总结 该研究提出OctoLong流水线,通过跨仓库代码上下文的训练中优化,训练出OctoLong-Instruct长上下文开源LMs,用其替代12%传统语料库可显著提升长上下文相关任务性能及短场景API使用能力。