SinkRouter: Sink-Aware Routing for Efficient Long-Context Decoding in Large Language and Multimodal Models
SinkRouter: 为大语言和多模态模型高效长上下文解码的感知路由
机构 * Harbin Institute of Technology (Weihai)(哈尔滨工业大学(威海)) ; University of Hong Kong(香港大学) ; City University of Hong Kong(城市大学)
专题命中 其他多模态 :multimodal(title,abstract);分类 cs.AI
AI总结 本文提出SinkRouter,通过感知路由机制提升长上下文解码效率,减少计算冗余,实现在512K上下文下的2.03倍加速,保持高精度。