VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference
VecAttention: 向量级稀疏注意力用于加速长上下文推理
机构 * SCS, Peking University(北京大学计算机科学技术学院) ; Key Lab of HCST (PKU), MOE(高可信软件技术教育部重点实验室(北京大学)) ; Fudan University(复旦大学) ; Alibaba Group(阿里巴巴集团) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 视频理解 :video understanding(abstract);分类 cs.CV
AI总结 本文提出VecAttention,一种向量级稀疏注意力框架,通过动态选择信息向量提升视频模型的精度与效率,实测在视频理解和生成任务中比全注意力快2.65倍,比现有稀疏注意力方法快1.83倍且精度相当。
Comments Accepted at CVPR 2026