视频大模型

VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference

VecAttention: 向量级稀疏注意力用于加速长上下文推理

Anmin Liu, Ruixuan Yang, Huiqiang Jiang, Bin Lin, Minmin Sun, Yong Li, Chen Zhang, Tao Xie

机构 * SCS, Peking University（北京大学计算机科学技术学院） ； Key Lab of HCST (PKU), MOE（高可信软件技术教育部重点实验室（北京大学）） ； Fudan University（复旦大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出VecAttention，一种向量级稀疏注意力框架，通过动态选择信息向量提升视频模型的精度与效率，实测在视频理解和生成任务中比全注意力快2.65倍，比现有稀疏注意力方法快1.83倍且精度相当。

Comments Accepted at CVPR 2026