Towards Tight Bounds for Streaming Attention
流式注意力机制的紧界
机构 * MIT(麻省理工学院) ; EPFL(苏黎世联邦理工学院)
AI总结 本文通过核密度估计的三种方法(差异理论、多项式方法和空间划分)的紧密结合,几乎确定了流式注意力近似问题的空间复杂度紧界,并引入带大量辅助信息的INDEX问题新下界技术。
高校专区
流式注意力机制的紧界
机构 * MIT(麻省理工学院) ; EPFL(苏黎世联邦理工学院)
AI总结 本文通过核密度估计的三种方法(差异理论、多项式方法和空间划分)的紧密结合,几乎确定了流式注意力近似问题的空间复杂度紧界,并引入带大量辅助信息的INDEX问题新下界技术。
动态图的测地线用于状态转换检测
机构 * LTS4, EPFL(EPFL拉沃德实验室) ; Cyber-Defence Campus, Armasuisse(阿玛苏斯网络防御校区)
AI总结 提出将动态网络中的状态定义为时间图沿测地线的轨迹,通过图回归方法测量观测图与测地线的累积距离,结合变点检测算法识别状态转换,在合成和真实数据上优于现有方法。
OffQ:通过偏移驯服LLM量化中的结构化异常值
机构 * School of Computer and Communication Sciences, EPFL, Switzerland(瑞士联邦理工学院计算机与通信科学学院) ; Huawei, Switzerland(华为公司) ; Swiss Data Science Center, ETHZ & EPFL, Switzerland(瑞士数据科学中心,苏黎世联邦理工学院与联邦理工学院)
AI总结 提出OffQ方法,通过top-1 PCA识别异常值子空间、旋转集中异常值通道并转换为共享偏移,实现LLM的低比特均匀量化,在W4A4KV4下提升精度。
基于图信息流匹配的时空插补
机构 * EPFL(苏黎世联邦理工学院)
AI总结 提出GiFlow框架,利用图信息先验和混合向量场模型进行时空插补,优于现有方法。
Comments Accepted at ICML 2026