SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification
SonicSampler：用于语言模型采样和推测性验证的统一瓦片感知内核
机构 * Together AI
AI总结 研究针对语言模型推理采样中现有实现的局限，提出SonicSampler，它是统一的瓦片感知Triton内核套件，垂直融合采样流水线。核心方法是分层两阶段top-k算法，在异构推测性解码工作负载中比基线快达16倍，保持灵活批处理执行。
Comments 26 pages, 12 figures
