University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

Sharper Bounds for Chebyshev Moment Matching, with Applications

更精确的Chebyshev矩匹配界限及其应用

Cameron Musco, Christopher Musco, Lucas Rosenblatt, Apoorv Vikram Singh

机构 * UMass Amherst（马萨诸塞大学阿姆赫斯特分校） ； New York University（纽约大学） 纠错

AI总结 本文研究了在存在噪声测量的情况下，通过Chebyshev多项式矩来近似恢复概率分布的问题。通过利用Lipschitz函数Chebyshev展开系数的全局衰减界，作者证明了在比之前已知的更多的噪声情况下，可以在Wasserstein距离中实现精确的恢复。该结果立即应用于多个领域：1）提供了一个简单的“线性查询”算法，用于构造具有Wasserstein-1误差为~O(1/n)的差分隐私合成数据分布；2）给出了一个~O(n²/ε)时间的算法，用于估计对称矩阵的谱密度，误差在Wasserstein距离内为ε；3）改进了Vinayak等人在ICML 2019上对“学习参数群体”统计问题最大似然估计器的分析，扩展了可以获得样本最优结果的参数范围。此外，作者还扩展了该界到d>1维分布的估计。

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches

并非所有标记都值得缓存：学习语义感知的淘汰策略用于LLM前缀缓存

Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu

机构 * Peking University（北京大学） ； FirestAI ； Tsinghua University（清华大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Southeast University（东南大学） 纠错

AI总结 本文提出了一种语义感知的前缀缓存淘汰策略SAECache，通过多队列架构、语义感知的标记加权机制和全适应的在线学习方案，提高了LLM服务中前缀缓存的效率，从而在不同工作负载下实现了显著的TTFT提升。