TensorCast: The Missing Tensor Management Layer in Large Language Model Infrastructure
TensorCast:大语言模型基础设施中缺失的张量管理层
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(title);language model(title)
AI总结 该研究针对LLM基础设施中张量管理策略复用受阻的问题,提出TensorCast分布式张量管理层,将张量状态管理与计算逻辑解耦,在保持性能的同时提升多轮智能体工作负载的TTFT达93.2%。