Multi-Stream LLMs: Unblocking Language Models with Parallel Streams of Thoughts, Inputs and Outputs
多流语言模型:通过并行思维、输入和输出流解除语言模型瓶颈
机构 * Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) ; Tübingen AI Center(图宾根人工智能中心) ; ETH Zurich(苏黎世联邦理工学院) ; University Hospital Tübingen(图宾根大学医院) ; University of Tübingen(图宾根大学) ; ELLIS Institute Tübingen(图宾根ELLIS研究所)
AI总结 本文提出通过并行计算流替代顺序消息格式,提升语言模型的效率、安全性和可监控性,解决单流计算的局限性。
Comments Preprint, 37 pages. Code at https://github.com/seal-rg/streaming/