University of Pennsylvania（宾夕法尼亚大学）

Privacy-Preserving LLMs Routing

隐私保护的大语言模型路由

Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

机构 * Department of Electrical and Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系） ； Department of Computer Science, University of Maryland（马里兰大学计算机科学系） ； Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系） 纠错

AI总结 本文提出PPRoute框架，通过MPC友好的操作加速编码器推理，维护路由质量，并采用无序Top-k算法降低通信延迟，实现高效隐私保护的大语言模型路由。