Princeton University（普林斯顿大学）

Routing Without Training: Controllable-Ratio LLM Offloading via Reliability Gating

无需训练的路由：通过可靠性门控实现可控比例的大语言模型卸载

Evan Chen, Shiqiang Wang, Kevin S Chan, Su Wang, Christopher Brinton

机构 * Purdue University（普渡大学） ； University of Exeter（埃克塞特大学） ； Army Research Laboratory（陆军研究实验室） ； Princeton University（普林斯顿大学） 纠错

AI总结 研究在资源受限下本地-云端协作部署大语言模型的问题，提出无需训练的CARGO路由框架，通过提示多样化采样等方法估计一致性并控制不确定性，在多任务和模型上表现出色，证明可从本地模型内在行为实现有效协作。