Online LLM Selection via Constrained Bandits with Time-Varying Demand
基于时变需求的约束赌博机在线LLM选择
机构 * Department of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程系） ； Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）
AI总结 针对边缘云推理系统中异构LLM的选择问题，提出一种基于置信界估计和需求预测的在线学习算法，在硬预算和软延迟约束下实现亚线性遗憾和约束违反。
Comments 11 pages, 3 figures with multiple subfigures, 1 table, submitted for possible journal publication
