Lodestar: An Online-Learning LLM Inference Router
Lodestar: 一种在线学习的大语言模型推理路由器
机构 * UIUC(伊利诺伊大学香槟分校) ; Bytedance(字节跳动) ; University of Edinburgh(爱丁堡大学)
AI总结 提出Lodestar,一种基于在线学习的请求路由系统,通过实时收集集群状态并训练奖励预测器,以最小化TTFT为目标分配推理请求,在异构GPU集群上显著降低延迟。
高校专区
Lodestar: 一种在线学习的大语言模型推理路由器
机构 * UIUC(伊利诺伊大学香槟分校) ; Bytedance(字节跳动) ; University of Edinburgh(爱丁堡大学)
AI总结 提出Lodestar,一种基于在线学习的请求路由系统,通过实时收集集群状态并训练奖励预测器,以最小化TTFT为目标分配推理请求,在异构GPU集群上显著降低延迟。
Ryze:从生物医学论文中合成富含证据的数据
机构 * University of Edinburgh(爱丁堡大学)
AI总结 提出 Ryze 系统,自动从生物医学论文中生成包含完整证据结构的训练数据,并训练出领域专用 VLM BioVLM-8B,在 LAB-Bench 上以低于 200 美元成本达到 48.0% 加权准确率。
Comments Accepted at ACL 2026 System Demonstrations Track. 8 pages, 6 figures
MOSAIC:结构化智能体智能与组合的模块化编排
机构 * Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系) ; University College London(伦敦大学学院) ; University of Edinburgh(爱丁堡大学) ; Data & Analytics, Digital X(Digital X 数据与分析部) ; Alan Turing Institute(艾伦·图灵研究所)
AI总结 提出MOSAIC框架,通过结构化智能体编排、记忆驱动的模型选择和蓝图构建,将自动化数据科学转化为可验证、可复用的模型选择问题,在金融时间序列任务中优于AutoML和智能体基线。
TInR:探索大语言模型中的工具内化推理
机构 * The Hong Kong Polytechnic University(香港理工大学) ; Southeast University(东南大学) ; University of Edinburgh(爱丁堡大学) ; Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
AI总结 本文提出TInR-U框架,通过工具内化、监督微调和强化学习三阶段训练,使LLM无需外部文档即可进行工具集成推理,在域内和域外设置中均取得优越性能。
Comments Accepted to ACL 2026
标签表示的余弦相似度能告诉我们什么,不能告诉我们什么
机构 * IT University of Copenhagen(丹麦哥本哈根技术大学) ; School of Mathematics, University of Edinburgh(爱丁堡大学数学学院)
AI总结 本文证明对于softmax分类器,标签表示(称为unembedding)之间的余弦相似度不提供模型概率的任何信息,而对于sigmoid分类器,所有成对余弦相似度定义了可能的标签组合集。