语言大模型 / LLM

AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization

AAAC: 面向4位LLM权重量化的激活感知自适应码本

Beshr IslamBouli, David Jin

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出AAAC方法，通过每层两个小型学习码本（64字节）替代固定标量码本，以激活加权重建误差最小化选择码本，实现零额外存储开销的4位权重量化，在3-30分钟内完成量化，精度优于现有方法。

Large Language Models Explore by Latent Distilling

通过潜在蒸馏探索大语言模型

Yuanhao Zeng, Ao Lu, Lufei Li, Zheng Zhang, Yexin Li, Kan Ren

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China（人工智能通用基础理论国家重点实验室，BIGAI，北京，中国） ； School of Information Science and Technology, ShanghaiTech University, Shanghai, China（信息科学与技术学院，上海交通大学，上海，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Exploratory Sampling方法，通过蒸馏模型引导生成过程，提升语义多样性与推理效率，在数学、科学和代码生成中表现优异。

Comments 25 pages, 5 figures. Accepted in ICML 2026

KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models

KDFlow：一种用户友好且高效的大型语言模型知识蒸馏框架

Songming Zhang, Xue Zhang, Tong Zhang, Bojie Hu, Yufeng Chen, Jinan Xu

机构 * Key Laboratory of Big Data & Artificial Intelligence in Transportation, (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通运输联合实验室，（北京交通大学）教育部） ； School of Computer Science and Technology, Beijing Jiaotong University, Beijing, China（计算机科学与技术学院，北京交通大学，北京，中国） ； Tencent Inc, China（腾讯公司，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 KDFlow通过解耦架构和SGLang实现高效蒸馏，平衡通信成本与性能，实现1.44至6.36倍加速。

Comments 9 pages, 4 figures, 4 tables, code is available at: https://github.com/songmzhang/KDFlow

LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

LEAP：可学习的端到端无结构剪枝大型语言模型

Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

机构 * University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 本文提出LEAP，一种可学习的端到端无结构剪枝方法，通过伯努利-戈姆贝茨松弛替代传统参数化，提高了无结构剪枝的端到端准确率，实验表明在多个LLM家族上平均提升了零样本准确率。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)

The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort

范围缩小，威胁依旧：重新评估2026前沿模型队列上的LLM包幻觉

Aleksandr Churilov

机构 * Anthropic ； OpenAI ； Google ； DeepSeek 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文重新评估了2026前沿模型队列上大型语言模型（LLM）的包幻觉现象，发现尽管幻觉率有所降低，但仍然存在威胁，识别出一组127个包名（109个在PyPI，18个在npm）被所有评估模型一致生成，构成一个跨模型的供应链攻击面，同时发现Python与JavaScript幻觉的不对称性以及DeepSeek V3.2和GPT-5.4-mini之间的高相似性。

Comments 13 pages, 3 figures, 4 tables. v2: incorporates coordinated-disclosure feedback from PyPI Security and Socket.dev; registrable attack surface refined to 53 names (41 PyPI, 12 npm). Headline rates unchanged. Replication of Spracklen et al. (USENIX Security 2025). Data and code: https://github.com/churik5/slopsquatting-replication-2026 and https://doi.org/10.5281/zenodo.19859120

SKILL-KD: Contrastive Skill Distillation for LLM Agents

SKILL-KD：面向大语言模型智能体的对比式技能蒸馏

Qiming Shi, Yibo Dou, Jiawen Zhu, Yulong Tao, Linbo Jin, Zhaolu Kang, Yunfan Zhou, Di Weng

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 SKILL-KD是面向LLM智能体的对比式技能蒸馏框架，通过将师生智能体的可操作差异蒸馏为技能补丁并迭代优化，结合感知漂移的技能整合，在五个智能体基准上提升了冻结学生智能体性能。

Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University

本科写作者对LLM的四种依赖类型及其预测因素：一项在少数族裔服务R1大学的混合方法研究

Shahin Hossain

机构 * School of Education, University of Maryland, Baltimore County（大学教育学院，马里兰大学巴尔的摩县分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究在少数族裔服务大学通过混合方法识别出本科生的四种LLM依赖类型（策略型、工具型、对话型、依赖型），发现价值与成本信念预测依赖强度，AI素养预测依赖类型，且策略型用户在标准结果测量中得分最低。

Comments 18 pages, 5 figures

On the Limits of Layer Pruning for Generative Reasoning in Large Language Models

关于生成推理中大语言模型层剪枝的极限

Safal Shrestha, Anubhav Shrestha, Aadim Nepal, Minwu Kim, Keith Ross

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；post-training(abstract)

AI总结 研究发现层剪枝在分类任务中有效压缩模型但生成推理任务表现较差，揭示了剪枝对算法能力如算术和括号生成的影响，指出在受限条件下生成推理能力恢复有限。

ARC-Encoder: learning compressed text representations for large language models

ARC-Encoder：为大语言模型学习压缩文本表示

Hippolyte Pilchen, Edouard Grave, Patrick Pérez

机构 * Kyutai 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 ARC-Encoder是可将文本压缩为原词元数1/4或1/8的编码器，适配多类LLM解码器，在提升推理效率的同时保持最优性能，为大语言模型提供灵活高效的上下文压缩方案。

Comments Featured Certification

Journal ref Transactions on Machine Learning Research 2026 (https://openreview.net/forum?id=lU1P9dsqfn)

A Survey of On-Policy Distillation for Large Language Models

大型语言模型的在线策略蒸馏综述

Mingyang Song, Mao Zheng

机构 * Tencent, China（腾讯，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的在线策略蒸馏方法，探讨了蒸馏过程中如何通过反馈减少累积误差，提出了基于f-散度最小化的蒸馏框架，并分析了蒸馏与强化学习之间的联系。

Comments Ongoing Work

InvEvolve: Evolving White-Box Inventory Policies via Large Language Models with Performance Guarantees

InvEvolve：通过具有性能保证的大语言模型进化白盒库存策略

Chenyu Huang, Jianghao Lin, Zhengyang Tang, Bo Jiang, Ruoqing Jiang, Benyou Wang, Lai Wei

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Boston College（波士顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出InvEvolve框架，利用强化学习训练的大语言模型，结合置信区间认证，在线生成具有统计安全保证的白盒库存策略，在合成和真实零售数据上优于经典和深度学习方法。

Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution

参数高效神经进化用于多样化大语言模型生成：通过提示嵌入进化实现质量-多样性优化

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出QD-LLM框架，通过进化提示嵌入实现参数高效神经进化，提升大语言模型生成质量与多样性，实验显示其在多个基准测试中表现优异。

Comments 11 pages, 3 figures, 7 tables, 1 algorithm, 1 theorem. Accepted to GECCO 2026

An MLIR-Based Compilation Method for Large Language Models

一种基于MLIR的大语言模型编译方法

Pengchao Hu, Zhibin Xin, Yifan Chen, Yangyang Zhou, Liang Wang, Xin Zhang

机构 * Sophgo Inc（算能科技有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对大语言模型在专用硬件部署的挑战，提出基于MLIR的编译方法，用TopOp和TpuOp方言表示模型，分阶段编译，在TPU-MLIR编译器等项目实现，支持多种模型及量化部署形式。

AdaHome: An Adaptive Smart Home Assistant using Local Small Language Models

AdaHome：一种使用本地小语言模型的自适应智能家居助手

Eu Jin Lim, Zhaoxing Li, Sebastian Stein

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 研究旨在解决智能家居助手问题，提出AdaHome，通过意图感知规划框架、草稿链策略及偏好适应机制，在本地小语言模型上实现高效决策与个性化，实验显示其在命令准确性、延迟及多轮场景中有良好表现。

NIRVANA: Structured Pruning Reimagined for Large Language Model Compression

NIRVANA：为大语言模型压缩重新构想的结构化剪枝

Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究针对大语言模型结构化剪枝中性能下降等问题，提出NIRVANA框架。通过函数空间显著性评估结构重要性，引入全局单元排序等策略，消除随机采样不稳定问题，在多架构上广泛评估，取得新的最优结果，为模型压缩提供实用方法。

Comments Accepted to COLM 2026. Camera-ready

BalDRO: A Distributionally Robust Optimization based Framework for Large Language Model Unlearning

BalDRO：一种基于分布鲁棒优化的大语言模型遗忘框架

Pengyang Shao, Naixin Zhai, Lei Chen, Yonghui Yang, Fengbin Zhu, Xun Yang, Meng Wang

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对大语言模型遗忘中样本不均衡问题，提出BalDRO框架，将遗忘设为最小-上确界过程，通过内、外步更新参数，经BalDRO-G和BalDRO-DV变体实例化，实验显示其在遗忘质量和模型效用上显著优于现有方法。

YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models

YuFeng-XGuard：一种以推理为中心、可解释且灵活的大语言模型护栏模型

Junyu Lin, Meizhen Liu, Xiufeng Huang, Jinfeng Li, Haiwen Hong, Xiaohan Yuan, Yuefeng Chen, Longtao Huang, Hui Xue, Ranjie Duan, Zhikai Chen, Yuchuan Fu, Defeng Li, Lingyao Gao, Yitong Yang

机构 * Alibaba-AAIG（阿里云-阿里人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出YuFeng-XGuard护栏模型系列，通过结构化风险预测（含风险类别、置信度分数及自然语言解释）实现可解释的多维风险感知，并采用分层推理范式平衡延迟与解释深度，同时引入动态策略机制解耦风险感知与策略执行。

AREAL-DTA: Dynamic Tree Attention for Efficient Reinforcement Learning of Large Language Models

AREAL-DTA：用于大语言模型高效强化学习的动态树注意力机制

Jiarui Zhang, Yuchen Yang, Ran Yan, Zhiyu Mei, Liyuan Zhang, Daifeng Li, Wei Fu, Jiaxuan Gao, Shusheng Xu, Yi Wu, Binhang Yuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 针对RL后训练中rollout序列共享前缀导致计算冗余的问题，提出基于深度优先搜索的动态树注意力机制，结合负载均衡分布式批处理，实现高效前缀共享，训练吞吐量提升最高8.31倍。

Comments Accepted at ICML 2026. Camera-ready version. Code: https://github.com/areal-project/AReaL/tree/feat/dta

Unified Static-Dynamic Pruning for Efficient LLM Inference

用于高效大语言模型推理的统一静态-动态剪枝

Jinhyeok Kim, Yejoon Lee, Jaeyoung Do

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型推理瓶颈，提出统一静态-动态剪枝框架SPDP，集成非结构化SP与输入自适应DP，设计新格式和内核，经评估其加速效果显著，推进推理效率-质量前沿，提升大规模LLM服务的吞吐量和性能功耗比。

Comments Proceedings of the VLDB Endowment (PVLDB), Volume 19, Issue 11, 2026

FLARE: Diffusion for Hybrid Language Model

FLARE: 混合语言模型的扩散方法

Yuchen Zhu, Jing Shi, Chongjian Ge, Hao Tan, Yiran Xu, Wanrong Zhu, Jason Kuen, Koustava Goswami, Rajiv Jain, Yongxin Chen, Molei Tao, Jiuxiang Gu

机构 * Adobe Research（Adobe研究院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(abstract)；post-training(abstract)

AI总结 提出FLARE框架，通过结合自回归和扩散目标、硬件感知内核和统一推理，将混合注意力LLM转换为支持并行解码的扩散模型，在保持能力的同时提升吞吐量。

Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators

将尝试矢量化：为基于LLM的生成检索在加速器上实现高效的受限解码

Zhengyang Su, Isay Katsman, Yueqi Wang, Ruining He, Lukasz Heldt, Raghunandan Keshavan, Shao-Chuan Wang, Xinyang Yi, Mingyan Gao, Onkar Dalal, Lichan Hong, Ed Chi, Ningren Han

机构 * Yale University（耶鲁大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 STATIC通过矢量化技术实现高效受限解码，显著提升基于LLM的生成检索性能。

Comments KDD 2026 camera-ready

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

FlowBot：通过双层优化和文本梯度诱导LLM工作流

Hongyeon Yu, Young-Bum Kim, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 本文提出FlowBot，一种基于双层优化和文本梯度的数据驱动方法，自动诱导LLM代理和工作流，与人类设计的基线相比表现相当。

TraceLab: Characterizing Coding Agent Workloads for LLM Serving

TraceLab: 表征用于LLM服务的编码代理工作负载

Kan Zhu, Mathew Jacob, Chenxi Ma, Yi Pan, Stephanie Wang, Arvind Krishnamurthy, Baris Kasikci

机构 * University of Washington（华盛顿大学） ； Wuhan University of Technology（武汉理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 通过收集4300个编码代理会话（含35万LLM步骤和43万工具调用）的真实轨迹，分析发现长自主循环、长上下文短输出、多样化重尾工具调用及高但不完美前缀缓存命中率等特征，为优化服务提供具体方向。

Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search

结构化渐进知识激活用于LLM驱动的神经架构搜索

Zhen Liu, Yuhan Liu, Jinjun Wang, Wei Song, Jianyi Liu, Jingwen Fu

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University.（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学） ； MiLM Plus, Xiaomi Inc.（小米MiLM Plus） ； North China University of Technology, Beijing.（华北电力大学（北京）） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SPARK方法，通过显式选择功能因素并条件化编辑，减少功能耦合影响，提升神经架构搜索的样本效率和OOD准确性。

Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank

先排序后服务：通过成对学习排序实现低延迟LLM服务

Yiheng Tao, Yihe Zhang, Matthew Dearing, Xin Wang, Yuping Fan, Michael E. Papka, Zhiling Lan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出PARS调度器，通过成对排序预测任务响应长度，近似最短作业优先调度，减少队头阻塞，在vLLM上实现高达15.7倍延迟降低。

Comments 13 pages, 4 figures. Published in ISC High Performance 2026 Research Paper Proceedings (41st International Conference)

Journal ref ISC High Performance 2026 Research Paper Proceedings (41st International Conference), Hamburg, Germany, 2026

Experience Compression Spectrum: Unifying Memory, Skills, and Rules in LLM Agents

经验压缩光谱：在LLM代理中统一记忆、技能和规则

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对LLM代理长期多会话部署中经验管理效率问题，提出经验压缩光谱框架，统一记忆、技能和规则的压缩轴，解决压缩适应性和跨层级压缩缺失问题。

HyDRA: Hybrid Dynamic Routing Architecture for Heterogeneous LLM Pools

HyDRA：异构LLM池的混合动态路由架构

Aashna Garg, Siddharth Singha Roy, Jinu Jang, Federico Brancasi, Shengyu Fu

机构 * Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 本文提出HyDRA，一种能够根据查询预测细粒度多维能力需求并匹配配置定义模型配置的混合动态路由架构，实现了在异构LLM池中高效且无需重新训练的模型选择。

Comments preprint v2

Enhancing LLM Safety Through a Theoretical Minimax Game Lens

通过理论极小极大博弈视角增强LLM安全性

Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； VirtueAI ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出极小极大强化学习框架，通过数据生成器与分类器协同进化生成高质量多语言安全数据，理论证明收敛到纳什均衡，使小模型在英文基准上超越SOTA近10%且推理速度提升4.5倍。

Comments 24 pages, 9 figures, 5 tables

The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training

FP4量化LLM训练中均值偏差的诅咒与祝福

Hengjie Cao, Zhendong Huang, Mengyi Chen, Yifeng Yang, Fang Dong, Anrui Chen, Ruijun Huang, Xin Zhang, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert P. Dick, Yuan Cheng, Tun Lu, Fan Yang, Yixuan Chen, Li Shang

机构 * Fudan University（复旦大学） ； University of Bath（巴斯大学） ； Shanghai Innovation Institute（上海创新研究院） ； University of Oxford（牛津大学） ； Oxford Suzhou Centre for Advanced Research（牛津苏浙研究中心） ； University of Colorado Boulder（科罗拉多大学波德格分校） ； University of Michigan（密歇根大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 发现FP4训练失败源于激活异常值由秩一均值偏差主导，提出Averis均值残差分离量化法，在Qwen3模型上实现鲁棒W4A4G4训练，损失差距低于NVIDIA的Hadamard方法。

Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prism: 通过GPU内存气球实现经济高效的多LLM服务

Shan Yu, Yifan Qiao, Mingyuan Ma, Yangmin Li, Shuo Yang, Xinyuan Tong, Yang Wang, Zhiqiang Xie, Yuwei An, Shiyi Cao, Ke Bao, Deepak Vij, Xiaoning Ding, Yichen Wang, Qingda Lu, Zhong Wang, Gao Gao, Harry Xu, Junyi Shu, Jiarong Xing, Ying Sheng

机构 * UCLA（加州大学洛杉矶分校） ； UC Berkeley（伯克利加州大学） ； Harvard University（哈佛大学） ； CMU（卡内基梅隆大学） ； University of Edinburgh（爱丁堡大学） ； Intel（英特尔） ； Stanford University（斯坦福大学） ； LMSYS（灵州市系统实验室） ； ByteDance（字节跳动） ； Alibaba Cloud（阿里云） ； Tsinghua University（清华大学） ； Novita AI ； Rice University（里士满大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 针对多LLM服务中资源效率低下的问题，提出基于内存气球的内存中心化LLM协同服务框架Prism，统一空间与时间共享，已在10K+ GPU生产环境部署。

Comments OSDI'26