语言大模型 / LLM

Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI

大语言模型推理服务系统的比较分析：vLLM和HuggingFace TGI的性能研究

Saicharan Kolluru

机构 * Baltimore, MD, USA（美国马里兰州巴尔的摩） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,comments)；分类 cs.LG

AI总结 本文比较了vLLM和HuggingFace TGI在大语言模型推理服务中的性能，发现vLLM在高并发场景下吞吐量更高，而TGI在交互式应用中延迟更低。

Comments 10 pages, benchmarking study of LLM inference systems

Countermind: A Multi-Layered Security Architecture for Large Language Models

Dominik Schwarz

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,comments)；分类 cs.AI

Comments 33 pages, 3 figures, 6 tables. Keywords: LLM security; defense-in-depth; prompt injection; activation steering; multimodal sandbox; threat modeling

Large Language Model Inference Acceleration: A Comprehensive Hardware Perspective

Jinhao Li, Jiaming Xu, Shan Huang, Yonghua Chen, Wen Li, Jun Liu, Yaoxiu Lian, Jiayi Pan, Li Ding, Hao Zhou, Yu Wang, Guohao Dai

机构 * Shanghai Jiao Tong University（上海交通大学） ； SII（上海创新研究院） ； Infinigence-AI 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,comments)；分类 cs.LG

Comments Collect and update results in recent half year. 54 pages. Github link: https://github.com/Kimho666/LLM_Hardware_Survey

Do Membership Inference Attacks Work on Large Language Models?

Michael Duan, Anshuman Suri, Niloofar Mireshghallah, Sewon Min, Weijia Shi, Luke Zettlemoyer, Yulia Tsvetkov, Yejin Choi, David Evans, Hannaneh Hajishirzi

专题命中 效率与部署 ：language model(title,abstract)；large language model(title,abstract)；LLM(abstract)；分类 cs.CL

Comments Accepted at Conference on Language Modeling (COLM), 2024

L-COIN: LLM-Assisted Counterfactual Inference for Game-Theoretic Distributed Computation Offloading in Sub-THz LEO Satellite Networks

L-COIN：用于亚太赫兹低轨卫星网络中博弈论分布式计算卸载的大语言模型辅助反事实推理

Jinhao Yi, Weijun Gao, Chong Han

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对亚太赫兹低轨卫星网络的分布式计算卸载问题，提出L-COIN框架，结合LLM与反事实推理，降低卸载成本10.9%-27.7%，提升了时变场景下的卸载性能。

FlashQuant: Sparse-Dense Fusion for Memory-Efficient Outlier-Aware LLM Inference

FlashQuant：面向内存高效的异常值感知大语言模型推理的稀疏-密集融合方案

Junqing Lin, Jingwei Sun, Zhengding Hu, Guangzhong Sun

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 FlashQuant是面向异常值感知W4A16解码的内容共享执行框架，通过融合GPU内核实现稀疏-密集路径的片上复用，在内存受限的LLM解码中大幅降低异常值处理开销，获得显著加速比。

Collective Communication for Distributed LLM Systems: Planning, Runtime Adaptation, and Computation Coordination

分布式大语言模型系统的集体通信：规划、运行时适配与计算协调

Xuebin Song, Menghao Zhang, Yuezheng Liu, Jinyi Xia, Shucan Yang, Xiaohe Hu, Chunming Hu, Mingwei Xu

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出以集体为中心的分类法，将分布式LLM系统集体通信进展分为规划、执行适配、计算通信协调三层，探讨相关开放挑战与未来机遇。

HW-Router: Hardware-Aware Routing for Scalable Multi-LLM Serving

HW-Router：面向可扩展多大语言模型服务的硬件感知路由

Ahasan Kabir, Jiaqi Xue, Mengxin Zheng, Qian Lou

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 HW-Router是一种动态路由框架，结合实时硬件信号与模型特征实现SLO感知路由，在多LLM服务中相比CARROT等基线显著降低延迟、提升SLO达成率并均衡GPU负载。

Comments Preprint

Journal ref 2026 Design Automation Conference (DAC)

Exploring High-Bandwidth Flash for Modern LLM Inference: Opportunities and Challenges

探索用于现代大语言模型推理的高带宽闪存：机遇与挑战

Dowon Son, Yonggon Park, Hyunuk Cho, Hyungkyu Ham, Onur Mutlu, Sungjin Lee, Gwangsun Kim, Jisung Park

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究分析高带宽闪存（HBF）用于大语言模型（LLM）推理的机遇与挑战，发现HBF可提升LLM服务系统性能并降低GPU需求，但需维持类HBM读取带宽并提升耐用性。

Comments 4 pages, 7 figures, IEEE Computer Architecture Letters (CAL)

Potential Applications of HBF in LLM Serving Systems

HBF在大语言模型（LLM）服务系统中的潜在应用

Yihan Yin, Yinlun Zhao, Zhixin Yun, Guanying Wu, Feng Zhu, Kai Tao, Shu Li, Fei Huang, Zhe Zhang, Shuangchen Li, Hongzhong Zheng

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究针对LLM服务的内存容量限制，提出将HBF集成到GPU内存层级的方案，通过仿真验证其可提升MoE和多模型服务性能，需保留HBM驻留执行路径。

Extreme Value Alpha and Crash Risk: Separating Structural Tails from Lottery Tails with LLM-Extracted Disclosure Networks

极值阿尔法与崩盘风险：通过LLM提取的披露网络区分结构性尾部与彩票式尾部

Lin Zhang, Fan Yang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究利用LLM从10-K文件提取的公司披露网络，将股票收益上尾分为崩盘侧与结构性尾部，通过24家科技公司试点验证了崩盘侧信号的有效性，明确了判别器的适用边界。

Comments 19 pages, 5 figures, 2 tables

MetaStrategy: Generative Ranking with Executable LLM Strategies

MetaStrategy：基于可执行大语言模型策略的生成式排序

Chengyu Lai, Jiuning Lin, Zhibo Xiao, Xiaodong Zhu, Ruiquan Lan, Bin Zhang, Zihong Huang, Wendong Zhang, Chuxin Chen, Yinjiang Cai, Shuai Zhong, Lingqing Zhang, Dimin Wang, Jialin Zhu, Han Zhu

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 MetaStrategy是一种可执行LLM策略的生成式排序框架，经淘宝部署测试，其提升了多项核心业务指标且未增加响应时间。

FSGen: Agile Fused and Sparse Accelerator Generator with Accurate Power Model for LLM Applications

FSGen：面向大语言模型应用的具备精确功耗模型的敏捷融合与稀疏加速器生成器

Jay Zhe-An Mok, Qijun Zhang, Zhiyao Xie

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 FSGen是面向LLM的敏捷加速器生成框架，支持融合算子数据流与稀疏性，其PPA评估器精度更高，能找到功耗效率提升1.4倍或加速比达10倍的帕累托最优设计，大幅缩短设计空间探索时间，品质因数提升58倍。

Comments Research Manuscript Published in Design Automation Conference (DAC) 63 (2026)

C2C-Explorer: An Exploration Framework for Chip-to-Chip Interconnect Architectures in LLM Cloud Computing Systems

C2C-Explorer：用于大语言模型云计算系统中芯片间互连架构的探索框架

Jiayi Li, Di Wu, Qingxu Li, Hongxiao Zhao, Jiaqi Yang, Anjunyi Fan, Wenbin Zhang, Boqiang Wu, Shuting Liu, Shifeng Fang, Jianbo Dong, Dimin Niu, Bonan Yan

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 C2C-Explorer是一种自适应贝叶斯DSE框架，整合流量生成器、可扩展互连模拟器与评估器，用于探索LLM云计算系统的C2C互连架构，在DeepSeek-R1-671B负载中可提升有效吞吐量并降低内存占用。

Comments Accepted in DAC'26

HybridFlow: Resource-Adaptive Subtask Routing for Efficient Edge-Cloud LLM Inference

HybridFlow: 适应资源的子任务路由用于高效的边缘-云LLM推理

Jiangwen Dong, Jiayu Li, Tianhang Zheng, Wanyu Lin

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 HybridFlow通过动态资源适应的子任务路由框架，提升边缘-云LLM推理的效率与准确性。

Comments Accepted by ICML 2026

OmniInfer: System-Wide Acceleration Techniques for Optimizing LLM Serving Throughput and Latency

OmniInfer: 通过优化LLM服务吞吐量和延迟提升系统整体加速技术

Jun Wang, Yunxiang Yao, Wenwei Kuang, Runze Mao, Zhenhao Sun, Zhuang Tao, Ziyang Zhang, Dengyu Li, Jiajun Chen, Zhili Wang, Kai Cui, Congzhi Cai, Longwen Lan, Ken Zhang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 OmniInfer通过统一框架优化LLM服务吞吐量和延迟，减少TPOT和TTFT，提升系统整体性能。

Comments Project page: [this https URL](https://gitee.com/omniai/omniinfer)

RAC: Reference-Aware Activation Compression for Communication-Efficient Split LLM Inference

RAC：面向通信高效的分割式大语言模型推理的参考感知激活压缩

Guotao Yang, Mingxi Zhao, Haopeng Li, Zhengchao Wang, Sheng Chen, Yitao Hu, Keqiu Li

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对分割式LLM推理的通信瓶颈，提出参考感知激活压缩方法RAC，通过参考感知编解码器等技术降低通信开销，在多模型多链路对实验中验证了其时间性能提升与任务分数变化情况。

Comments 10 pages, 7 figures, 2 tables

Persistent Object Narratives for Token-Efficient Video Language Models

用于令牌高效视频语言模型的持久对象叙事

Junzhe Chen, Siyuan Meng, Xiaojie Guo

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)

AI总结 本文提出SlotNarrative，一种用于Video-LLM的紧凑结构化视觉接口，通过持久对象叙事减少视觉令牌数量，在多数据集上实现准确率与令牌数的良好权衡。

Heterogeneity-Aware Microscaling for Efficient Low-Bit LLM Inference

面向高效低比特大语言模型推理的异构感知微缩放技术

Junyi Luo, Xinting Jiang, Tai-Hao Wen, Ruichen Qi, Minxing Chu, Hongyi Wu, Gregory Kielian, Ben Laurie, Qirui Zhang, Quan Cheng, Dennis Sylvester, Mehdi Saligane

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对低比特LLM推理的MX格式精度损失问题，提出异构感知的AdaMX格式与加速器，在不增加EBW的前提下提升精度、降低存储能耗，在多类LLM及多模态模型上表现优异。

Broadcast Rate Limits in Wi-Fi: A Forgotten Bottleneck for Collaborative Edge LLM Inference

Wi-Fi中的广播速率限制：协作式边缘大语言模型（LLM）推理被遗忘的瓶颈

Liujianfu Wang, Yuyang Du, Shiqi Xu, Soung Chang Liew

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究针对协作式边缘LLM推理的通信瓶颈，提出适配UDP广播的MoE推理方法，发现Wi-Fi广播速率限制的遗留问题并通过仿真验证，推动Wi-Fi标准将广播纳入高吞吐量数据平面。

CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems

CASPER——面向基于大语言模型（LLM）系统高效回归测试的感知变更的切片优先级排序

Biruk Asmare Muse, Lionel Briand, Yiwei Lu, Keheliya Gallaba

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对基于LLM系统回归测试的独特挑战，提出CASPER框架，通过进化切片识别与基于执行日志行为信息的优先级排序，实现更优的回归切片处理效果。

Spatial Prefix Caching for Wireless Edge LLM Inference: A Stochastic-Geometry and Queueing Framework

面向无线边缘大语言模型推理的空间前缀缓存：一种随机几何与排队框架

Le Yang, Zhouyong Liu

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文构建随机几何与排队框架，针对无线边缘LLM推理的空间通信-缓存-计算权衡优化，揭示延迟最优节点非最近节点、TTFT随缓存前缀深度非单调变化的规律。

SLIM: Saturation-Aware Lightweight Performance Modeling for LLM Serving

SLIM：面向大语言模型服务的饱和度感知轻量级性能建模

Pol G. Recasens, Ferran Agullo, Yue Zhu, Chen Wang, Jordi Torres, Josep Ll. Berral

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对LLM服务吞吐量饱和问题，通过GPU剖析明确其源于解码阶段注意力内核的DRAM带宽饱和，提出SLIM半分析性能模型及BCA工具，可高效预测吞吐量与延迟并优化批处理配置。

Comments Pol G. Recasens and Ferran Agullo contributed equally to the work

SmartGen: Seamless Disaggregated LLM Inference with Selective KV Cache Transfer

SmartGen：支持无缝拆分式大语言模型推理的选择性KV缓存传输方案

Xuchuan Luo, Jiacheng Shen, Xin Wang, Yangfan Zhou

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 SmartGen是一款KV缓存传输引擎，通过三种数据传输路径实现拆分式LLM推理的KV缓存选择性传输，可将首token生成时间最多缩短4.3倍，且后续性能与准确率相当。

Not as Sweet by Another Name: An Empirical Study of Format Robustness in LLM Document Workflows

换个名字就不甜了：LLM文档工作流中格式鲁棒性的实证研究

Xiaoyu Zhang, Xianyun Cheng, Tianlin Li, Yuwei Zheng, Yue Yang, Yang Liu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文提出感知格式的变形测试框架，经大规模实证研究发现LLM文档工作流的格式鲁棒性存在严重问题，切换格式可致准确率降53.63%，并设计出无需重训模型的缓解策略。

Comments 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

LimICE: Integrating LLM into ICE Framework for Efficient Loop Invariant Inference

LimICE：将大语言模型（LLM）集成到ICE框架以实现高效循环不变式推理

Kai Fan, ShiWen Yu, GuangSheng Fan, HaoAng Chi, WanWei Liu, Ji Wang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究提出集成LLM与ICE框架的增量式学习框架LimICE，用于循环不变式综合，在367个线性、50个非线性基准上的实验显示其解决实例更多、运行速度更快，性能优于相关基线。

Comments 21 pages, 2 figures

Clairvoyant: Predictive Shortest-Job-First Admission for Serial LLM Inference

Clairvoyant: 预测性SJF调度以缓解串行LLM后端中的队头阻塞

Aravind Sundaresan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出Clairvoyant，一种轻量级侧车代理，通过预测请求长度实现SJF调度，缓解串行LLM后端中的队头阻塞，显著降低短请求延迟。

Comments 17 pages, 3 figures, 8 tables. Code: https://github.com/Aravind0403/clairvoyant-scheduler

NELSSA: A GPU-PNM Heterogeneous System for Mixed-Length LLM Serving via Length-based Request Placement

NELSSA：一种基于GPU-PNM异构系统的LLM混合长度服务框架，通过基于长度的请求放置实现

Sookyung Choi, Seungyong Lee, Kangkyu Park, Yunseo Chun, Junseok Lee, Hyeongseok Gwak, Myunghyun Rhee, Euiseok Kim, Donguk Moon, Kwangsik Shin, Guseul Heo, Youngpyo Joo, Hoshik Kim, Jongse Park

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 NELSSA是集成GPU与PNM加速器的LLM服务系统，通过基于长度的请求放置处理混合长度工作负载，解码吞吐量最高提升5.5倍，P99延迟最高降低15倍，为LLM基础设施提供新范式。

Comments 14 pages, 19 figures. Accepted to the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026)

Beyond Prefill-Decode Disaggregation: Dissecting LLM Inference for Heterogeneous Platforms via Dynamic Operator Scheduling

超越预填充-解码分解：通过动态算子调度剖析异构平台上的大语言模型推理

Jiaqi Yang, Jiayi Li, Yihan Fu, Hongxiao Zhao, Zhan Chen, Qiuping Wu, Yuchao Yang, Bonan Yan

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对异构平台上LLM推理，提出硬件感知的DOPS框架，通过构建阶段感知DAG，集成双焦点调度器和权重布局仲裁器，实现算子调度与权重布局联合优化，在异构系统中取得加速效果并支持相关分析。

Comments To appear in MICRO 2026

TENT: A Declarative Slice Spraying Engine for Performant and Resilient Data Movement in Disaggregated LLM Serving

TENT：一种用于高性能和容错数据移动的声明式切片喷射引擎

Feng Ren, Ruoyu Qin, Teng Ma, Shangming Cai, Zheng Liu, Chao Lei, Dejiang Zhu, Ke Yang, Zheming Li, Jialei Cui, Weixiao Huang, Yikai Zhao, Yineng Zhang, Hao Wu, Xiang Gao, Yuhao Fu, Jinlei Jiang, Yongwei Wu, Mingxing Zhang

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 TENT通过解耦传输意图与物理执行，统一异构互连技术为动态资源池，实现高效、容错的数据传输，提升LLM推理和RL流水线性能。