语言大模型 / LLM

FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation

FlexServe: 一种面向移动设备的快速安全LLM服务系统，具有灵活的资源隔离

Yinpeng Wu, Yitong Chen, Lixiang Wang, Jinyu Gu, Zhichao Hua, Yubin Xia

机构 * Institute of Parallel and Distributed Systems（并行与分布式系统研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对移动设备上LLM推理中TrustZone资源隔离不灵活和安全管理低效的问题，提出FlexServe系统，通过解耦安全资源的访问权限与管理权限，实现快速安全的推理，平均TTFT加速比达10.05倍。

Comments Repeated paper uploading due to mistakes. See arXiv:2603.09046

PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs

PersistentKV: 面向商用GPU上长上下文LLM服务的页面感知解码调度

Muhammad Ahmed

机构 * Muhammad Ahmed（穆罕默德·阿赫姆） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对长上下文LLM服务中KV缓存移动成为瓶颈的问题，提出PersistentKV引擎，通过页面感知调度和分组查询注意力优化解码，在RTX 3060上实现1.06-1.40倍吞吐提升。

Comments 7 pages, 3 tables; workshop paper

A Tutorial on Autonomous Fault-Tolerant Control Using Knowledge-Grounded LLM Agents

基于知识接地LLM代理的自主容错控制教程

Javal Vyas, Milapji Singh Gill, Artan Markaj, Felix Gehlhoff, Mehmet Mercangöz

机构 * Autonomous Industrial Systems Laboratory, Imperial College London（帝国理工学院自主工业系统实验室） ； Institute of Automation Technology, Helmut Schmidt University（赫尔穆特·施密特大学自动化技术研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用LLM代理作为约束监督规划器，通过外部验证器确保安全，辅助过程工厂故障恢复决策，并提供了可执行的Python环境。

Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice

面向LLM服务的几何感知在线调度：从理论界到系统实践

Li Kong, Qi Qi, Yinyu Ye, Zijie Zhou

机构 * Gaoling School of Artificial Intelligence（人工智能学院） ； Renmin University of China（中国人民大学） ； Department of Management Science and Engineering（管理科学与工程系） ； Stanford University（斯坦福大学） ； Department of Industrial Engineering and Decision Analytics（工业工程与决策分析系） ； HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM推理中KV缓存动态内存占用问题，提出Smallest Volume First (SVF)算法，通过几何感知调度优化性能，理论证明将竞争比从48降至5，并在vLLM中实现即插即用，显著降低平均和尾部延迟。

Scaling Laws for Task-Specific LLM Distillation

任务特定LLM蒸馏的缩放定律

Lavinia Ghita, Dhruv Desai, Ioana Boier

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文推导了领域特定LLM压缩的经验缩放定律，通过定量金融领域的实验，比较了基于logit和LoRA的蒸馏方法，并引入混合思维链监督损失，揭示了监督格式对领域知识与通用知识权衡的关键作用。

Comments 24 pages, 13 figures

The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

黑盒LLM分类中的分数粒度差距：置信度构建的比较研究

Ao Sun, Tian Sun, Jiaxing Geng

机构 * institutetext: 1 1（机构1） ； institutetext: 2 2（机构2） ； institutetext: 3 3（机构3） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究黑盒LLM分类中置信度分数的粒度差距，比较七种构建方法，发现单次口头置信度排名良好但取值有限，多查询聚合可帮助弱模型但可能降低强模型性能。

Mitigating Anchoring Bias in LLM-Based Agents for Energy-Efficient 6G Autonomous Networks

缓解基于LLM的智能体在节能6G自主网络中的锚定偏差

Hatim Chergui, Claudia Carballo González, Farhad Rezazadeh, Merouane Debbah

机构 * i2CAT Foundation（i2CAT基金会） ； Universitat Politècnica de Catalunya（政治技术大学） ； Research Institute for Digital Future（数字未来研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种基于截断三参数威布尔分布的随机锚定策略，缓解LLM智能体在6G网络切片中的锚定偏差，结合CVaR数字孪生保障SLA尾延迟，实现高达25%的节能。

Comments 7 pages, 4 figures

Bridging Functional Correctness and Runtime Efficiency Gaps in LLM-Based Code Translation

弥合基于LLM的代码翻译中的功能正确性与运行时效率差距

Longhui Zhang, Jiahao Wang, Chenhao Hu, Bingyu Liang, Jing Li, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SwiftTrans框架，通过多视角探索和差异感知选择两阶段，利用并行上下文学习和差异比较，同时提升LLM代码翻译的正确性和运行时效率。

Comments Accepted to ICML 2026

ToolMenuBench: Benchmarking Tool-Menu Filtering Strategies for Reliable and Efficient LLM Agents

ToolMenuBench: 用于可靠高效LLM智能体的工具菜单过滤策略基准测试

Rahul Suresh Babu, Laxmipriya Ganesh Iyer

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ToolMenuBench基准，评估多步LLM智能体中工具菜单构建策略，发现因果最小工具过滤在任务成功率、令牌使用和风险暴露间取得最佳平衡。

SPEAR: A System for Post-Quantization Error-Adaptive Recovery Enabling Efficient Low-Bit LLM Serving

SPEAR: 一种后量化误差自适应恢复系统，实现高效低比特LLM服务

Hongyuan Liu, Yawei Li, Zhiqiang Que, Qinli Yang, Junming Shao, Guosheng Hu

机构 * University of Electronic Science and Technology of China（电子科学与技术大学） ； University of Bristol（布里斯托大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对低比特量化导致LLM质量下降的问题，提出SPEAR系统，通过输入感知的门控误差补偿器（EC）选择性修正高误差层，结合自适应内核融合调度和SLO感知调度器，在<1%内存开销下恢复W4与FP16之间56-75%的困惑度差距。

Sim2Schedule: A Simulator-Guided LLM Framework for Autonomous Open-Pit Mine Scheduling

Sim2Schedule: 一种模拟器引导的LLM框架用于自主露天矿调度

Mustavi Ibne Masum, Thiago Eustaquio Alves de Oliveira, Mahzabeen Emu

机构 * Department of Computer Science, Lakehead University（湖头大学计算机科学系） ； Quantum Communications and Computing Research Center and Department of Electrical and Computer Engineering, Memorial University of Newfoundland（新斯科舍纪念大学量子通信与计算研究中心及电气与计算机工程系） ； Department of Electrical and Computer Engineering, Memorial University of Newfoundland（新斯科舍纪念大学电气与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出模拟器引导的LLM框架，将地质约束编码到动作生成中，零样本生成可解释调度方案，在保持线性计算时间下恢复MILP最优NPV的94%-99%。

SecureClaw: Clawing Back Control of LLM Agents

SecureClaw: 夺回对LLM智能体的控制

Yuhan Ma, Stefan Schmid

机构 * TU Berlin（柏林技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对工具使用型LLM智能体的双重安全漏洞，提出双边界架构SecureClaw，在效果汇点实施授权、在读边界实施明文隔离，通过预览-提交协议和可信网关实现安全控制，在多个基准上保持可用性的同时将攻击成功率降至接近零。

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

通过软提示蒸馏安全的设备端LLM系统

Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

机构 * Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对资源受限设备上部署安全大语言模型（LLM）的挑战，提出基于软提示与蒸馏训练的安全对齐方法，在最小化额外计算开销的同时实现优越的安全-有用性权衡。

Comments Accepted to UAI 2026

Journal ref 42nd Conference on Uncertainty in Artificial Intelligence 2026

Bridging the Agent-World Gap: Text World Models for LLM-based Agents

弥合智能体-世界鸿沟：面向基于LLM的智能体的文本世界模型

Yixia Li, Hongru Wang, Peng Lai, Zhiwen Ruan, He Zhu, Youxin Zhu, Ganlong Zhao, Minda Hu, Yun Chen, Sibei Yang, Peng Li, Jeff Z. Pan, Jia Pan, Guanhua Chen, Yang Liu, Guanbin Li

机构 * Southern University of Science and Technology（南方科技大学） ； University of Edinburgh（爱丁堡大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文系统综述了面向基于LLM的智能体的文本世界模型，围绕形式化框架和智能体生命周期，涵盖基础定义、构建范式、应用（训练时经验合成与推理时规划、验证、适应）及评估，旨在整合该领域并明确设计空间与开放挑战。

Comments Code: https://github.com/sustech-nlp/awesome-text-world-models

CoRun: Padding is Simple and Efficient for Deterministic LLM Inference

CoRun：填充对于确定性大语言模型（LLM）推理而言简单且高效

Shiju Zhao, Jiacheng Yang, Qihang Chen, Junhao Hu, Jiaqi Zheng, Guihai Chen, Xusheng Chen

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 CoRun利用LLM内核的位置不变性，通过独立预填充和固定形状批量解码的调度系统，在保证确定性推理的同时提升了LLM的吞吐量并降低了延迟。

Comments 13 pages, 14 figures

Does the way we write a theory change the program an LLM builds from it? A prospective randomized study of renderer format in LLM theory-to-program translation

我们撰写理论的方式会改变大语言模型（LLM）据此构建的程序吗？一项针对LLM理论转程序翻译中渲染器格式的前瞻性随机研究

Andre Panossian

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究通过前瞻性随机实验发现，LLM理论转程序翻译中渲染器格式未产生预测的行为几何，为该领域规范格式效应设定了边界并提供了可审计研究工具。

Comments 112 pages, 2 figures; includes supplementary material and five reproducibility annexes. Data: https://doi.org/10.5281/zenodo.21876518. Software: https://doi.org/10.5281/zenodo.21879576

Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling

通过资源公平调度实现批量大语言模型（LLM）服务的效率与成本对齐

Dayi Yao, Zijie Zhou

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文针对批量LLM服务中异构请求导致的资源分配低效问题，提出ISJL算法，实现高吞吐量的同时对齐最大驱动批次成本与token计量收入，达到3/4的竞争比下界，平衡了FCFS与LJF的优缺点。

Smoothing the Ramp, Not the Peak: Scheduling-Induced Power Dynamics of LLM Inference and Their Grid-Scale Consequences

平滑斜坡而非峰值：LLM推理的调度诱导功率动态及其电网级后果

Pan Li, Yize Chen, Xia Miao, Dai Wang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究揭示LLM分块预填充调度可降低功率斜坡速率，随系统饱和度提升效益增大，经转化为电网调节备用采购问题后，可减少电网快速斜坡备用容量，为运营商提供无成本需求侧塑形工具。

Comments 15 pages, 9 figures

Hollow-LLM Attack: Computationally Trivial Weights in Zero-Knowledge Verification of LLM Inference

Hollow-LLM攻击：LLM推理零知识验证中的计算上微不足道的权重

Chen Gong, Beijie Liu, Mengyuan Li

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究提出Hollow-LLM攻击，利用LLM零知识验证的工作量缺口，通过嵌入幽灵权重使不诚实提供者以小模型成本生成有效证明，需额外措施绑定正确性与计算工作。

Comments Accepted to the 2026 IEEE Symposium on Security and Privacy (S&P 2026)

Black-Box Inference of LLM Architectural Properties with Restrictive API Access

受限API访问下LLM架构属性的黑盒推断

Christopher Ellis, Shreyas Chaudhari, Mei-Yu Wang, Leighton Barnes, Giulia Fanti, José M. F. Moura

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Pittsburgh Supercomputing Center（匹兹堡超级计算中心） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对当前商业LLM API仅返回单logit且禁止logit偏置的限制，提出NightVision方法，通过新型公共集提示技术和首令牌时间测量，估计隐藏维度、深度和参数数量，在32个开源模型上验证了可行性。

QueenBee Planner: Skill-Evolving Communication Topologies for Token-Efficient LLM Multi-Agent Systems

QueenBee Planner：面向Token高效LLM多智能体系统的技能演化通信拓扑

Congjia Tian, Yuhang Yao, Jiaming Cui

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出QueenBee Planner框架，将智能体间通信拓扑视为可检索和自改进的设计技能，通过外部LLM规划器学习生成时间通信DAG，并利用执行轨迹蒸馏出设计规则，在固定工人池下实现通信结构的自我演化，降低消息数、模型调用和token成本。

Cache-Resident LLM Inference in GB-Scale Last-Level Caches

GB级末级缓存中的缓存驻留LLM推理

Wanning Zhang, Tongzhou Gu, Marco Canini, Ceyu Xu, Jian Weng

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种缓存驻留执行模型，通过权重-注意力解耦架构和子算子依赖同步，在具有GB级末级缓存的CPU上实现LLM推理加速，TPOT提升2.04-13.9倍。

ReMP: Low-Downtime Runtime Model-Parallelism Reconfiguration for LLM Serving

ReMP：面向LLM服务的低停机时间运行时模型并行重配置

Haipeng Yuan, Kaining Zheng, Yongshu Bai, Yuchen Zhang, Yunquan Zhang, Baodong Wu, Xiang Gao, Daning Cheng

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ReMP框架，通过解耦拓扑与运行时状态、二维KV缓存迁移等技术，实现LLM推理服务中模型并行拓扑的在线动态调整，将重配置停机时间从分钟级降至1-7秒。

Latency Prediction for LLM Inference on NPU Systems

NPU系统上LLM推理的延迟预测

Juhyun Park, Seungwoo Jeong, Jingyu Lee, Kyungyong Lee

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对NPU上LLM推理延迟预测面临微架构不公开、编译器优化不可预测和分桶导致非线性延迟的挑战，提出LENS延迟估计器，通过每个桶两次端到端测量组合预测任意输入输出长度组合的延迟，平均预测误差2.15%。

Comments 12 pages, 9 figures

LUMEN: Coordinated Failure Recovery for Distributed LLM Serving

LUMEN：分布式LLM服务的协调故障恢复

Zhang Cao, Shujie Han, Juncheng Zhang, Yuanming Ren, Yongkun Li, Patrick P. C. Lee

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对分布式LLM服务中工作节点故障导致KV缓存丢失和请求重算的问题，提出LUMEN系统，通过负载感知的协调恢复策略（检查点放置、中断请求分配、容量恢复）显著提升服务与恢复时间。

Bifrost: Hybrid TEE-FHE Inference for Privacy-Preserving Transformer and LLM Serving

Bifrost: 面向隐私保护Transformer和LLM服务的混合TEE-FHE推理架构

Chenghao Chen, Kailun Qin, Xiaolin Zhang, Chi Zhang, Dawu Gu

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Bifrost混合架构，利用CPU TEE处理非线性操作和状态刷新，FHE加密线性层委托给加速器，实现安全高效的LLM推理，相比纯FHE方案延迟降低9-53倍。

Evaluating LLM Coding Agents on SZ-Family Lossy Compression Across Architectures

评估LLM编码代理在不同架构上的SZ系列有损压缩

Changqing Li, Shouwei Gao, Kai Zhao, Sheng Di, Wenqian Dong

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 评估LLM编码代理在SZ系列有损压缩内核上的表现，发现GPU上强模型性能高但对提示敏感，Cerebras上主要挑战是生成可运行程序，且代理在模块化内核上更有效。

Comments 5 pages, 4 figures. Accepted to IPDPS 2026 HPAI4S Workshop

Approaching Shannon Bound with Lossless LLM Weight Compression

接近香农极限的无损LLM权重压缩

Hongshi Tan, Yao Chen, Gustavo Alonso, Weng-Fai Wong, Bingsheng He

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过熵分析发现LLM权重有效熵远低于存储位宽，提出基于非对称数字系统的瓦片级无损解压框架，实现接近香农极限的压缩率，在SGLang中集成后显著提升批处理大小和吞吐量。

Comments Accepted to ISCA 2026

STEPS: Semantic Contract-Guided Scheduling for LLM-Assisted Natural Language-Driven Edge AI Services

STEPS: 面向LLM辅助自然语言驱动的边缘AI服务的语义契约引导调度

Houyi Qi, Minghui Liwang, Xianbin Wang, Xinlei Yi, Seyyedali Hosseinalipour

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出STEPS框架，通过语义契约将用户自然语言需求转化为可执行接口，利用LLM解析服务级别和置信度，构建势博弈模型联合优化节点选择、资源分配和带宽分配，提升语义契约满足率并适应模糊请求。

Maestro: Workload-Aware Cross-Cluster Scheduling for LLM-Based Multi-Agent Systems

Maestro: 面向基于LLM的多智能体系统的工作负载感知跨集群调度

Jinghao Wang, Xiao Zhou, Xiaoyang Sun, Yihui Zhang, Yilong Li, Tianyu Wo, Xu Wang, Chunming Hu, Renyu Yang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Maestro调度系统，利用智能体语义预测输出长度和内存使用，通过层次化调度（节点级多模型共置、集群级延迟感知路由、全局工作流感知优先级）在严格GPU预算下优化LLM多智能体服务，减少KV缓存HBM占用67.2%，提高高竞争SLO达标率23.6个百分点。

Comments Accepted to the 46th IEEE International Conference on Distributed Computing Systems (ICDCS 2026). 11 pages