语言大模型 / LLM

LLM Compression by Block Removal with Constrained Binary Optimization

通过带约束二进制优化的块移除进行LLM压缩

David Jansen, Roman Rausch, Ali Hashemi, David Montero, Román Orús

机构 * Multiverse Computing（多维计算公司） ； Donostia International Physics Center（多斯蒂亚国际物理中心） ； Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出将大语言模型块移除压缩问题建模为约束二进制优化，映射到Ising玻璃系统，实现高效排序和高质量非连续块移除，在50%压缩时MMLU提升近23个百分点，且计算高效、通用性强。

Comments 16 pages, 3 figures

Structuring The Future: Diffusion LLM Speculative Decoding via Calibrated Draft Graphs

构建未来：通过校准草稿图实现扩散LLM推测解码

Sudhanshu Agrawal, Risheek Garrepalli, Raghavv Goel, Christopher Lott, Fatih Porikli, Mingu Lee

机构 * University of Waterloo（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Spiffy算法，利用校准的草稿图结构实现扩散LLM的推测解码，在保持输出分布的同时加速推理，最高减少8.6倍模型推理次数并加速6.3倍令牌生成速率。

Comments Original version uploaded on Sep 22, 2025. (v2): Extended Table 2 with additional analysis and referenced it in Sec 5.2. (v3): Added note to Sec 4.2 and Appendix A.2 specifying conditions for losslessness. (v4): Updated with the version accepted to ICML 2026 workshops

Compact LLM Deployment and World Model Assisted Offloading in Mobile Edge Computing

紧凑型大语言模型部署与世界模型辅助的卸载在移动边缘计算中

Ruichen Zhang, Xiaofeng Luo, Jiayi He, Jiawen Kang, Zehui Xiong, Shiwen Mao

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了移动边缘计算网络中紧凑型大语言模型（LLM）部署和世界模型辅助的推断卸载问题，提出了一种边缘紧凑型LLM部署（ECLD）框架，结合结构化剪枝、低比特量化和知识蒸馏来构建可部署于边缘的LLM变种，并通过四个互补指标评估这些模型。基于这些紧凑模型，提出了一个MEC卸载优化问题，旨在最小化长期平均推断延迟，同时满足设备能耗预算和LLM特定的服务质量约束。为了解决未知且时间变化的网络动态问题，开发了一种世界模型-近端策略优化（PPO）算法，该算法在原策略优化算法中加入了学习的递归世界模型，以提供改进的价值目标和短时间想象回放。

Comments 16 pages, 10 figures

Topology-Aware LLM-Driven Social Simulation: A Unified Framework for Efficient and Realistic Agent Dynamics

基于拓扑的LLM驱动社交模拟：一种统一框架用于高效且真实的代理动态

Yuwei Xu, Shulun Zhang, Yingli Zhou, Shipei Zeng, Laks V. S. Lakshmanan, Chenhao Ma

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出TopoSim框架，通过整合拓扑结构推理提升社交模拟的效率和真实性，实验显示其在多个框架和数据集上均表现出更优的模拟精度和更低的资源消耗。

Toward Agentic Governance: What Shapes LLM-Agent Intervention in Public Forums?

走向代理治理：什么决定了LLM代理在公共论坛中的干预？

Luyang Zhang, Yi-Yun Chu, Ramayya Krishnan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 研究LLM代理在公共论坛中干预行为的变化，发现四个部署选择（模型版本、权重开放状态、服务提供商、系统提示策略）独立影响响应率，且开放权重与封闭权重模型在可见挑战上的拒绝倾向存在系统性差异。

Beyond Block Boundaries: Multi-Block Editing for Diffusion Large Language Models

超越块边界：扩散大语言模型的多块编辑

Xingyu Mou, Zijin Huang, Tianze Zhang, Yuxin Ma, Lanning Wei, Zengfeng Huang, Da Zheng, Lun Du

机构 * Ant Group（蚂蚁集团） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对块扩散语言模型的块边界问题，提出多块编辑（MBE）方法。通过无需训练的解码算法编辑前序块令牌，引入监督微调策略，扩展SGLang提升效率。实验表明该方法在保持吞吐量时优于基线，在长程一致性任务上有显著性能提升。

RDQ: Residual Distribution Quantization for Large Language Models

RDQ：大语言模型的残差分布量化

Prateek Singh

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究大语言模型PTQ在低精度下降问题，提出RDQ框架，通过级联误差补偿，在多种测试架构上取得最优结果，输出标准量化且零运行时开销。

Comments I am withdrawing due to compliance issue of my organisation

Overcoming the Communication-Performance Tradeoff in LLM Pretraining

克服大语言模型预训练中的通信-性能权衡

Amir Sarfi, Benjamin Thérien, Joel Lidin, Eugene Belilovsky

机构 * Covenant AI ； Université de Montréal, Mila（蒙特利尔大学，Mila） ； Concordia University, Mila（康科德大学，Mila） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 研究旨在克服大语言模型预训练中的通信-性能权衡，提出SparseLoCo算法，利用Top-k稀疏化和2比特量化，使传输伪梯度极端稀疏，在不同模型规模等情况下，相比DiLoCo性能更好且伪梯度压缩优势明显。

Comments 22 pages, 19 tables, 7 figures

Exposing Long-Tail Safety Failures in Large Language Models through Efficient Diverse Response Sampling

通过高效多样响应采样暴露大语言模型中的长尾安全故障

Suvadeep Hajra, Palash Nandi, Tanmoy Chakraborty

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 本文通过多样响应生成方法系统暴露大语言模型的安全故障，提出PDPS算法在降低计算成本的同时提高攻击成功率，并生成更多多样化的不安全输出。

Comments Accepted by Transactions on Machine Learning Research (TMLR)

Latency-Response Theory Model: Evaluating Large Language Models via Response Accuracy and Chain-of-Thought Length

延迟-响应理论模型：通过响应准确性和思维链长度评估大语言模型

Zhiyu Xu, Jia Liu, Yixin Wang, Yuqi Gu

机构 * Department of Statistics, Columbia University（哥伦比亚大学统计系） ； Department of Statistics, University of Michigan（密歇根大学统计系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 针对大语言模型评估问题，提出延迟-响应理论（LaRT）模型，联合考虑响应准确性和思维链长度，通过引入关键参数建模，推导高效算法估计参数，经理论和模拟研究验证其优势，实际数据评估中表现优于项目反应理论（IRT）。

Prune, Update and Trim: Robust Structured Pruning for Large Language Models

剪枝、更新与裁剪：大型语言模型的鲁棒结构剪枝

Diego Coello de Portugal Mecke, Tom Hanika, Lars Schmidt-Thieme

机构 * ISMLL & DARC VWFS University of Hildesheim（ISMLL与DARC VWFS大学海德斯海姆大学） ； ISMLL University of Hildesheim（ISMLL大学海德斯海姆大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Putri方法，通过更新未剪枝权重、按顺序剪枝FFN层以及移除单个注意力头来改进大型语言模型的后训练剪枝，实现了在极端稀疏率下的高效剪枝。

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

AugServe：用于增强型大语言模型推理服务的自适应请求调度

Ying Wang, Zhen Jin, Jiexiong Xu, Wenhai Lin, Yiquan Chen, Wenzhi Chen

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究针对增强型大语言模型推理服务效率问题及现有系统挑战，提出AugServe框架，采用两阶段自适应请求调度策略并动态调整令牌批处理机制，有效提升了有效吞吐量并减少首次令牌时间。

Toward Autonomous O-RAN: A Multi-Scale Agentic AI Framework for Real-Time Network Control and Management

迈向自主O-RAN：一种用于实时网络控制与管理的多尺度智能体AI框架

Hojjat Navidan, Mohammad Cheraghinia, Jaron Fontaine, Mohamed Seif, Eli De Poorter, H. Vincent Poor, Ingrid Moerman, Adnan Shahid

机构 * IDLab, Department of Information Technology at Ghent University - imec（IDLab，格鲁特大学信息科技系 - imec） ； Department of Electrical and Computer Engineering, Princeton University（电气与计算机工程系，普林斯顿大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种多尺度智能体AI框架，通过非实时、近实时和实时控制环的协调层次结构，实现O-RAN的自主网络控制与管理，并在非平稳条件下和意图驱动的切片资源控制场景中验证了其有效性。

Comments Accepted for publication in the IEEE Network magazine

ART: Attention Run-time Termination for Efficient Large Language Model Decoding

ART：面向高效大语言模型解码的注意力运行时终止

Chen Qiu, Guozhong Li, Cristian McGee, Aritra Dutta, Panos Kalnis

机构 * King Abdullah University of Science and Technology（卡布尔大学科学与技术大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 提出注意力运行时终止（ART）机制，通过跟踪累积注意力输出并在贡献可忽略时终止后续KV块访问，在不显著影响准确率的情况下将大批量生成吞吐量提升20%。

NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models

NanoQuant: 大型语言模型高效子1位量化

Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出NanoQuant，一种新型后训练量化方法，能够将大型语言模型压缩到二进制和子1位水平，通过低秩二进制分解问题实现高效压缩，并在消费者硬件上实现大规模部署。

Comments Accepted to ICML 2026. Hyochan Chong and Dongkyu Kim contributed equally to this work

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference

OBCache: 面向高效长上下文LLM推理的最优脑KV缓存剪枝

Yuzhe Gu, Xiyu Liang, Jiaojiao Zhao, Enmao Diao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出OBCache框架，将缓存驱逐形式化为逐层结构化剪枝问题，基于最优脑损伤理论量化令牌显著性，通过输出感知分数改进现有驱逐策略，在长上下文任务中提升准确性。

Comments ICML 2026

Beyond Naïve Prompting: Strategies for Improved Context-aided Forecasting with LLMs

超越简单提示：改进LLMs上下文辅助预测的策略

Arjun Ashok, Andrew Robert Williams, Vincent Zhihao Zheng, Irina Rish, Nicolas Chapados, Étienne Marcotte, Valentina Zantedeschi, Alexandre Drouin

专题命中 效率与部署 ：prompting(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出四种策略，从模型诊断、准确性和效率三个正交维度改进LLMs的上下文辅助预测，通过广泛实验揭示执行差距、性能提升和成本降低的解决方案。

Comments Published at TMLR - OpenReview link: https://openreview.net/forum?id=dkjHHFJkVI

SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving

SplitZip：超快无损KV压缩用于解耦的大语言模型服务

Yipin Guo, Siddharth Joshi

机构 * University of Notre Dame IN, USA（诺丁汉大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SplitZip通过GPU友好的无损压缩技术，提升大规模LLM服务中KV缓存的传输效率，实现快速压缩和解压，显著优于现有方法。

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression

Sentinel: 通过注意力探测解码上下文利用以实现高效LLM上下文压缩

Yong Zhang, Heng Li, Yanwen Huang, Ning Cheng, Yang Guo, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao

机构 * Ping An Technology (Shenzhen) Co., Ltd., China（平安科技（深圳）有限公司，中国） ； University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出Sentinel，一种轻量级句子级压缩框架，通过冻结LLM的头部注意力模式解码推理时上下文利用行为，使用单次非自回归前向传递实现压缩，在LongBench上以0.5B代理模型达到5倍压缩且性能与7B模型方法相当。

Comments Preprint

HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference

HPIM：用于大语言模型推理的基于异构内存内处理的加速器

Cenlin Duan, Jianlei Yang, Rubing Yang, Yikun Wang, Yiou Wang, Lingkun Long, Yingjie Qi, Xiaolin He, Ao Zhou, Xueyan Wang, Weisheng Zhao

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对大语言模型推理挑战，提出HPIM，用软硬件协同设计，将工作负载依特性分至SRAM-PIM和HBM-PIM子系统，引入耦合管道策略，显著优于现有加速器。

Compiling Code LLMs into Lightweight Executables

将代码LLM编译为轻量级可执行文件

Jieke Shi, Junda He, Zhou Yang, Chengran Yang, Mykhailo Klymenko, Thong Hoang, Xiwei Xu, Zhenchang Xing, David Lo

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Ditto框架，通过量化技术和LLVM编译优化，将代码LLM模型和推理程序编译为轻量级可执行文件，实现推理速度提升、内存和能耗降低，同时保持高精度。

Comments Accepted at the 34th ACM International Conference on the Foundations of Software Engineering (FSE 2026), 25 pages

From Construction to Injection: Edit-Based Fingerprints for Large Language Models

从构建到注入：面向大型语言模型的基于编辑的指纹

Yue Li, Xin Yi, Dongsheng Shi, Yongyi Cui, Gerard de Melo, Linlin Wang

机构 * East China Normal University（华东师范大学） ； Hasso Plattner Institute/University of Potsdam（哈索罗普拉特纳研究所/波茨坦大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出端到端注入指纹框架，通过代码混合指纹和多候选编辑方法，解决黑盒部署中指纹的不可感知性和鲁棒性挑战。

Comments preprint

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching

dLLM-Cache：基于自适应缓存的扩散大语言模型加速

Zhiyuan Liu, Yicun Yang, Yaojie Zhang, Junjie Chen, Chang Zou, Qingyan Wei, Shaobo Wang, Yichen Zhu, Linfeng Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型推理延迟高的问题，提出一种无需训练的自适应缓存框架dLLM-Cache，通过长间隔提示缓存和基于特征相似性的部分响应更新，实现高效中间计算复用，在保持输出质量的同时大幅降低FLOPs。

Comments Accepted by ICML 2026

Robot guide with multi-agent control and automatic scenario generation with LLM

基于多智能体控制与大语言模型自动场景生成的机器人引导系统

Elizaveta D. Moskovskaya, Anton D. Moscowsky

机构 * National Research Center "Kurchatov Institute"（国家研究快机构"库恰托夫研究所"） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究开发了结合多智能体资源管理与LLM自动场景生成的混合社交机器人控制架构，在MENTOR-1导游机器人上验证了其能提升长期讲故事任务中机器人交互的自然性与丰富度。

Comments 14 pages, 4 figures, 4 tables, 1 demo-video and repository link. There were major changes: an introduction, a review, and a new experiment. Some tables and figures have also been changed

Token-Efficient Change Detection in LLM APIs

LLM API中的令牌高效变化检测

Timothée Chauvin, Clément Lalanne, Erwan Le Merrer, Jean-Michel Loubes, François Taïani, Gilles Tredan

机构 * Université de Rennes, Inria, CNRS/IRISA（里昂大学、法国国家信息与自动化技术研究院、法国国家科学研究中心/IRISA） ； Equipe Regalia, Inria（Regalia团队、法国国家信息与自动化技术研究院） ； LAAS, CNRS（拉劳斯研究中心、法国国家科学研究中心） ； Univ Toulouse, INUC, UT2J, INSA Toulouse, TSE, CNRS, IMT（图卢兹大学、INUC、UT2J、图卢兹国家高等工业学院、TSE、法国国家科学研究中心、IMT） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出基于边界输入的黑盒变化检测方案B3IT，在仅观察输出令牌的条件下实现低成本、高性能的LLM变化检测。

Comments ICML 2026

Beyond tokens: a unified framework for latent communication in LLM-based multi-agent systems

超越Token：基于LLM的多智能体系统中潜在通信的统一框架

Yingzhuo Liu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一个三维统一框架（通信内容、发送-接收对齐、信息融合方式），系统分类2024-2026年间18种潜在通信方法，识别五种设计模式并揭示开放挑战。

RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning

RIMRULE：通过MDL引导的规则学习改进使用工具的语言智能体

Xiang Gao, Yuguang Yao, Qi Zhang, Kaiwen Dong, Avinash Baidya, Ruocheng Guo, Hilaf Hasson, Kamalika Das

机构 * Intuit AI Research（Intuit AI研究） 纠错

专题命中 效率与部署 ：language agent(title)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对大型语言模型在特定领域使用工具的难题，提出RIMRULE神经符号方法，通过从失败轨迹提炼规则并用MDL目标巩固，以动态注入规则提升性能，实验证明该方法能提高工具使用准确性，且规则具有跨架构可移植性。

Comments Published as a long paper in the main conference of ACL 2026

KernelSight-LM: A Kernel-Level LLM Inference Simulator

KernelSight-LM: 一种内核级LLM推理模拟器

Xiteng Yao, Taeho Kim, Hengzhi Pei, Xinle Liu, Kyle Ulrich, Leonard Lausen, Ashish Khetan, Xiang Song, George Karypis, Martin Herbordt

机构 * Amazon Web Services（亚马逊网络服务） ； Boston University（波士顿大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出KernelSight-LM，一种细粒度推理模拟器，通过分解服务步骤为屋顶线内核模型、通信模型和主机开销模型，并集成前缀缓存和连续批处理，实现跨GPU代际或少量目标数据下的精确延迟预测，支持硬件/软件协同设计。

Compress the Easy, Explore the Hard: Difficulty-Aware Entropy Regularization for Efficient LLM Reasoning

压缩简单问题，探索困难问题：面向高效LLM推理的难度感知熵正则化

Qin-Wen Luo, Sheng Ren, Xiang Chen, Rui Liu, Jun Fang, Naiqiang Tan, Sheng-Jun Huang

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； College of Computer Science and Technology（计算机科学与技术学院） ； Didichuxing Co. Ltd（滴滴出行有限公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出CEEH方法，通过难度感知的熵正则化，在强化学习中对简单问题压缩推理长度，对困难问题保持探索空间，从而在减少响应长度的同时维持推理准确性。

Comments Accepted to KDD 2026