语言大模型 / LLM

Q-realign: Piggybacking Realignment on Quantization for Safe and Efficient LLM Deployment

Q-realign: 量化驱动的对齐以实现安全高效的LLM部署

Qitao Tan, Xiaoying Song, Ningxi Cheng, Ninghao Liu, Xiaoming Zhai, Lingzi Hong, Yanzhi Wang, Zhen Xiang, Geng Yuan

机构 * University of Georgia（佐治亚大学） ； University of North Texas（北卡罗来纳州立大学） ； Hong Kong Polytechnic University（香港理工大学） ； Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 Q-realign通过量化驱动的对齐方法，在部署流程中实现安全高效的LLM部署，有效减少不安全行为并降低计算开销。

Synera: Synergistic LLM Serving across Device and Cloud at Scale

Genglin Wang, Liekang Zeng, Bufang Yang, Kaiwei Liu, Guoliang Xing, Chumin Sun, Li Zhou, Jie Sun, Zhenyu Yan

机构 * The Chinese University of Hong Kong Hong Kong SAR China（香港中文大学） ； Theory Lab, Central Research Institute, 2012 Labs, Huawei Technologies Co. Ltd.（理论实验室、中央研究院、2012实验室、华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Efficient RL for optimizing conversation level outcomes with an LLM-based tutor

Hyunji Nam, Omer Gottesman, Amy Zhang, Dean Foster, Emma Brunskill, Lyle Ungar

机构 * Stanford University（斯坦福大学） ； Amazon（亚马逊公司） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

Comments 9 pages

SHARP: Accelerating Language Model Inference by SHaring Adjacent layers with Recovery Parameters

Yiping Wang, Hanxian Huang, Yifang Chen, Jishen Zhao, Simon Shaolei Du, Yuandong Tian

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

Comments 24 pages

A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs

Ankit Singh Rawat, Veeranjaneyulu Sadhanala, Afshin Rostamizadeh, Ayan Chakrabarti, Wittawat Jitkrittum, Vladimir Feinberg, Seungyeon Kim, Hrayr Harutyunyan, Nikunj Saunshi, Zachary Nado, Rakesh Shivanna, Sashank J. Reddi, Aditya Krishna Menon, Rohan Anil, Sanjiv Kumar

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

LEGO: Language Model Building Blocks

Shrenik Bhansali, Alwin Jin, Tyler Lizzo, Larry Heck

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；small language model(abstract)

Evaluating Language Models for Efficient Code Generation

Jiawei Liu, Songrun Xie, Junhao Wang, Yuxiang Wei, Yifeng Ding, Lingming Zhang

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；instruction tuning(abstract)

MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models

MLREF：基于大语言模型的强化学习奖励设计中高效模块复用框架

Chenglin Liu, Xun Wang, Ruishuo Chen, Zhuoran Li, Longbo Huang

机构 * Institute for Interdisciplinary Information Sciences Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对强化学习奖励设计瓶颈，提出MLREF框架，通过模块池复用奖励组件，结合三种优化机制，在17个任务上实现比强基线更优且更稳定的性能。

Comments 22 pages, 5 figures, 4 tables

MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection

MS-MFAD：用于人脸活体检测的多模态大语言模型

Xiaoyong Yu, Rongzhen Li, Shuming Shi, Xinge You

机构 * Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 针对人脸活体检测的复合威胁与现有方法瓶颈，提出基于多模态大语言模型MFAD的可解释系统，通过细粒度像素-语义锚定机制与少量语义标注实现优异检测性能，鲁棒性与效率更优。

How Small is Enough? Empirical Evidence of Quantized Small Language Models for Automated Program Repair

Kazuki Kusama, Honglin Shu, Masanari Kondo, Yasutaka Kamei

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)

Journal ref 2025 ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM), pp. 393-399, 2025

KV-Pipe: On the Relation Between KV Sharing and Pipeline Parallel Efficiency in LLMs

KV-Pipe：LLM中KV共享与流水线并行效率的关系

Maryam Dialameh, Hossein Rajabzadeh, Harish Krishnamoorthy Murali, Walid Ahmed, Weiwei Zhang, Hyock Ju Kwon

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 KV-Pipe是一种感知阶段的KV共享机制，通过尾优先调整跨层KV共享平衡流水线工作负载，提升LLM训练效率，同时也优化长上下文推理性能。

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune：一种基于分隔符的高效多模态大语言模型剪枝框架

Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies（长鑫存储技术有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对多模态大语言模型视觉令牌计算成本高的问题，提出SepPrune剪枝方法，以模态分隔符令牌为统一查询来排序和选择视觉令牌，复用内置投影参数，无需架构更改，在Qwen2.5-VL-7B上实验取得最优性能。

Large Language Model Assisted Intent-Based Satellite-Integrated Access and Backhaul FWA for Rural Areas

基于大语言模型辅助的意图驱动型卫星集成接入与回传的农村地区固定无线接入

Anselme Ndikumana, Kim Khoa Nguyen, Adel Larabi, Mohamed Cheriet

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对农村地区通信需求时空波动及资源利用低效问题，提出基于大语言模型辅助的意图感知卫星集成接入与回传方法，将用户意图转化为网络需求，开发动态卫星IAB的FWA网络方法，最大化能源效率，仿真验证方法有效。

Enhancing Hepatopathy Clinical Trial Efficiency: A Secure, Large Language Model-Powered Pre-Screening Pipeline

提升肝病临床试验效率：一种安全的、基于大语言模型的预筛选流程

Xiongbin Gui, Hanlin Lv, Xiao Wang, Longting Lv, Yi Xiao, Lei Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于大语言模型的安全预筛选流程，通过两种策略提升肝病临床试验的效率与精度。

Comments 30 pages, 5 figures

Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

用于大语言模型极低比特量化的跨层误差补偿和有限样本特征统计匹配

Ryona Noda

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 研究大语言模型极低比特量化问题，提出跨层误差补偿和有限样本特征统计匹配联合优化方法，证明相关递归对任意非线性层精确化，实现高效实现，实验表明该方法在降低困惑度比及保持特征统计差异等方面效果显著。

Accelerating Masked Diffusion Large Language Models: A Survey of Efficient Inference Techniques

加速掩码扩散大语言模型：高效推理技术综述

Daehoon Gwak, Minhyung Lee, Junwoo Park, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 综述介绍用于扩散大语言模型的统一延迟分解框架，以理清算法、架构和系统因素对推理速度的影响，将加速技术分类，提供可重复基准测试指导方针并强调实现并行生成潜力的挑战。

Comments Accepted at IJCAI-ECAI 2026 (Survey Track)

Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization

用于高效令牌和语义保留观点摘要的大语言模型

Fabrizio Marozzo, Stefano Iannicelli

机构 * University of Calabria（卡拉布里亚大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

AI总结 研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用，结合多维分类与分层抽样策略选择观点子集，定制提示生成摘要，实验证明该方法能降本增效，优于传统和标准大语言模型摘要基线。

Code-Level Cost Function Generation for Spatial Image Steganography Using RAG-Enhanced Large Language Models

使用RAG增强大语言模型进行空间图像隐写术的代码级成本函数生成

Yige Wang, Shiqi Yi, Hanzhou Wu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 该研究针对空间图像隐写术成本函数设计难题，提出利用RAG增强大语言模型的进化系统，含SE-RAG模块及反馈机制。实验表明，此框架安全性更高，还提升了代码执行率并降低搜索成本，凸显结合大语言模型与领域知识的优势。

Selective Disclosure Watermarking for Large Language Models

面向大语言模型的选择性披露水印技术

Xuyang Chen, Xiang Li, Yangxinyu Xie, Qi Long

机构 * Xuyang Chen 1（陈绪阳 1） ； Xiang Li 1（李翔 1） ； Yangxinyu Xie 1（谢洋新宇 1） ； Qi Long 1（龙启 1） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有多比特LLM水印无法部分披露引发隐私泄露问题，提出分层词汇路由框架，实现细粒度水印访问控制，保障文本质量且检测精度高、延迟低。

Comments Accepted at ICML 2026

HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference

HPIM：用于大语言模型推理的基于异构内存内处理的加速器

Cenlin Duan, Jianlei Yang, Rubing Yang, Yikun Wang, Yiou Wang, Lingkun Long, Yingjie Qi, Xiaolin He, Ao Zhou, Xueyan Wang, Weisheng Zhao

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对大语言模型推理挑战，提出HPIM，用软硬件协同设计，将工作负载依特性分至SRAM-PIM和HBM-PIM子系统，引入耦合管道策略，显著优于现有加速器。

Compiling Code LLMs into Lightweight Executables

将代码LLM编译为轻量级可执行文件

Jieke Shi, Junda He, Zhou Yang, Chengran Yang, Mykhailo Klymenko, Thong Hoang, Xiwei Xu, Zhenchang Xing, David Lo

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Ditto框架，通过量化技术和LLVM编译优化，将代码LLM模型和推理程序编译为轻量级可执行文件，实现推理速度提升、内存和能耗降低，同时保持高精度。

Comments Accepted at the 34th ACM International Conference on the Foundations of Software Engineering (FSE 2026), 25 pages

Words as Difference Makers: How Large Language Models Determine Causal Structure in Text

词汇作为差异制造者：大型语言模型如何确定文本中的因果结构

Wolfgang Pietsch

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出大型语言模型通过变分归纳逻辑学习因果结构，并分析其训练过程与架构特征如何实现差异制造者识别。

Comments 36 pages, 6 figures

From Construction to Injection: Edit-Based Fingerprints for Large Language Models

从构建到注入：面向大型语言模型的基于编辑的指纹

Yue Li, Xin Yi, Dongsheng Shi, Yongyi Cui, Gerard de Melo, Linlin Wang

机构 * East China Normal University（华东师范大学） ； Hasso Plattner Institute/University of Potsdam（哈索罗普拉特纳研究所/波茨坦大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出端到端注入指纹框架，通过代码混合指纹和多候选编辑方法，解决黑盒部署中指纹的不可感知性和鲁棒性挑战。

Comments preprint

Large Language Models in Process Systems Engineering: Opportunities, Architectures, and Industrial Deployment Challenges

过程系统工程中的大语言模型：机遇、架构与工业部署挑战

Bhushan Gopaluni, Vidya Kotamraju, Syon Bhushan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文系统综述了大语言模型在过程系统工程中的应用，涵盖七个领域，指出其在自然语言任务上表现良好，但在实时执行、约束满足和形式化安全保证方面仍面临挑战。

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching

dLLM-Cache：基于自适应缓存的扩散大语言模型加速

Zhiyuan Liu, Yicun Yang, Yaojie Zhang, Junjie Chen, Chang Zou, Qingyan Wei, Shaobo Wang, Yichen Zhu, Linfeng Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型推理延迟高的问题，提出一种无需训练的自适应缓存框架dLLM-Cache，通过长间隔提示缓存和基于特征相似性的部分响应更新，实现高效中间计算复用，在保持输出质量的同时大幅降低FLOPs。

Comments Accepted by ICML 2026

Edge-Aware Curvature Modeling for Graph Understanding in Large Language Models

面向大语言模型图理解的边缘感知曲率建模

Zhenghong Lin, Zhibin Shi, Hongyang Dong, Xinjie Ye, Yuhong Chen, Shiping Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对图感知大语言模型中节点级对齐忽略边缘信息导致信息传播次优的问题，提出CureLLM框架，通过无训练文本提示和曲率感知图表示学习注入边缘信号，在11个数据集上超越20种对比方法。

$R^2$-dLLM: Accelerating Diffusion Large Language Models via Spatio-Temporal Redundancy Reduction

$R^2$-dLLM: 通过时空冗余减少加速扩散大语言模型

Zhenbang Du, Kejing Xia, Xinrui Zhong, Yonggan Fu, Nicolai Oswald, Binfei Ji, Brucek Khailany, Pavlo Molchanov, Yingyan Lin

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 $R^2$-dLLM 框架，通过推理和训练两阶段减少扩散大语言模型解码中的空间和时间冗余，实现高达 88% 的解码步数减少并保持生成质量。

ProbeScale: Probing Analysis to Optimize Neural Scaling Laws for Efficient Small Language Model Inference

ProbeScale: 通过探测分析优化神经缩放定律以实现高效小语言模型推理

Sourav Das

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Indian Institution of Information Technology Kalyani（印度信息技术学院Kalyani） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ProbeScale框架，利用缩放定律和探测分析从预训练小语言模型中识别参数高效子网络，在参数预算下最大化任务加权探测性能，实现5-10倍参数压缩并保持95%-98%原始性能。

Comments 7 pages, 2 figures, ACL

Confidence-Modulated Speculative Decoding for Large Language Models

置信度调节的推测解码用于大型语言模型

Jaydip Sen, Subhasis Dasgupta, Hetvi Waghela

机构 * Department of Data Science（数据科学系） ； Praxis Business School（普拉克斯商学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于置信度调节的推测解码框架，通过熵和边际不确定性度量动态调整草稿长度与验证过程，在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。

Comments This is the preprint of the paper, which has been accepted for oral presentation and publication in the proceedings of IEEE INDISCON 2025. The conference will be organized at the National Institute of Technology, Rourkela, India, from August 21 to 23, 2025. The paper is 10 pages long, and it contains 2 figures and 5 tables

Toward General Quantum Control with Physics-Informed Large Language Models

面向通用量子控制的物理信息大语言模型

Yusheng Zhao, Han Wang, Xin Liu, Xinjie Song, Jixi He, Lingwei Song, Yuanhe Ji, Ken Deng, Runqing Zhang, Zhiguo Huang, Ling Qian, Jize Han, Di Luo

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 提出VF-QCTRL框架，结合物理信息大语言模型与符号推理及优化，实现通用量子控制协议的高保真度设计，并通过QCTRL-BENCH基准测试验证其通用性、准确性、效率和可解释性。