语言大模型 / LLM

CentroidKV: Efficient Long-Context LLM Inference via KV Cache Clustering

CentroidKV: 通过KV缓存聚类实现高效的长上下文LLM推理

Jie Hu, Shengnan Wang, Yutong He, Ping Gong, Jiawei Yi, Juncheng Zhang, Youhui Bai, Renhai Chen, Gong Zhang, Cheng Li, Kun Yuan

机构 * Peking University（北京大学） ； Huawei Technologies（华为技术有限公司） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CentroidKV框架，通过在线聚类KV缓存减少内存占用，在保持性能的同时实现高达75%的缓存压缩和1.92倍解码加速。

NeST: Neuron Selective Tuning for LLM Safety

NeST: 面向LLM安全的神经元选择性调优

Sasha Behrouzi, Lichao Wu, Mohamadreza Rostami, Ahmad-Reza Sadeghi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出NeST框架，通过激活探测识别安全相关前馈神经元并训练共享簇级更新，仅用普通恶意提示即可泛化防御多种越狱攻击，在14个模型上以极少参数实现接近全微调的鲁棒性。

Swift-SVD: Theoretical Optimality Meets Practical Efficiency in Low-Rank LLM Compression

Swift-SVD：在低秩LLM压缩中理论最优与实用效率的结合

Ruoling Qi, Yirui Liu, Xuaner Wu, Xiangyu Wang, Ming Li, Chen Chen, Jian Chen, Yin Chen, Qizhen Weng

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Swift-SVD框架，通过激活感知和闭式压缩方法，在保证理论最优的同时提升实用效率和数值稳定性，实验显示其在压缩精度和端到端压缩时间上有显著优势。

Comments Accepted to ICML 2026

Constitutional On-Policy Safe Distillation

宪法性在策略安全蒸馏

Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Yi Liu, Xingjun Ma, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

基于ML/密码学协同设计的大语言模型鲁棒安全代码水印

Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 该研究提出首个ML/密码学协同设计的RoSeMary框架，通过端到端训练结合CodeT5实现高质量代码水印，用零知识证明安全验证，兼具高检测准确率、抗攻击能力与高效性。

Comments accept to ACM TAISAP

SODA: Semi On-Policy Black-Box Distillation for Large Language Models

SODA：大语言模型的半在线盒式知识蒸馏

Xiwen Chen, Jingjing Wang, Wenhui Zhu, Peijie Qiu, Xuanzhao Dong, Yueyue Deng, Hejian Sang, Zhipeng Wang, Alborz Geramifard, Feng Luo

机构 * Clemson University（克莱姆森大学） ； LinkedIn（领英） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Arizona State University（亚利桑那州立大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SODA，一种高效的半在线盒式知识蒸馏方法，通过对比教师最优响应与学生静态输出，实现高质量分布对齐，无需动态回放和对抗平衡，提升蒸馏效率和稳定性。

Comments Efficient Reasoning@COLM

The Asymmetric Effects of Knowledge Distillation on Bias in Small Language Models

知识蒸馏对小型语言模型偏见的非对称影响

Plawan Kumar Rath

机构 * Meta 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；SFT(abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究发现知识蒸馏对小型语言模型偏见存在非对称影响，明确任务下提升上下文遵循能力，模糊任务下破坏弃权校准，提出PCCD协议可捕捉聚合指标遗漏的危害。

Comments 18 pages, 5 figures. Preprint

SOD: Step-wise On-policy Distillation for Small Language Model Agents

SOD：分步式在线蒸馏用于小型语言模型代理

Qiyong Zhong, Mao Zheng, Mingyang Song, Xin Lin, Jie Sun, Houcheng Jiang, Xiang Wang, Junfeng Fang

机构 * Zhejiang University（浙江大学） ； Large Language Model Department, Tencent（腾讯大语言模型部门） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对小型语言模型中工具集成推理的稳定性问题，提出SOD分步式在线蒸馏框架，通过动态调整蒸馏强度缓解教师信号误导，提升推理性能。

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities

大语言模型的低精度训练：方法、挑战与机遇

Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Guoxia Wang, Dianhai Yu, Yonggang Wen, Dacheng Tao

机构 * School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学） ； Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（网络科学与技术学院，中山大学深圳校区） ； School of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； Baidu Inc.（百度公司） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本综述全面梳理大语言模型低精度训练方法，按数值格式分类并探讨相关挑战、鲁棒性及研究方向，助力统一该领域研究视角。

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode: 可证的子词汇解码以实现高效的大型语言模型推理

Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； College of Engineering, Columbia University（哥伦比亚大学工程学院） ； Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 CSV-Decode通过构建子词汇表实现高效的大语言模型推理，提供精确的top-k认证和ε-认证的softmax近似，显著提升速度并保持分布保证。

NanoZK: Privacy-Preserving Verifiable Inference for Large Language Models via Layerwise Zero-Knowledge Proofs

NANOZK：用于可验证大语言模型推理的分层零知识证明

Zhaohui Wang

机构 * USC Viterbi School of Engineering（USC维特里维学院工程学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 NANOZK通过分层零知识证明验证大语言模型推理，采用分层证明框架实现常数大小证明，提升可扩展性与并行证明效率，同时保持形式正确性。

Comments Extended version. The first 12 pages correspond to the ICICS 2026 (Springer LNCS) camera-ready paper. This version supersedes the earlier ICLR 2026 VeriFAI Workshop preprint and adds full security proofs, Halo2 circuit details, lookup-table derivations, extended experiments, verifier-cost analysis, GPU scaling, reproducibility instructions, and appendices omitted from the proceedings

Accelerating Large Language Model Inference with Self-Supervised Early Exits

通过自监督早期退出加速大语言模型推理

Florian Valade

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究通过在中间层添加自监督早期退出头加速大语言模型推理，评估多种置信度指标，实验表明可降成本保精度，还应用于推测性解码提出DSSD，高令牌接受率且少超参数调整。

When Less is More: 8-bit Quantization Improves Continual Learning in Large Language Models

少即是多：8位量化改善大型语言模型的持续学习

Michael S. Zhang, Rishi A. Ruia, Arnav Kewalram, Saathvik Dharmapuram, Utkarsh Sharma, Kevin Zhu

机构 * Algoverse 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文系统研究量化精度（FP16、INT8、INT4）与重放缓冲区策略在大型语言模型持续学习中的交互，发现量化模型在后续任务上优于FP16，INT8在学习可塑性与知识保留间取得最佳平衡，量化噪声充当隐式正则化防止过拟合。

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

更高效利用预算：使用重置与丢弃（ReD）方法在固定预算下提升大型语言模型的推理性能

Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

机构 * School of Chemistry, Tel Aviv University（特拉维夫大学化学系） ； The Center for Physics and Chemistry of Living Systems, Tel Aviv University（特拉维夫大学生命系统物理与化学中心） ； School of Physics and Astronomy, Tel Aviv University（特拉维夫大学物理与天文学系） ； The Center for Computational Molecular and Materials Science, Tel Aviv University（特拉维夫大学计算分子与材料科学中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对固定预算下大型语言模型推理的收益递减问题，提出重置与丢弃（ReD）查询方法，通过优化尝试分配提升覆盖率，并在编码、数学和推理基准上验证了其成本节约效果。

NVLLM: A 3D NAND-Centric Architecture Enabling Edge on-Device LLM Inference

NVLLM：一种以3D NAND为中心的架构， enabling 边缘设备上的LLM推理

Mingbo Hao, Changwei Yan, Haoyu Cui, Zhihao Yan, Yizhi Ding, Zhangrui Qian, Weiwei Shan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 NVLLM通过将前馈网络计算移至Flash并利用轻量CMOS逻辑执行注意力，实现边缘设备上的高效LLM推理，其在参数规模达30B的模型上实现了显著的加速。

Comments Published in the Proceedings of the 63rd ACM/IEEE Design Automation Conference (DAC 2026). This version includes additional supplementary material

Journal ref Proceedings of the 63rd ACM/IEEE Design Automation Conference (DAC 2026), 2026

Harmonia: Algorithm-Hardware Co-Design for Memory- and Compute-Efficient BFP-based LLM Inference

Harmonia：面向内存和计算效率的BFP基大语言模型推理算法-硬件协同设计

Xinyu Wang, Jieyu Li, Yanan Sun, Weifeng He

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 Harmonia通过算法-硬件协同设计实现所有层BFP激活，提升LLM推理的内存和计算效率。

Multi-Attribute Steering of Language Models via Targeted Intervention

通过目标干预对语言模型进行多属性引导

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何对语言模型进行多属性引导，提出MAT-Steer框架，通过对齐目标学习引导向量，减少属性间冲突，在问答和生成任务中评估，该框架优于现有方法。

Comments ACL 2025 camera-ready, code link: https://github.com/duykhuongnguyen/MAT-Steer

Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving

用于分布式大语言模型适配器服务的GPU效率数据驱动优化

Ferran Agullo, Joan Oliveras, Chen Wang, Alberto Gutierrez-Torre, Olivier Tardieu, Alaa Youssef, Jordi Torres, Josep Ll. Berral

机构 * BSC（巴塞罗那超级计算中心） ； IBM（国际商业机器公司） ； UPC（巴塞罗那技术大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究分布式大语言模型适配器服务中GPU资源利用问题，提出数据驱动管道，通过性能预测、数字孪生等组件，以最少GPU服务工作负载，提升效率，还可用于其他目标。

Comments update of the journal paper contents after major revision

Think Harder and Don't Overlook Your Options: Revisiting Issue-Commit Linking with LLM-Assisted Retrieval

深入思考并不要忽视你的选项：重新审视基于LLM辅助检索的议题-提交链接

Cole Morgan, Muhammad Asaduzzaman, Shaiful Chowdhury, Shaowei Wang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文重新评估了多种议题-提交链接恢复技术，通过比较不同检索方法和机器学习模型，发现密集检索优于稀疏检索，传统机器学习方法性能优于大语言模型。

Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference

Fast-dLLM++: 用于更快扩散LLM推理的Fréchet轮廓解码

Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型推理中并行令牌生成的瓶颈，提出Fréchet轮廓解码方法，通过利用异构置信度轮廓选择并行提交集，在保持模型和缓存不变的情况下提升吞吐量。

Comments Initial version accepted at Workshop on Structured Probabilistic Inference & Generative Modeling, ICML 2026. Project Page: https://ringo-star.github.io/projectpage_frechet/

Statistically-Lossless Quantization of Large Language Models

大语言模型的统计无损量化

Michael Helcig, Eldar Kurtic, Dan Alistarh

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出统计无损压缩的中间路径，定义任务无损与分布无损的量化标准，证明对称与非对称量化的方差差异，通过SLQ方法实现大语言模型的任务无损、分布无损压缩及1.7-3.7倍推理加速。

Compressing LLMs with MoP: Mixture of Pruners

用MoP压缩LLM：剪枝混合方法

Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MoP通过结合深度和宽度剪枝，提升了LLM的压缩效率和推理速度，同时在视觉-语言模型中实现了更高的计算效率。

Comments Code and models are available at: https://github.com/c2d-usp/Efficient-LLMs-with-MoP

LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

LaCache：用于扩散大语言模型的精确缓存和精度自适应推理

Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

机构 * Li Auto Inc.（理想汽车公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对扩散大语言模型算子级冗余问题，提出LaCache加速框架，通过无损缓存中间结果及集成FP8量化策略，无需训练，单独使用可实现约1.3倍端到端加速，与现有方法结合可达40.2倍加速且保持任务精度。

Beyond LLMs: A Linguistic Approach to Causal Graph Generation from Narrative Texts

超越大语言模型：一种从叙事文本生成因果图的语言学方法

Zehan Li, Ruhua Pan, Xinyu Pi

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出从叙事文本生成因果图的框架，先以LLM提取顶点，引入含七个语言特征的“专家索引”并集成到分类模型，结合RoBERTa嵌入提升因果关系识别精度，经五次迭代提示构建因果图，实验证明其优于GPT-4o和Claude 3.5，还提供开源工具。

Comments published at the 7th Workshop on Narrative Understanding, NAACL 2025

Fair-GPTQ: Bias-Aware Quantization for Large Language Models

Fair-GPTQ：大语言模型的偏差感知量化

Irina Proskurina, Guillaume Metzler, Julien Velcin

机构 * Université Claude Bernard Lyon 1（克莱尔伯恩大学里昂1分校） ； Université Lumière Lyon 2（里昂2大学） ； ERIC ； École Centrale de Lyon（里昂中央理工学院） ； LIRIS ； CNRS UMR 5205（国家科学研究中心UMR 5205） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究针对生成式语言模型高内存需求的量化问题，通过在量化目标中添加显式组公平约束建立与模型公平的新联系，引入Fair-GPTQ减少大语言模型不公平性，性能影响小且保留量化优势。

QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs

QTALE: 面向LLM的量化鲁棒令牌自适应层执行

Kanghyun Noh, Jinheon Choi, Yulhwa Kim

机构 * Department of Semiconductor Systems Engineering, Sungkyunkwan University（成均馆大学半导体系统工程系） 纠错

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出QTALE框架，通过多样化训练路径和后训练调整机制，实现令牌自适应层执行与量化的无缝集成，在保持精度的同时降低计算和内存开销。

Comments 22 pages, 10 figures, 20 tables,

Journal ref ICML 2026 Poster

Why Are Some Emotions Harder for LLMs? Uncovering the Causal Mechanisms of Emotion Inference via Sparse Autoencoders

从语法到情感：对LLM中情感推理的机制分析

Bangzhao Shu, Arinjay Singh, Mai ElSherief

机构 * Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过稀疏自编码器研究LLM内部情感识别机制，发现情感特征在最终阶段出现，包含共享和特定情感特征，并提出可解释的因果特征引导方法提升情感识别性能。

Comments 19 pages including appendix

How Small Can 6G Reason? Scaling Tiny-to-Small Language Models for AI-Native Networks

6G 推理能有多小？面向 AI 原生网络的微小型语言模型缩放

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, United Arab Emirates University, UAE（计算机与网络工程系，阿联酋大学） ； Research Institute for Digital Future, Khalifa University, UAE（未来数字研究院，哈利法大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；large language model(abstract)；分类 cs.AI

AI总结 本文系统研究小型语言模型在 6G 网络语义推理中的缩放行为与部署效率，发现 1.5B-3B 参数的中等模型在确定性稳定性和计算效率间取得最佳平衡。

Toward Non-Expert Customized Congestion Control: Large Language Model-Assisted CCA Code Generation with eBPF Deployment

面向非专家用户的定制化拥塞控制：基于大语言模型的CCA代码生成与eBPF部署

Mingrui Zhang, Hamid Bagheri, Lisong Xu

机构 * School of Computing, University of Nebraska-Lincoln（内布拉斯加大学林肯分校计算机学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出NECC框架，利用大语言模型和eBPF接口，使非专家用户能轻松建模、实现和部署定制化拥塞控制算法，首次解决定制化CCA实现问题。

Comments Accepted manuscript (AAM) of IEEE ICC 2025 paper. DOI: 10.1109/ICC52391.2025.11160790

Journal ref Proc. IEEE International Conference on Communications (ICC), 2025

Meta-learning ecological priors from large language models explains human learning and decision making

从大型语言模型中元学习生态先验解释人类学习与决策

Akshay K. Jagadish, Mirko Thalmann, Julian Coda-Forno, Marcel Binz, Eric Schulz

机构 * Institute for Human-Centered AI, Helmholtz Computational Health Center（以人为本的人工智能研究所，海德堡计算健康中心） ； Computational Principles of Intelligence, Max Planck Institute for Biological Cybernetics（计算智能原理，马克斯·普朗克生物 cybernetics 研究院） ； Eberhard Karls University of Tübingen（图宾根大学） ； Princeton AI Lab, Princeton University（普林斯顿大学人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出生态理性分析框架，利用大语言模型生成生态有效任务，通过元学习得到ERMI算法，该算法内化自然问题空间的统计规律，灵活适应新情境，在15个实验中优于多个认知模型，表明人类认知可能反映对日常问题生态结构的适应性对齐。