语言大模型 / LLM

Understanding and Guiding Layer Placement in Parameter-Efficient Fine-Tuning of Large Language Models

理解并指导大语言模型参数高效微调中的层放置

Yichen Xu, Yuyang Liang, Shan Dai, Tianyang Hu, Tsz Nam Chan, Chenhao Ma

机构 * University of California, Berkeley（加州大学伯克利分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen University（深圳大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Layer Card工具，通过分析层的残差信号强度、计算成本和性能，指导大语言模型参数高效微调中的层选择，以实现性能与成本的平衡。

Efficient Attention Mechanisms for Large Language Models: A Survey

大型语言模型中的高效注意力机制：综述

Yutao Sun, Zhenyu Li, Yike Zhang, Tengyu Pan, Bowen Dong, Yuyi Guo, Jianyong Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了大型语言模型中高效注意力机制的发展，包括线性注意力和稀疏注意力方法，并分析了其在大规模预训练模型中的应用与设计。

Comments work in progress

Bootstrapping Cognitive Agents with a Large Language Model

通过大语言模型提升认知代理

Feiyu Zhu, Reid Simmons

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过大语言模型提升认知代理，结合两者优势以提高效率和领域适应性。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 38(1), 655-663 (2024)

A Practical Tensor-Network Compression Pipeline for Production-Scale Large Language Models

一种用于生产级大语言模型的实用张量网络压缩管道

Sergii Kozyrev, Davyd Maiboroda

机构 * Minima AI, Inc.（Minima AI 公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Minima是一种用于大语言模型的实用张量网络压缩管道，通过结构压缩和自定义内核提升推理效率和吞吐量。

Comments 13 pages, 5 figures

MiniLLM: On-Policy Distillation of Large Language Models

MiniLLM: 大语言模型的在线策略蒸馏

Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

机构 * The CoAI Group, Tsinghua University（清华大学CoAI小组） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MiniLLM通过反向KLD和在线策略优化，实现了对大语言模型的有效蒸馏，提升小型模型的生成质量和校准性能。

Comments Published as a conference paper in ICLR 2024

Language Lives in Sparse Dimensions: Toward Interpretable and Efficient Multilingual Control for Large Language Models

语言存在于稀疏维度：迈向可解释且高效的多语言控制大型语言模型

Chengzhi Zhong, Fei Cheng, Qianying Liu, Yugo Murawaki, Chenhui Chu, Sadao Kurohashi

机构 * Kyoto University（京都大学） ； NII（日本信息机构） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种无需训练的方法，通过稀疏维度实现多语言控制，提升大型语言模型的可解释性和效率。

Comments Accepted at EACL 2026 (Main). Our code will be available at: https://github.com/ku-nlp/language-specific-dimensions

NoWag: A Unified Framework for Shape Preserving Compression of Large Language Models

NoWag：一种用于大型语言模型形状保持压缩的统一框架

Lawrence Liu, Inesh Chakrabarti, Yixiao Li, Mengdi Wang, Tuo Zhao, Lin F. Yang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Georgia Institute of Technology（佐治亚理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 NoWag提出了一种统一的单次形状保持压缩框架，通过向量量化和剪枝技术有效压缩大型语言模型，展示了其在性能上的优势。

Is Finer Better? The Limits of Microscaling Formats in Large Language Models

更细更好吗？微缩格式在大语言模型中的局限性

Andrea Fasoli, Monodeep Kar, Chi-Chun Liu, Swagath Venkataramani, Viji Srinivasan, Leland Chang, Naigang Wang

机构 * IBM Research, USA（IBM研究院，美国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究发现微缩格式中块大小过小会导致模型输出退化，提出 FP8 无符号 E5M3 作为更高效的硬件友好格式，提升大语言模型的压缩性能。

Comments 31 pages, 17 figures, 3 tables; accepted to ICLR 2026

Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models

低资源环境下领域特定专业化：基于离线响应的知识蒸馏在大语言模型中的有效性

Erdem Aslan, Pakize Erdoğmuş

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于离线响应的知识蒸馏方法，通过优化硬件资源，在低资源环境下实现高精度领域专用助手，验证了数据质量和结构对齐比数量更重要。

Comments 10 pages, 10 tables

EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning

EfficientXpert: 通过传播感知剪枝实现大语言模型的高效领域适应

Songlin Zhao, Michael Pitts, Zhuwei Qin

机构 * Univeristy of California, Berkeley（加州大学伯克利分校） ； San Francisco State University（旧金山州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 EfficientXpert通过传播感知剪枝方法，实现大语言模型在领域适应中的高效压缩，达到接近密集性能的稀疏效果，同时保持训练时间和内存效率。

PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration

PrivTune: 通过设备-云协作实现高效且隐私保护的大型语言模型微调

Yi Liu, Weixiang Han, Chengjun Cai, Xingliang Yuan, Cong Wang

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； University of Melbourne（墨尔本大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 PrivTune通过分割学习框架，在设备-云协作中实现高效且隐私保护的大型语言模型微调，有效降低攻击成功率并保持性能。

Comments Accepted at IEEE INFOCOM 2026 (full version). Update the cited references

From Symbolic to Natural-Language Relations: Rethinking Knowledge Graph Construction in the Era of Large Language Models

从符号关系到自然语言关系：在大语言模型时代重新思考知识图谱构建

Kanyao Han, Yushang Lai

机构 * Walmart Global Tech（沃尔玛全球科技） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

AI总结 本文探讨在大语言模型时代，知识图谱构建应从符号关系转向自然语言关系描述，提出混合设计原则以实现更灵活的关系表示。

TrueBrief: Faithful Summarization through Small Language Models

TrueBrief: 通过小语言模型实现忠实的摘要生成

Kumud Lakara, Ruibo Shi, Fran Silavong

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 TrueBrief通过偏好优化范式提升小语言模型在文本摘要任务中的忠实性，通过受控幻觉注入生成合成数据以增强模型性能。

Exploring the limits of strong membership inference attacks on large language models

探索对大型语言模型的强大成员推断攻击的极限

Jamie Hayes, Ilia Shumailov, Christopher A. Choquette-Choo, Matthew Jagielski, George Kaissis, Milad Nasr, Sahra Ghalebikesabi, Meenatchi Sundaram Mutu Selva Annamalai, Niloofar Mireshghallah, Igor Shilov, Matthieu Meeus, Yves-Alexandre de Montjoye, Katherine Lee, Franziska Boenisch, Adam Dziedzic, A. Feder Cooper

机构 * Google DeepMind（谷歌DeepMind） ； University College London（伦敦大学学院） ； University of Washington（华盛顿大学） ； Imperial College London（伦敦帝国学院） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹中心） ； Stanford University（斯坦福大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过扩展LiRA攻击至GPT-2模型，揭示了强成员推断攻击在大型语言模型上的有效性及局限性，发现其在实际应用中仍存在显著的AUC限制和决策不稳定问题。

Comments NeurIPS 2025

E$^2$AT: Multimodal Jailbreak Defense via Dynamic Joint Optimization for Multimodal Large Language Models

E$^2$AT: 通过动态联合优化实现多模态对抗防御

Liming Lu, Xiang Gu, Shuchao Pang, Siyuan Liang, Haotian Zhu, Xiyu Zeng, Xu Zheng, Yongbin Zhou

机构 * School of Cyber Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学信息科学与工程学院） ； HKUST(GZ) and INSAIT, Sofia University St. Kliment Ohridski（香港科技大学（广州）及INSAIT，索菲亚大学圣克莱门特·奥赫里迪斯学院） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 E$^2$AT通过动态联合优化提升多模态大语言模型对对抗攻击的鲁棒性，实验显示其在文本和图像模态上性能优于现有方法34%。

ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning

通过动态结构剪枝将密集大语言模型转换为专家混合架构

Shangqian Gao, Ting Hua, Reza Shirkavand, Chi-Heng Lin, Zheng Tang, Zhengao Li, Longge Yuan, Fangyi Li, Zeyu Zhang, Alireza Ganjdanesh, Lou Qian, Xu Jie, Yen-Chang Hsu

机构 * Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系） ； Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学学院市计算机科学系） ； Samsung Research America（三星美国研究机构） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Department of Health Outcomes and Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 通过动态结构剪枝将密集大语言模型转换为专家混合架构，提升模型效率与性能。

Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency

针对大语言模型的下一个标记预测的符合预测集：在覆盖保证与集合效率之间平衡

Yoshith Roy Kotla, Varshith Roy Kotla

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VACP框架，通过语义掩码和温度调整评分，在保证覆盖的前提下显著提升预测集效率，实验证明其在大语言模型下一个标记预测中的有效性。

Comments 10 pages, 5 tables and 1 algorithm

Advancing Generative Artificial Intelligence and Large Language Models for Demand Side Management with Internet of Electric Vehicles

推动生成式人工智能和大语言模型在电动汽车互联网中的需求侧管理

Hanwen Zhang, Ruichen Zhang, Wei Zhang, Dusit Niyato, Yonggang Wen, Chunyan Miao

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用生成式人工智能和大语言模型优化电动汽车互联网中的需求侧管理，通过检索增强生成提升能源效率和用户适应性。

Comments 15 Pages

Quantifying the Impact of Structured Output Format on Large Language Models through Causal Inference

通过因果推理量化结构化输出格式对大语言模型的影响

Han Yuan, Yue Zhao, Li Zhang, Wuqiong Luo, Zheng Ma

机构 * Global Decision Science, American Express（全球决策科学，美国运通） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过因果推理分析结构化输出对大语言模型生成的影响，发现多数情况下无显著因果效应，但特定情况下受指令影响。

Basis Selection: Low-Rank Decomposition of Pretrained Large Language Models for Target Applications

基底选择：为特定应用预训练大语言模型的低秩分解

Yang Li, Daniel Agyei Asante, Changsheng Zhao, Ernie Chang, Yangyang Shi, Vikas Chandra

机构 * Iowa State University（爱荷华州立大学） ； Meta 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种针对特定应用的LLM低秩分解方法，通过识别并去除冗余部分，有效压缩模型大小并保持性能。

Comments Transactions on Machine Learning Research (TMLR), 2025

Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models

高效自适应拒绝采样用于加速大语言模型中的推测解码

Chendong Sun, Ali Mao, Lei Xu, mingmin Chen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出高效自适应拒绝采样方法，通过动态调整接受阈值减少随机拒绝，提升大语言模型推测解码效率。

SASQ: Static Activation Scaling for Quantization-Aware Training in Large Language Models

SASQ：用于大语言模型量化感知训练的静态激活缩放

Shizhuo Mao, Song Chen, Yi Kang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 SASQ通过优化激活量化因子，实现了大语言模型在量化感知训练中的高精度静态推理与高效部署。

Scaling and Transferability of Annealing Strategies in Large Language Model Training

在大语言模型训练中退火策略的扩展性与可迁移性

Siqi Wang, Zhengyu Chen, Teng Xiao, Zheqi Lv, Jinluan Yang, Xunliang Cai, Jingang Wang, Xiaomeng Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种通用框架，用于优化大语言模型训练中的退火策略，通过实验表明退火策略可跨不同模型配置迁移，提高了学习率调度的效率和实用性。

Comments Accepted to AAAI 2026 (camera-ready version)

R2Q: Towards Robust 2-Bit Large Language Models via Residual Refinement Quantization

R2Q: 向通过残差细化量化实现稳健的2位大语言模型

Jiayi Chen, Jieqi Shi, Jing Huo, Chen Wu

机构 * Nanjing University（南京大学） ； Microsoft AI（微软人工智能） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 R2Q通过残差细化量化方法，在极端压缩下提升2位大语言模型的性能和稳定性。

A Systematic Study of Compression Ordering for Large Language Models

大语言模型压缩顺序的系统研究

Shivansh Chhawri, Rahul Mahadik, Suparna Rooj

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究系统探讨了大语言模型压缩技术的顺序对性能的影响，发现剪枝-知识蒸馏-量化顺序能实现3.68倍压缩并保持良好能力。

Anti-adversarial Learning: Desensitizing Prompts for Large Language Models

Xuan Li, Zhe Yin, Xiaodong Gu, Beijun Shen

机构 * Beijun Shen（沈贝俊） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

Comments Accepted to AAAI 2026

PIP: Perturbation-based Iterative Pruning for Large Language Models

Yi Cao, Wei-Jie Xu, Yucheng Shen, Weijie Shi, Chi-Min Chan, Jianfeng Qu, Jiajie Xu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025 Findings, 17 pages, 5 figures, 15 tables

CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models

Huiwen Wu, Xiaogang Xu, Deyi Zhang, Xiaohan Li, Jiafei Wu, Zhe Liu

机构 * Zhejiang Laboratory（浙江实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis

Hong-Jun Yoon, Faisal Ashraf, Thomas A. Ruggles, Debjani Singh

机构 * Oak Ridge National Laboratory（奥克伍德国家实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 18 pages, zero figures, Preprint submitted to Environmental Modeling and Software

Pre-Attention Expert Prediction and Prefetching for Mixture-of-Experts Large Language Models

Shien Zhu, Samuel Bohl, Robin Oester, Gustavo Alonso

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI