语言大模型 / LLM

Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints

在成本和容量限制下大型语言模型的鲁棒批量级查询路由

Jelena Markovic-Voronov, Kayhan Behdin, Yuanda Xu, Zhengze Zhou, Zhipeng Wang, Rahul Mazumder

机构 * LinkedIn（领英） ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种考虑资源的批量级查询路由框架，通过优化模型分配以提高鲁棒性和效率，实验显示在对抗性批处理下性能提升显著。

Set-Valued Prediction for Large Language Models with Feasibility-Aware Coverage Guarantees

针对大型语言模型的集合值预测与可行性意识覆盖保证

Ye Li, Anqi Hu, Yuanchang Ye, Shiyan Tong, Zhiyuan Wang, Bo Fu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Zhejiang University of Finance and Economics（浙江财经大学） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种集合值预测框架，通过数据驱动校准方法确保预测集包含正确答案的概率，提升大语言模型的预测可靠性与效率。

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models

自蒸馏推理器：用于大型语言模型的在线自蒸馏

Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover

机构 * Meta Superintelligence Labs（Meta 超智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。

Comments code is released here: https://github.com/siyan-zhao/OPSD

Unlocking Full Efficiency of Token Filtering in Large Language Model Training

解锁大语言模型训练中令牌过滤的全面效率

Di Chai, Pengbo Li, Feiyuan Zhang, Yilun Jin, Han Tian, Kaiqiang Xu, Binhang Yuan, Dian Shen, Junxue Zhang, Kai Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Centrifuge系统，通过算法与系统协同设计提升令牌过滤效率，减少反向传播时间达49.9%，端到端训练时间达34.7%，并提升模型性能26.6%。

Discovering Decoupled Functional Modules in Large Language Models

在大型语言模型中发现解耦的功能模块

Yanke Yu, Jin Li, Ying Sun, Ping Li, Zhefeng Wang, Yi Zheng

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过提出ULCMOD框架，解耦LLM中的神经元并发现输入样本的主题模块，提升模型可解释性和性能。

Comments AAAI-26 Oral

Intelligent Materials Modelling: Large Language Models Versus Partial Least Squares Regression for Predicting Polysulfone Membrane Mechanical Performance

智能材料建模：大语言模型与偏最小二乘回归在预测聚砜膜机械性能中的比较

Dingding Cao, Mieow Kee Chan, Wan Sieng Yeo, Said Bey, Alberto Figoli

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文比较了大语言模型与偏最小二乘回归在预测聚砜膜机械性能中的表现，发现大语言模型在非线性、约束敏感属性上表现更优，而偏最小二乘回归在需要可解释性分解的线性关系中仍具竞争力。

Comments 29 pages, 8 figures, 5 tables

Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Bielik-Minitron-7B：通过结构化剪枝和知识蒸馏压缩大型语言模型以适应波兰语

Remigiusz Kinas, Paweł Kiszczak, Sergio P. Perez, Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；SFT(abstract)；preference optimization(abstract)

AI总结 Bielik-Minitron-7B通过结构化剪枝和知识蒸馏将Bielik-11B-v3.0模型压缩至7.35B参数，优化波兰语性能，实现90%的性能恢复和50%的推理加速。

Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression

信息容量：通过文本压缩评估大语言模型的效率

Cheng Yuan, Jiawei Shao, Xuelong Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出信息容量作为评估大语言模型效率的新指标，通过文本压缩性能与计算复杂性关系衡量模型效率，并揭示主流模型的语言偏见问题。

Comments Code: https://github.com/TeleAI-AI-Flow/InformationCapacity. Data: https://huggingface.co/datasets/TeleAI-AI-Flow/InformationCapacity

RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models

RACER：面向大型语言模型的风险感知校准高效路由

Sai Hao, Hao Zeng, Hongxin Wei, Bingyi Jing

机构 * Southern University of Science and Technology, China（南方科技大学） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； Shenzhen Loop Area Institute, China（深圳环湖研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 RACER通过构建嵌套模型集和校准阈值，实现了对大型语言模型路由的风险感知校准，从而提升下游任务的准确性。

ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning

ROSE：重新排序的稀疏GPT用于更准确的一次性大语言模型剪枝

Mingluo Su, Huan Wang

机构 * Westlake University（西湖大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 ROSE通过重新排序稀疏GPT方法，优先剪枝潜在误差大的权重，提升一次性大语言模型剪枝的准确性。

Comments CPAL 2026 oral

VLMQ: Token Saliency-Driven Post-Training Quantization for Vision-language Models

VLMQ：基于令牌显著性的后训练量化用于视觉-语言模型

Yufei Xue, Yushi Huang, Jiawei Shao, Lunjie Zhu, Chi Zhang, Xuelong Li, Jun Zhang

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 VLMQ通过显著性驱动的后训练量化方法，针对视觉-语言模型的激活特性优化量化过程，实现低比特下的高性能压缩。

Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph

利用大语言模型在学术知识图谱中进行语义查询处理

Runsong Jia, Bowen Zhang, Sergio J. Rodríguez Méndez, Pouya G. Omran

机构 * Australian National University（澳大利亚国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用大语言模型与学术知识图谱结合，提升语义查询处理的准确性和效率，以改进学术研究中的知识管理与发现。

Comments for the associated repository, see http://w3id.org/kgcp/KGQP

Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention

熵-时间推断：超越注意力的自组织大语言模型解码

Andrew Kiruluta

机构 * School of Information（信息学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出熵-时间推断方法，通过自组织架构实现基于熵的解码优化，提升大语言模型推理效率与稳定性。

Spilled Energy in Large Language Models

大语言模型中的能量溢出

Adrian Robert Minut, Hazem Dewidar, Iacopo Masi

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出了一种无需训练的基于能量的模型方法，用于检测大语言模型中的幻觉和错误。

Cache-to-Cache: Direct Semantic Communication Between Large Language Models

缓存到缓存：大型语言模型之间的直接语义通信

Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang

机构 * Tsinghua University（清华大学） ； Infinigence AI ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； SLAI ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 缓存到缓存通过直接语义通信提升大型语言模型的性能和效率，实现比文本通信更高的准确率和更低的延迟。

Comments Published in ICLR'26

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle

Shuffle-R1: 通过数据导向的动态洗牌提升多模态大语言模型的强化学习框架

Linghao Zhu, Yiran Guan, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Bin Qin, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus, Xiaomi Inc.（MiLM Plus，小米公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 Shuffle-R1通过动态洗牌和轨迹采样提升多模态大语言模型的强化学习效率，实现更高效的训练效果。

Comments This paper has been accepted by ICLR 2026. Conference link: https://iclr.cc/virtual/2026/poster/10007559 OpenReview link: https://openreview.net/forum?id=mYP33u1QBK Project page at: https://xenozlh.github.io/Shuffle-R1/

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

Your Inference Request Will Become a Black Box: Confidential Inference for Cloud-based Large Language Models

您的推理请求将变成一个黑箱：面向云上大型语言模型的保密推理

Chung-ju Huang, Huiqiang Zhao, Yuanpeng He, Lijian Li, Wenpin Jiao, Zhi Jin, Peixuan Chen, Leye Wang

机构 * Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education, China（高可信软件技术重点实验室（北京大学）） ； School of Computer Science, Peking University, Beijing, China（北京大学计算机学院） ； Tencent, Shenzhen, China（腾讯（深圳）） ； Macau university, China（澳门大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 Talaria通过在客户端控制的CVM中执行敏感操作并使用ReMO协议保护隐私，实现云上LLM的保密推理，同时保持性能和效率。

Comments 19 pages, 5 figures

On the Effectiveness of Membership Inference in Targeted Data Extraction from Large Language Models

针对大型语言模型中成员推断在目标数据提取中的有效性研究

Ali Al Sahili, Ali Chehab, Razane Tajeddine

机构 * American University of Beirut（贝鲁特美国大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过整合多种成员推断技术评估其在大型语言模型目标数据提取中的有效性，并与传统基准测试进行比较以评估实际应用价值。

Comments This work has been accepted for publication at the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). The final version will be available on IEEE Xplore

Large Language Model Compression with Global Rank and Sparsity Optimization

大型语言模型压缩与全局秩和稀疏性优化

Changhai Zhou, Qian Qiao, Yuhua Zhou, Yuxin Wu, Shichao Weng, Weizhong Zhang, Cheng Jin

机构 * Fudan University（复旦大学） ； Soul AILab, OpenWPLab（Soul AILab，OpenWPLab） ； Zhejiang University（浙江大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种两阶段LLM压缩方法，通过全局资源分配优化秩和稀疏性，有效提升模型压缩性能。

Comments 33 pages, 5 figures

AsynDBT: Asynchronous Distributed Bilevel Tuning for efficient In-Context Learning with Large Language Models

AsynDBT：异步分布式双层调优用于高效上下文学习与大语言模型

Hui Ma, Shaoyu Dou, Ya Liu, Fei Xing, Li Feng, Feng Pi

机构 * Xinjiang Key Laboratory of Intelligent Computing and Smart Applications, School of Software, Xinjiang University（新疆智能计算与智能应用重点实验室，软件学院，新疆大学） ； Department of Computer Science and Technology, Tongji University（计算机科学与技术系，同济大学） ； School of Information Science and Engineering, Zaozhuang University（信息科学与工程学院，枣庄大学） ； Xinjiang University, College of Geography and Remote Sensing Sciences（新疆大学，地理与遥感科学学院） ； Hochschule Bielefeld-University of Applied Sciences and Arts（比勒菲尔德应用科学与艺术大学） ； Xinjiang General Station of Exit and Entry Frontier Inspection（新疆出入境边防检查总站） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 AsynDBT通过异步分布式双层调优优化上下文学习样本和提示片段，提升大语言模型在隐私保护和异构环境下的下游任务性能。

Comments Accepted in Scientific Reports

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference

WINA：基于权重的神经元激活以加速大语言模型推理

Sihan Chen, Dan Zhao, Jongwoo Ko, Colby Banbury, Huiping Zhuang, Luming Liang, Pashmina Cameron, Tianyi Chen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 WINA提出一种无需训练的稀疏激活框架，通过结合隐藏状态大小和权重矩阵列向量ℓ2范数，提升大语言模型推理性能。

ChatBCI: A P300 Speller BCI Leveraging Large Language Models for Improved Sentence Composition in Realistic Scenarios

ChatBCI: 一种利用大语言模型改进真实场景中句子组成的P300拼写BCI

Jiazhen Hong, Weinan Wang, Laleh Najafizadeh

机构 * Integrated Systems and NeuroImaging Laboratory（集成系统与神经成像实验室） ； Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ChatBCI利用大语言模型提升真实场景中句子组成的效率和效果。

Journal ref Scientific Reports, 2026

Model-based Large Language Model Customization as Service

基于模型的大型语言模型定制服务

Zhaomin Wu, Jizhou Guo, Junyi Hou, Bingsheng He, Lixin Fan, Qiang Yang

机构 * National University of Singapore（新加坡国立大学） ； WeBank ； The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 Llamdex 提出了一种基于模型的 LLM 定制服务框架，通过客户端上传预训练的领域模型并结合差分隐私保护，提升领域特定任务的准确率并保持推理效率。

Comments Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025)

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (2025)

Resource-Efficient Personal Large Language Models Fine-Tuning with Collaborative Edge Computing

基于协作边缘计算的资源高效个性化大语言模型微调

Shengyuan Ye, Bei Ouyang, Tianyi Qian, Liekang Zeng, Jingyi Li, Jiangsu Du, Xiaowen Chu, Guoliang Xing, Xu Chen

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Shenzhen Institute of Artificial Intelligence and Robotics for Society（社会人工智能与机器人研究所（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PAC框架，通过算法与系统协同设计，实现高效资源利用的个性化大语言模型微调，提升边缘计算性能。

Vision Token Reduction via Attention-Driven Self-Compression for Efficient Multimodal Large Language Models

通过注意力驱动的自我压缩进行视觉标记减少以提高高效多模态大语言模型的效率

Omer Faruk Deniz, Ruiyu Mao, Ruochen Li, Yapeng Tian, Latifur Khan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 通过注意力驱动的自我压缩方法，有效减少多模态大语言模型中的视觉标记，提升计算效率并保持模型性能。

Comments 2025 IEEE International Conference on Big Data (BigData)

Distributed Hybrid Parallelism for Large Language Models: Comparative Study and System Design Guide

大规模语言模型的分布式混合并行：比较研究与系统设计指南

Hossam Amer, Rezaul Karim, Ali Pourranjbar, Weiwei Zhang, Walid Ahmed, Boxing Chen

机构 * Huawei Canada（华为加拿大） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究大规模语言模型的分布式混合并行方法，通过比较分析和系统设计指南，探讨优化并行策略以提升训练和推理效率。

Pruning as a Cooperative Game: Surrogate-Assisted Layer Contribution Estimation for Large Language Models

剪枝作为合作博弈：用于大型语言模型的代理辅助层贡献估计

Xuan Ding, Pengyu Tong, Ranjie Duan, Yunjian Zhang, Rui Sun, Yao Zhu

机构 * Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院） ； Guangdong Provincial Key Laboratory of Future Networks of Intelligence（广东省未来网络智能重点实验室） ； The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）） ； Beijing Normal University（北京师范大学） ； Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于博弈论的层剪枝方法，利用代理网络估计层贡献，实现高效且有效的大型语言模型剪枝。

Comments Accepted by ICLR 2026

Efficient Table Retrieval and Understanding with Multimodal Large Language Models

基于多模态大语言模型的高效表格检索与理解

Zhuoyan Xu, Haoyang Fang, Boran Han, Bonan Min, Bernie Wang, Cuixiong Hu, Shuai Zhang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； AWS（亚马逊网络服务） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 TabRAG通过多模态大语言模型实现高效表格检索与理解，显著提升检索召回率和答案准确率。

Comments Published at EACL 2026 Findings

Toward Efficient Exploration by Large Language Model Agents

迈向高效探索的大型语言模型代理

Dilip Arumugam, Thomas L. Griffiths

机构 * Department of Computer Science（计算机科学系） ； Princeton University（普林斯顿大学） ； Department of Psychology（心理学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用大型语言模型显式实现后验抽样强化学习算法，以提升自然语言任务中的探索效率。

Comments Accepted to the International Conference on Learning Representations (ICLR) 2026

Challenges and Research Directions for Large Language Model Inference Hardware

大语言模型推理硬件的挑战与研究方向

Xiaoyu Ma, David Patterson

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了大语言模型推理硬件面临的挑战，提出了高带宽闪存、内存-逻辑堆叠和低延迟互连等研究方向，以提升内存带宽和通信效率。

Comments Accepted for publication by IEEE Computer, 2026