语言大模型 / LLM

R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge

R-MTLLMF: 在无线边缘实现具有鲁棒性的多任务大语言模型融合

Aladin Djuhera, Vlad C. Andrei, Mohsen Pourghasemian, Haris Gacanin, Holger Boche, Walid Saad

机构 * Technical University of Munich（慕尼黑技术大学） ； RWTH Aachen University（亚琛工业大学） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出R-MTLLMF，通过鲁棒的模型融合技术在无线边缘环境下提升多任务大语言模型的抗干扰能力。

Journal ref IEEE International Conference on Communications (ICC), 2025

Dissecting Outlier Dynamics in LLM NVFP4 Pretraining

解构LLM NVFP4预训练中的异常动态

Peijie Dong, Ruibo Fan, Yuechen Tao, Di Mou, Wenhu Hu, Zhenheng Tang, Yinghao Yu, Jiamang Wang, Wenbo Su, Guodong Yang, Liping Zhang, Xiaowen Chu, Baochun Li, Bo Li

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Alibaba Group（阿里巴巴集团） ； University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本研究通过分析NVFP4预训练中的异常动态，提出HCP机制和CHON训练配方，有效缩小了与BF16的损失差距。

Comments 39 pages, 32 figures

Efficient Epistemic Uncertainty Estimation for Large Language Models via Knowledge Distillation

通过知识蒸馏实现大型语言模型的高效信念不确定性估计

Seonghyeon Park, Jewon Yeom, Jaewon Sok, Jeongjae Park, Heejun Kim, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） ； Department of Rural Systems Engineering, Seoul National University（首尔国立大学农村系统工程系） ； Department of Aerospace Engineering, Seoul National University（首尔国立大学航空航天工程系） ； Department of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology（全州科学科技研究院电子工程与计算机科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 通过知识蒸馏高效估计大型语言模型的信念不确定性，减少估计误差并提升幻觉检测性能。

Optimizing Prompts for Large Language Models: A Causal Approach

为大型语言模型优化提示：一种因果方法

Wei Chen, Yanbin Fang, Shuran Fu, Fasheng Xu, Xuan Wei

机构 * School of Business, University of Connecticut（康涅狄格大学商学院） ； Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 CPO通过因果推断方法优化提示设计，提升企业LLM在复杂查询中的鲁棒性，并降低提示优化的经济成本。

When Large Language Models Do Not Work: Online Incivility Prediction through Graph Neural Networks

当大语言模型失效时：通过图神经网络进行在线不文明行为预测

Zihan Chen, Lanyu Yu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于图神经网络的框架，用于检测在线不文明行为，优于现有大语言模型并降低推理成本。

Comments 10 pages

FNF: Functional Network Fingerprint for Large Language Models

FNF：大型语言模型的功能网络指纹

Yiheng Liu, Junhao Ning, Sichen Xia, Haiyang Sun, Yang Yang, Hanyang Chi, Xiaohui Gao, Ning Qiang, Bao Ge, Junwei Han, Xintao Hu

机构 * School of Automation, Northwestern Polytechnical University, Xi'an, China（自动化学院，西北工业大学，西安，中国） ； School of Physics and Information Technology, Shaanxi Normal University, Xi'an, China（物理与信息技术学院，陕西师范大学，西安，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 FNF通过功能网络活动一致性检测LLM来源，提供非侵入性的知识产权保护方法。

Comments 13 pages, 4 figures

Towards Resiliency in Large Language Model Serving with KevlarFlow

面向大语言模型服务的韧性提升：KevlarFlow

Shangshu Qian, Kipling Liu, P. C. Sruthi, Lin Tan, Yongle Zhang

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） ； Department of Computer Science, Purdue University, West Lafayette, IN, United States（计算机科学系，普渡大学，西拉法叶，印第安纳，美国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 KevlarFlow通过解耦模型并行初始化、动态流量重路由和背景KV缓存复制，显著提升了大语言模型服务的容错性和恢复效率。

ProToken: Token-Level Attribution for Federated Large Language Models

ProToken: 联邦大语言模型中的令牌级归因

Waris Gill, Ahmad Humayun, Ali Anwar, Muhammad Ali Gulzar

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 ProToken通过令牌级归因方法，解决联邦大语言模型中客户端贡献识别问题，提升隐私保护下的模型调试与信任验证能力。

Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning

超越随机采样：通过课程学习实现高效的语言模型预训练

Yang Zhang, Amr Mohamed, Hadi Abdine, Guokan Shang, Michalis Vazirgiannis

专题命中 效率与部署 ：language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过课程学习优化语言模型预训练，发现压缩比、词汇多样性和可读性是关键难度指标，显著提升训练效率。

Large Language Model-Powered Evolutionary Code Optimization on a Phylogenetic Tree

基于进化树的大型语言模型驱动的代码优化

Leyi Zhao, Weijie Huang, Yitong Guo, Jiang Bian, Chenghong Wang, Xuhong Zhang

机构 * Department of Computer Science（计算机科学系） ； Luddy School of Informatics（信息学院） ； Indiana University（印第安纳大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 PhyloEvolve利用大型语言模型和进化算法优化GPU科学计算算法，通过进化树结构提升优化效率和可重复性。

Bielik 11B v3: Multilingual Large Language Model for European Languages

Bielik 11B v3：面向欧洲语言的多语言大语言模型

Krzysztof Ociepa, Łukasz Flis, Remigiusz Kinas, Krzysztof Wróbel, Adrian Gwoździej

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；SFT(abstract)；preference optimization(abstract)

AI总结 Bielik 11B v3是一款针对波兰语优化，同时支持多种欧洲语言的高性能大语言模型，通过深度扩展和四阶段训练流程实现了高效参数利用和广泛任务表现。

Antisocial behavior towards large language model users: experimental evidence

针对大型语言模型用户的反社会行为：实验证据

Paweł Niszczota, Cassandra Grützner

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现，用户对依赖大型语言模型的人施加惩罚，表明LLM的效率提升可能引发社会制裁。

BenchOverflow: Measuring Overflow in Large Language Models via Plain-Text Prompts

BenchOverflow: 通过纯文本提示测量大语言模型中的溢出现象

Erin Feiglin, Nir Hutnik, Raz Lapid

机构 * Deepkeep（深保持） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 BenchOverflow通过纯文本提示策略评估大语言模型的溢出现象，揭示长度控制对可靠性、成本和可持续性的影响，提供标准化比较框架以优化部署和防御措施。

Comments Accepted at TMLR 2026

Large Language Models for Physics Instrument Design

大型语言模型在物理仪器设计中的应用

Sara Zoccheddu, Shah Rukh Qasim, Patrick Owen, Nicola Serra

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了大型语言模型在物理仪器设计中的应用，发现其能生成有效且物理合理的配置，尽管未进行特定任务训练，并提出将LLMs与强化学习结合以优化设计工作流。

Black-Box On-Policy Distillation of Large Language Models

大规模语言模型的黑盒在线蒸馏

Tianzhu Ye, Li Dong, Zewen Chi, Xun Wu, Shaohan Huang, Furu Wei

机构 * Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出生成对抗蒸馏（GAD），通过在线和黑盒方式实现大规模语言模型的蒸馏，使学生模型在自动评估中与教师模型性能相当。

Large Language Models can Achieve Social Balance

大语言模型可以实现社会平衡

Pedro Cisneros-Velarde

机构 * VMware Research（VMware研究） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 大语言模型通过分析相互作用类型、更新机制和种群规模，实现了社会平衡，并指导了代理系统的设计与部署。

Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions

大型语言模型的知识蒸馏与数据集蒸馏：新兴趋势、挑战与未来方向

Luyang Fang, Xiaowei Yu, Jiazhang Cai, Yongkai Chen, Shushan Wu, Zhengliang Liu, Zhenyuan Yang, Haoran Lu, Xilin Gong, Yufang Liu, Terry Ma, Wei Ruan, Ali Abbasi, Jing Zhang, Tao Wang, Ehsan Latif, Weihang You, Hanqi Jiang, Wei Liu, Wei Zhang, Soheil Kolouri, Xiaoming Zhai, Dajiang Zhu, Wenxuan Zhong, Tianming Liu, Ping Ma

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的知识蒸馏与数据集蒸馏技术，探讨了其在压缩模型、保持推理能力及语言多样性方面的挑战与未来发展方向。

Efficient Inference Using Large Language Models with Limited Human Data: Fine-Tuning then Rectification

利用有限人类数据高效推理：微调后再校正

Lei Wang, Zikun Ye, Jinglong Zhao

机构 * Foster School of Business, University of Washington（华盛顿大学福斯特商学院） ； Questrom School of Business, Boston University（波士顿大学questrom商学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种两阶段框架，结合微调与校正，并优化有限标记样本的分配，以提高估计和推理性能，实现成本节约。

Architectural Trade-offs in Small Language Models Under Compute Constraints

小型语言模型在计算限制下的架构权衡

Shivraj Singh Bhatti

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨了小型语言模型在计算限制下的架构选择权衡，发现基于注意力的模型在效率上优于MLP，但过度增加深度或上下文会损害性能，且RoPE等技术在小型模型中效果有限。

Comments 15 pages, 11 images

Mixture of Experts in Large Language Models

大语言模型中的专家混合架构

Danyang Zhang, Junhao Song, Ziqian Bi, Xinyuan Song, Yingfang Yuan, Tianyang Wang, Joe Yeong, Junfeng Hao

机构 * Department of Research（研究部） ； ByteDance Inc（字节跳动公司） ； Department of CS（计算机科学系） ； Imperial College London（伦敦帝国理工学院） ； Purdue University（普渡大学） ； Emory University（埃默里大学） ； Department of Computer Science（计算机科学系） ； Heriot-Watt University（赫罗特-瓦特大学） ； AI Agent Lab（AI代理实验室） ； Vokram Group（Vokram集团） ； Department of Anatomical Pathology（解剖病理学系） ； Singapore General Hospital（新加坡中央医院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型中专家混合架构的性能提升与应用挑战，分析了其核心机制与优化方法，探讨了MoE在任务特定性能和模型扩展方面的优势。

SkipCat: Rank-Maximized Low-Rank Compression of Large Language Models via Shared Projection and Block Skipping

SkipCat: 通过共享投影和块跳过实现大型语言模型的秩最大化低秩压缩

Yu-Chen Lu, Sheng-Feng Yu, Hui-Hsien Weng, Pei-Shuo Wang, Yu-Fang Hu, Liang Hung-Chun, Hung-Yueh Chiang, Kai-Chiang Wu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 SkipCat通过共享投影和块跳过技术实现低秩压缩，无需额外微调即可在相同压缩率下提升零样本任务的准确率7%。

Comments Accepted by AAAI 2026

Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models

利用重要性采样将对齐模块从大语言模型中分离出来

Yi Liu, Dianqing Liu, Mingye Zhu, Junbo Guo, Yongdong Zhang, Zhendong Mao

机构 * State Key Laboratory of Communication Content Cognition, People’s Daily Online（通信内容认知国家重点实验室，人民在线） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出残差对齐模型（RAM），通过重要性采样将对齐模块与大语言模型分离，提升灵活性和可扩展性，并在多种任务上优于基线模型。

Comments Accepted by NeurIPS 2025, 28 pages

Focusing on Language: Revealing and Exploiting Language Attention Heads in Multilingual Large Language Models

聚焦语言：揭示并利用多语言大语言模型中的语言注意力头

Xin Liu, Qiyang Song, Qihang Zhou, Haichao Du, Shaowen Xu, Wenbo Jiang, Weijuan Zhang, Xiaoqi Jia

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LAHIS方法，通过分析多语言大语言模型中的注意力头，揭示语言特定与通用头的作用，并通过轻量级适应提升多语言性能。

Comments Accepted by AAAI-2026

Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models

内在结构作为显著性代理：基于SVD的权重保持用于大型语言模型中的混合精度量化

Shashank Landge, Abhishek Patil, Tejas kamble, Bhushan Buddhivant, Priyanka Joshi

机构 * Department of Computer Science, Indian Institute of Information Technology Pune（计算机科学系，印度信息技术学院浦那） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于SVD的无数据权重保持方法，通过保留主成分权重提升大型语言模型混合精度量化的性能。

Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models

Nemotron-Flash：迈向延迟优化的混合小型语言模型

Yonggan Fu, Xin Dong, Shizhe Diao, Matthijs Van keirsbilck, Hanrong Ye, Wonmin Byeon, Yashaswi Karnati, Lucas Liebenwein, Hannah Zhang, Nikolaus Binder, Maksim Khadkevich, Alexander Keller, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract)；分类 cs.AI、cs.LG

AI总结 Nemotron-Flash通过优化深度-宽度比和操作符选择，提升小型语言模型的准确率、降低延迟并提高吞吐量。

Comments Accepted by NeurIPS 2025

Near-Lossless Model Compression Enables Longer Context Inference in DNA Large Language Models

Rui Zhu, Xiaopu Zhou, Haixu Tang, Stephen W. Scherer, Lucila Ohno-Machado

机构 * Yale School of Medicine（耶鲁医学院） ； The Hospital for Sick Children（儿童医院） ； Luddy School of Informatics, Computing, and Engineering（信息学、计算与工程学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning

Nikunj Gupta, Bill Guo, Rajgopal Kannan, Viktor K. Prasanna

机构 * David S. Hippocampus Department of Computer Science Cranberry-Lemon University（Cranberry-Lemon大学计算机科学系） ； University of Southern California（南加州大学） ； DEVCOM Army Research Office（陆军研究办公室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

GUARD: Role-playing to Generate Natural-language Jailbreakings to Test Guideline Adherence of Large Language Models

Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Haohan Wang

机构 * School of Information Sciences University of Illinois at Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher, Starc Institute（Starc研究所独立研究者） ； Computer Science and Engineering HKUST（HKUST计算机科学与工程学院） ； Computer Science Lapis Labs University of Illinois Urbana-Champaign（计算机科学Lapis Labs伊利诺伊大学厄巴纳-香槟分校） ； School of Information Sciences University of Illinois Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments 28 papges

Measuring what Matters: Construct Validity in Large Language Model Benchmarks

Andrew M. Bean, Ryan Othniel Kearns, Angelika Romanou, Franziska Sofia Hafner, Harry Mayne, Jan Batzner, Negar Foroutan, Chris Schmitz, Karolina Korgul, Hunar Batra, Oishi Deb, Emma Beharry, Cornelius Emde, Thomas Foster, Anna Gausen, María Grandury, Simeng Han, Valentin Hofmann, Lujain Ibrahim, Hazel Kim, Hannah Rose Kirk, Fangru Lin, Gabrielle Kaili-May Liu, Lennart Luettgau, Jabez Magomere, Jonathan Rystrøm, Anna Sotnikova, Yushi Yang, Yilun Zhao, Adel Bibi, Antoine Bosselut, Ronald Clark, Arman Cohan, Jakob Foerster, Yarin Gal, Scott A. Hale, Inioluwa Deborah Raji, Christopher Summerfield, Philip H. S. Torr, Cozmin Ududec, Luc Rocher, Adam Mahdi

机构 * University of Oxford（牛津大学） ； EPFL（苏黎世联邦理工学院） ； Weizenbaum Institute Berlin（柏林Weizenbaum研究所） ； Technical University Munich（慕尼黑技术大学） ； Centre for Digital Governance, Hertie School（赫尔姆霍兹学院数字治理中心） ； Stanford University（斯坦福大学） ； UK AI Security Institute（英国人工智能安全研究所） ； SomosNLP ； Universdad Politécnica de Madrid（马德里理工大学） ； Yale University（耶鲁大学） ； Allen Institute for AI（人工智能研究所） ； University of Washington（华盛顿大学） ； Meedan ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks

Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing

Mingyu Sung, Vikas Palakonda, Suhwan Im, Sunghwan Moon, Il-Min Kim, Sangseok Yun, Jae-Mo Kang

机构 * Department of Artificial Intelligence, Kyungpook National University（人工智能系，庆北国立大学） ； Department of Electrical and Computer Engineering, Queen’s University（电气与计算机工程系，皇后大学） ； Department of Information and Communications Engineering, Pukyong National University（信息与通信工程系，浦项国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG