语言大模型 / LLM

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models

广义Fisher加权奇异值分解：用于压缩大语言模型的可扩展克罗内克分解Fisher近似

Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

机构 * Applied AI Institute（应用人工智能研究所） ； Innopolis University（因诺普利斯大学） ； HSE University（俄罗斯高等经济大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 研究针对大语言模型压缩，提出广义Fisher加权奇异值分解（GFWSVD）技术，通过考虑Fisher信息矩阵对角和非对角元素，引入可扩展的克罗内克分解近似算法，有效提升压缩效果，优于现有压缩基线。

Improving Molecular Property Prediction in Small Language Models Using Graph-based Tools

使用基于图的工具改进小语言模型中的分子性质预测

Konstantinos Bougiatiotis, Dimitrios Kelesis, Georgios Paliouras

机构 * Institute of Informatics and Telecommunications, National Center for Scientific Research “Demokritos（信息与电信研究所，国家科学研究中心“德谟克利特”） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对小语言模型在分子性质预测时的结构盲目性问题，提出模块化上下文增强提示框架，通过GNN专家模型和提取子图来辅助预测，在MUTAG和Tox21数据集上实验表明该方法能显著提升预测准确性，验证了基序相关性，但与专门GNN模型仍有差距。

Comments Presented at the 2nd Causal Neuro-symbolic Artificial Intelligence (Causal NeSy): Toward Agentic LLMs with Neuro-Symbolic and Graph Based Reasoning Workshop @ ESWC2026

DarwinLM: Evolutionary Structured Pruning of Large Language Models

达尔文语言模型：大语言模型的进化结构化剪枝

Shengkun Tang, Oliver Sieberling, Eldar Kurtic, Zhiqiang Shen, Dan Alistarh

机构 * MBZUAI ； ETH Zurich（苏黎世联邦理工学院） ； ISTA ； Red Hat AI（红帽人工智能） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型计算成本高的问题，提出达尔文语言模型（DarwinLM），基于进化搜索过程，通过变异生成后代模型并经多步训练选择最优者，在多个模型上实验验证，实现结构化剪枝最优性能，压缩后训练所需数据更少。

Comments Accepted by COLM 2026 Code: https://github.com/IST-DASLab/DarwinLM

Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices

使用适度非结构化稀疏权重矩阵加速大语言模型的GPU推理

Tao Lu, Haoyu Wang, Zonghui Wang, Keshen Xiang, Jiaheng Zhang, Wenzhi Chen

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型推理成本挑战，提出含稀疏张量核层等的三层矩阵存储格式，设计联合稀疏张量核与CUDA核的SpMM内核，实现了在现代GPU上超越密集矩阵乘法，取得显著加速。

Comments DAC 2026

AP-BMM: Approximating Capability-Cost Pareto Sets of LLMs via Asynchronous Prior-Guided Bayesian Model Merging

AP-BMM: 通过异步先验引导的贝叶斯模型合并近似LLM的能力-成本帕累托集

Kesheng Chen, Yamin Hu, Zhenqian Zhu, Yiya Diao, Wenjian Luo

机构 * Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东新型安全智能技术重点实验室） ； Institute of Cyberspace Security（网络空间安全研究院） ； School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出AP-BMM方法，通过异步贝叶斯优化和层间合并策略，提升LLM在准确性和成本之间的帕累托集质量与覆盖范围。

LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models

LUQ: 多模态大语言模型的逐层超低位量化

Shubhang Bhatnagar, Andy Xu, Kar-Han Tan, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； HP Inc.（惠普公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。

Comments Published in Transactions on Machine Learning Research (2026)

When LLMs Analyze Scars: From Images to Clinically-Meaningful Features

当LLM分析疤痕：从图像到临床有意义的特征

Ruman Wang, Hangting Ye

机构 * Liaoning University of Traditional Chinese Medicine（辽宁中医药大学） ； School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ScaFE框架，利用LLM作为知识驱动的特征工程师，将高维图像转化为低维临床可解释特征，在数据稀缺的疤痕分类中优于端到端深度学习方法。

X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs

X-OPD：面向语音大语言模型能力对齐的跨模态在策略蒸馏

Di Cao, Dongjie Fu, Hai Yu, Siqi Zheng, Xu Tan, Tao Jin

机构 * Tencent Hunyuan（腾讯文心） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出X-OPD框架，通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力，利用文本教师模型评估语音模型的轨迹并提供令牌级反馈，显著缩小复杂任务性能差距。

Comments Accepted by Interspeech 2026

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

Evaluating Zero-Shot and One-Shot Adaptation of Small Language Models in Leader-Follower Interaction

评估小语言模型在领导者-跟随者交互中的零样本和单样本适应

Rafael R. Baptista, André de Lima Salgado, Ricardo V. Godoy, Marcelo Becker, Thiago Boaventura, Gustavo J. G. Lahr

机构 * University of Sao Paulo（圣保罗大学） ； Federal University of Lavras（拉瓦尔联邦大学） ； Faculdade Israelita de Ensino e Pesquisa Albert Einstein（亚伯拉罕·林克·埃instein教育与研究学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过微调小语言模型（Qwen2.5-0.5B）在领导者-跟随者交互中实现角色分类，零样本微调达到86.66%准确率且延迟低至22.2毫秒，但单样本模式因上下文长度增加导致性能下降。

A Shared Valence Axis Across Modern LLMs and Human EEG: The Saturation Regularity

现代LLM与人脑EEG共享的效价轴：饱和规律

Yousef A. Radwan, Xuhui Liu, Kilichbek Haydarov, Yuqian Fu, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过构建从大型语言模型（LLM）中提取的一维效价方向（V轴），发现其与人类EEG神经活动对齐，但进一步对齐策略无法提升解码性能，并形式化为“饱和规律”，指出改进应来自监督无法触及的残差子空间。

Discovering Differences in Strategic Behavior Between Humans and LLMs

发现人类与LLM在战略行为上的差异

Caroline Wang, Daniel Kasenberg, Kim Stachenfeld, Pablo Samuel Castro

机构 * Department of Computer Science, University of Texas at Austin. Work performed as a student researcher at Google DeepMind（德克萨斯大学计算机科学系。作为谷歌DeepMind的学生研究员进行的工作） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 使用AlphaEvolve程序发现工具，从数据中直接发现可解释的人类和LLM行为模型，揭示在迭代石头剪刀布中前沿LLM比人类具有更深层次的战略行为。

Comments Accepted to ICML 2026

Reasoning-preserved Efficient Distillation of Large Language Models via Activation-aware Initialization

保留推理能力的大语言模型高效蒸馏：基于激活感知初始化

Junlin He, Yihong Tang, Tong Nie, Guilong Li, Binyu Yang, Jinxiao Du, Lijun Sun, Wei Ma

机构 * The Hong Kong Polytechnic University, Hong Kong SAR, China（香港理工大学） ； McGill University, Montreal, QC, Canada（麦吉尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对高效蒸馏导致的多步推理能力严重下降（推理崩溃），提出RED方法，通过激活感知初始化投影矩阵为通道选择矩阵，理论缓解有效秩崩溃，恢复推理能力并保持高效训练与通用性能。

EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation

EdgeRazor: 一种通过混合精度量化感知蒸馏实现大语言模型轻量化的框架

Shu-Hao Zhang, Le-Tong Huang, Xiang-Sheng Deng, Xin-Yi Zou, Chen Wu, Nan Li, Shao-Qun Zhang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Microsoft AI（微软AI） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出EdgeRazor框架，通过混合精度量化感知蒸馏方法，在资源受限设备上部署大语言模型，实现了更高的压缩比和更高效的性能。

Time-Prompt: Integrated Heterogeneous Prompts for Unlocking LLMs in Time Series Forecasting

Time-Prompt: 集成异构提示以解锁时间序列预测中的LLM

Zesen Wang, Lijuan Lan, Yonggang Li

机构 * Central South University, Changsha, China（中南大学，长沙，中国） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Time-Prompt框架，通过构建统一的提示范式、设计语义空间嵌入和跨模态对齐模块以及高效微调LLM参数，提升时间序列预测性能，并在碳排放数据集上验证其有效性。

Comments Accepted at IJCNN 2026

Fitting Is Not Enough: Smoothness in Extremely Quantized LLMs

拟合并不足够：在极量化的LLM中平滑性

Yuzhuang Xu, Xu Han, Yuxuan Li, Pengzhan Li, Wanxiang Che

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文指出极量化LLM存在平滑性退化问题，通过平滑性代理发现量化位宽越小退化越严重，提出保持平滑性的方法提升性能，强调平滑性在极端量化中的重要性。

Comments 19 pages, 4 tables, 14 figures

ReAD: Reinforcement-Guided Capability Distillation for Large Language Models

ReAD：基于强化学习的能力蒸馏用于大语言模型

Xueqi Cheng, Xugui Zhou, Tyler Derr, Yushun Dong

机构 * Florida State University（佛罗里达州立大学） ； Louisiana State University（路易斯安那州立大学） ； Vanderbilt University（范德比大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ReAD通过强化学习指导能力蒸馏，在固定token预算下提升下游任务性能，减少有害溢出和无效蒸馏成本。

Curriculum Learning-Guided Progressive Distillation in Large Language Models

基于课程学习的渐进蒸馏：大型语言模型中的知识蒸馏

Jincheng Cao, Fanzhi Zeng, Leqi Liu, Aryan Mokhtari

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google Research（谷歌研究） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CLPD框架，通过结合数据难度与教师强度，改进知识蒸馏方法，实验证明其在推理任务中优于传统方法。

Reasoning emerges from constrained inference manifolds in large language models

推理源自大型语言模型中受限推断流形

Yanbiao Ma, Fei Luo, Linfeng Zhang, Chuangxin Zhao, Mingxuan Wang, Yinan Wu, Zhe Qian, Yang Lu, Long Chen, Zhao Cao, Xiaoshuai Hao, Ji-Rong Wen, Jungong Han

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Xiaomi EV（小米电动车） ； Xiamen University（厦门大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究通过分析推理过程中的内部表示演变，发现推理动态在高维空间中自组织为低维流形，但需满足表示能力、流形压缩和非退化信息体积等条件才能实现稳定推理。

Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters

通过凯莱单位ary适配器在量子硬件上增强大型语言模型

Borja Aizpurua, Sukhbinder Singh, Augustine Kshetrimayum, Saeed S. Jahromi, Roman Orus

机构 * Multiverse Computing ； Parque Científico y Tecnológico de Gipuzkoa（吉普乌科阿科技公园） ； Department of Basic Sciences（基础科学系） ； Tecnun – University of Navarra（塔努大学） ； Centre for Social Innovation（社会创新中心） ； Donostia International Physics Center（多斯蒂亚国际物理中心） ； Ikerbasque Foundation for Science（Ikerbasque科学基金会） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究通过在预训练语言模型的冻结投影层中插入量子电路块，利用IBM Quantum System Two处理器提升Llama 3.1 8B模型的困惑度，仅需6000个额外参数，并在真实量子处理器上验证端到端推理。

Comments 31 pages, 6 figures

Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge

自知重述：一种完全局部的方法，用于通过内在知识适应LLM到任务

Mengyu Wang, Xiaoying Zhi, Zhiyi Li, Robin Schmucker, Shay B. Cohen, Tiejun Ma, Fran Silavong

机构 * The University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SKR方法，通过将LLM的输出从通用token生成转变为高效任务特定表达，提升非生成任务性能，实验显示在信息检索、目标检测和异常检测任务中取得显著提升。

Rethinking Scale: Deployment Trade-offs of Small Language Models under Agent Paradigms

重新思考规模：在代理范式下小型语言模型的部署权衡

Xinlin Wang, Mats Brorsson

机构 * Proximus Luxembourg S.A.（普罗米修斯卢森堡股份有限公司） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了在代理范式下小型语言模型的部署权衡，通过对比基础模型、单代理工具系统和多代理协作系统，发现单代理系统在性能与成本间达到最佳平衡。

Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations

模块化表示压缩：适应LLM以实现高效且有效的推荐

Yunjia Xi, Menghui Zhu, Jianghao Lin, Bo Chen, Ruiming Tang, Yong Yu, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） ； Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MARC方法，通过模块化调整和任务解耦，解决LLM表示压缩中的MRA问题，提升推荐系统效率与效果。

Comments SIGIR 2026

Beyond Surface Statistics: Robust Conformal Prediction for LLMs via Internal Representations

超越表面统计：通过内部表示实现LLM的鲁棒置信预测

Yanli Wang, Peng Kuang, Xiaoyu Han, Kaidi Xu, Haohan Wang

机构 * Imperial College London（伦敦帝国学院） ； Zhejiang University（浙江大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于内部表示的置信预测框架，通过层间信息评分提升LLM在分布偏移下的鲁棒性，优于文本层面基线方法。

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

通过自动化构建环境提升大语言模型的反馈驱动工具使用

Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Tao Gui, Xuanjing Huang, Jiecao Chen

机构 * Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出自动化环境构建流程和可验证奖励机制，提升大语言模型的工具使用能力，实验表明在不降低通用能力的情况下显著增强工具使用性能。

Comments Accepted by ACL 2026

Incentive-Aware Multi-Fidelity Optimization for Generative Advertising in Large Language Models

面向激励的多保真度优化用于大语言模型生成广告

Jiayuan Liu, Barry Wang, Jiarui Gan, Tonghan Wang, Leon Xie, Mingyu Guo, Vincent Conitzer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adelaide University（阿德莱德大学） ； University of Oxford（牛津大学） ； Harvard University（哈佛大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出IAMFM框架，结合VCG激励与多保真度优化，解决生成广告中广告商策略行为和高成本的约束问题，通过主动反事实优化提升计算效率，实验表明其在不同预算下优于单保真度基线。

PolySwarm: A Multi-Agent Large Language Model Framework for Prediction Market Trading and Latency Arbitrage

PolySwarm：一种多智能体大语言模型框架，用于预测市场交易和延迟套利

Rajat M. Barot, Arjun S. Borkhatariya

机构 * Department of Computer Science, State University of New York, Binghamton（纽约州立大学宾汉姆顿分校计算机科学系） ； Department of Software Engineering, Arizona State University（亚利桑那州立大学软件工程系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PolySwarm框架，通过多智能体大语言模型实时预测市场交易和去中心化平台上的延迟套利，结合贝叶斯方法和信息论分析，展示其在概率校准上的优越性能。

Comments 13 pages, 3 figures, 3 tables

SoLA: Leveraging Soft Activation Sparsity and Low-Rank Decomposition for Large Language Model Compression

SoLA：利用软激活稀疏性和低秩分解实现大语言模型压缩

Xinhao Huang, You-Liang Huang, Zeyi Wen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 SoLA通过软激活稀疏性和低秩分解技术，在无需训练的情况下压缩大语言模型，显著提升语言模型和下游任务的准确性。

Diversity-Aware Reverse Kullback-Leibler Divergence for Large Language Model Distillation

具有多样性的反Kullback-Leibler散度用于大规模语言模型蒸馏

Hoang-Chau Luong, Dat Ba Tran, Lingwei Chen

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Rowan University（罗文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRKL，通过消除非目标梯度影响并增强非目标监督，改进了RKL在大规模语言模型蒸馏中的性能与多样性平衡。

From Efficiency to Adaptivity: A Deeper Look at Adaptive Reasoning in Large Language Models

从效率到适应性：深入探讨大语言模型中的适应性推理

Chao Wu, Baoheng Li, Mingchen Gao, Yu Tian, Zhenyi Wang

机构 * University at Buffalo（布法罗大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨大语言模型中适应性推理的核心方法与贡献，提出适应性推理的控制增强策略优化问题，并构建系统分类法以比较不同策略。