语言大模型 / LLM

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

通过幂变换和符号保留分数聚合与自适应特征保留对大语言模型进行结构化剪枝

Ryota Kobayashi, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Yasunori Ishii, Tomoyuki Okuno, Kazuki Kozuka

机构 * Chubu University（楚ubu大学） ； Panasonic Holdings Corporation（松下电器控股公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型结构化剪枝，改进自适应特征保留技术。结合幂变换、符号保留分数聚合及异常值去除方法，解决应用中出现的分布不匹配等问题。实验表明该方法能保持准确率，通过结构化剪枝加速推理。

Future Confidence Distillation in Large Language Models

大语言模型中的未来置信度蒸馏

Sahil Kale

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型置信度估计，通过比较解决问题前后的置信度，发现其在回答过程中演变。基于此引入未来置信度蒸馏，用解决问题后的置信度估计训练解决问题前隐藏表征的预测器，实现可靠且低成本的置信度估计。

Comments 16 pages, 5 figures

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

OmniFocus：用于全模态大语言模型的查询引导模态平衡令牌压缩

Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Limerick（利默里克大学） ； CUHK, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。

When Less is More: 8-bit Quantization Improves Continual Learning in Large Language Models

少即是多：8位量化改善大型语言模型的持续学习

Michael S. Zhang, Rishi A. Ruia, Arnav Kewalram, Saathvik Dharmapuram, Utkarsh Sharma, Kevin Zhu

机构 * Algoverse 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文系统研究量化精度（FP16、INT8、INT4）与重放缓冲区策略在大型语言模型持续学习中的交互，发现量化模型在后续任务上优于FP16，INT8在学习可塑性与知识保留间取得最佳平衡，量化噪声充当隐式正则化防止过拟合。

AnTenA: Actionable and Explainable Tensor Analysis System with Large Language Models

AnTenA: 基于大语言模型的可操作且可解释的张量分析系统

Dawon Ahn, Auder Der, Evangelos E. Papalexakis

机构 * University of California, Riverside CA 92507, USA（加州大学河滨分校） ； Neuralix AI 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出AnTenA系统，利用大语言模型知识解释张量分解提取的共聚类潜在模式，通过前向和反向推理任务评估解释质量。

Enabling Cloud-Level Accuracy in Edge AI through IoT Data Preprocessing

通过物联网数据预处理实现边缘AI的云端级精度

Aygün Varol, Katarzyna Kołodziej, Łukasz Sobczak, Michał Romaszewski, Przemysław Głomb, Naser Hossein Motlagh, Mirka Leino, Johanna Virkki

机构 * Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通信科学学院，塔尔皮耶大学） ； Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（理论与应用信息学研究所，波兰科学院） ； Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学） ； Satakunta University of Applied Sciences（萨塔昆塔应用科学大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对边缘部署的紧凑型LLM在原始传感器读数下数值推理弱的问题，提出结构化提示构建框架，通过逐步丰富文本表示（原始值、阈值描述、环境摘要标志）提升局部模型精度，实验表明该方法可将局部准确率从约50%提升至80%以上，同时保持低延迟。

On the Expressive Power of Weight Quantization in Large Language Models

大语言模型中权重量化的表达能力

Shao-Qun Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligent Science and Technology（智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。

MultiCNKG: Integrating Cognitive Neuroscience, Gene, and Disease Knowledge Graphs Using Large Language Models

MultiCNKG: 利用大语言模型整合认知神经科学、基因和疾病知识图谱

Ali Sarabadani, Kheirolah Rahsepar Fard

机构 * Department of Computer Engineering and Information Technology, University of Qom（卡姆大学计算机工程与信息科技系） ； University of Qom（卡姆大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MultiCNKG框架，整合认知神经科学、基因和疾病知识图谱，利用大语言模型实现实体对齐和图谱增强，提升生物医学领域知识图谱的整合与应用能力。

Journal ref Transactions on Machine Intelligence, 9(1), 1-15 (2026)

PocketLLM: Ultimate Compression of Large Language Models via Meta Networks

PocketLLM: 通过元网络实现大语言模型的终极压缩

Ye Tian, Chengcheng Wang, Jing Han, Yehui Tang, Kai Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出PocketLLM，通过元网络在潜在空间压缩大语言模型，利用编码器和解码器实现高效压缩，实验表明在高压缩比下仍保持高精度。

Comments AAAI 2026 camera ready

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(39), 33250-33258 (2026)

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

更高效利用预算：使用重置与丢弃（ReD）方法在固定预算下提升大型语言模型的推理性能

Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

机构 * School of Chemistry, Tel Aviv University（特拉维夫大学化学系） ； The Center for Physics and Chemistry of Living Systems, Tel Aviv University（特拉维夫大学生命系统物理与化学中心） ； School of Physics and Astronomy, Tel Aviv University（特拉维夫大学物理与天文学系） ； The Center for Computational Molecular and Materials Science, Tel Aviv University（特拉维夫大学计算分子与材料科学中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对固定预算下大型语言模型推理的收益递减问题，提出重置与丢弃（ReD）查询方法，通过优化尝试分配提升覆盖率，并在编码、数学和推理基准上验证了其成本节约效果。

The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models

加法的形状：大型语言模型中算术的几何结构

Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过分析多操作数加法中残差流的几何结构，发现等原始和轨迹（IRST）并建立噪声量化模型，将算术错误解释为由内部神经噪声引起的几何滑移，并利用几何一致性检查方法检测和纠正量化失败。

Comments Accepted by ICML 2026

ToxSearch: Evolving Prompts for Toxicity Search in Large Language Models

ToxSearch: 面向大型语言模型毒性搜索的提示演化

Onkar Shelar, Travis Desell

机构 * Rochester Institute of Technology（罗切斯特技术研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ToxSearch，一种黑盒演化框架，通过同步稳态循环演化提示来测试大型语言模型的安全性，并分析不同操作符的行为及跨模型迁移性。

Comments 16 pages

Journal ref In: García-Sánchez, P., Díaz Álvarez, J., Murphy, A. (eds) Applications of Evolutionary Computation. EvoApplications 2026. Lecture Notes in Computer Science, vol 16525. Springer, Cham

Efficient Pre-Training of LLMs through Truncated SVD Layers

通过截断SVD层实现LLM的高效预训练

Kaivan Kamali, Kajetan Schweighofer, Hormoz Shahrzad, Olivier Francon, Babak Hodjat, Risto Miikkulainen

机构 * Cognizant AI Lab（认知AI实验室） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出TSVD框架，利用谱能量启发式自适应秩选择和缓存机制保持低秩与严格正交性，在减少计算开销的同时匹配或超越全参数基线的性能。

CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credit

CreditDecoding: 利用轨迹信用加速扩散大语言模型中的并行解码

Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） ； Westlake University（西湖大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散大语言模型并行解码中正确令牌被反复重掩导致冗余迭代的问题，提出基于轨迹信用的无训练并行解码方法CreditDecoding，融合历史证据与当前logits提升低置信度正确令牌的置信度，实现高达5.48倍加速并提升准确性。

Comments 19 pages, 13 figures, 9 tables, Accepted to ACL 2026 main conference

BarrierSteer: LLM Safety via Learning Barrier Steering

BarrierSteer: 通过学习障碍引导实现大语言模型安全

Thanh Q. Tran, Arun Verma, Kiwan Wong, Bryan Kian Hsiang Low, Daniela Rus, Wei Xiao

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联合研究中心） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Worcester Polytechnic Institute（沃斯堡理工学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)；分类 cs.AI、cs.LG

AI总结 提出 BarrierSteer 框架，通过将学习到的非线性安全约束作为控制障碍函数嵌入潜在表示空间，在推理时引导模型生成安全内容，理论保证且不修改模型参数。

Comments This paper introduces SafeBarrier, a framework that enforces safety in large language models by steering their latent representations with control barrier functions during inference, reducing adversarial and unsafe outputs

Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers

超越推理时间搜索：强化学习合成可重用求解器

Soheyl Massoudi, Gabriel Apaza, Milad Habibi, Mark Fuge

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文探讨了强化学习能否将组合优化的推理成本转移到代码LLM的权重中，从而合成可重用的求解器。通过Synergistic Dependency Selection问题，研究发现强化学习能有效生成约束感知的模拟退火模板，并在多个领域展示出更高的效率和鲁棒性。

Training-Free Cultural Alignment of Large Language Models via Persona Disagreement

通过人格分歧实现无训练的文化对齐大语言模型

Huynh Trung Kiet, Dao Sy Duy Minh, Tuan Nguyen, Chi-Nguyen Tran, Phu-Hoa Pham, Nguyen Lam Phu Quy, The Anh Han, Long Tran-Thanh

机构 * Faculty of Information and Technology, University of Science, Vietnam National University（信息与技术学院，科学大学，越南国家大学） ； Department of Computer Science, University of Warwick（计算机科学系，沃里克大学） ； School of Computing, Engineering and Digital Technologies, Teesside University（计算、工程和数字技术学院，泰赛德大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出DISCA方法，在不改变模型权重的情况下，通过人格分歧校准减少大语言模型在多任务测试中的文化偏差，为服务全球道德偏好提供了可扩展的替代方案。

Comments 57 pages, 1 figure, 6 MultiTP moral dimensions

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

可区分删除：统一知识擦除与拒绝用于大语言模型去学习

Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

机构 * Department of Natural Language Processing, MBZUAI. ； University of Oxford. ； RIKEN Center for Advanced Intelligence Project. ； TMLR Group, Department of Computer Science, Hong Kong Baptist University 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出D^2方法，通过限制潜在表示中的响应分布来擦除不受欢迎的知识，同时区分保留知识，从而实现安全且一致的拒绝机制，以提高大语言模型去学习的效果。

Comments ICML2026 Accepted

Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study

对大语言模型毒性进行测量与缓解：一项全面的复制研究

Mokshit Surana, Archit Rathod, Akshaj Satishkumar

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过复制研究评估DExperts在缓解显性毒性中的有效性，发现其在显性毒性基准上安全性接近完美，但对隐性仇恨言论存在脆性，并引入了10倍的延迟惩罚。

Optimizing Large Language Model Training Using FP4 Quantization

使用FP4量化优化大型语言模型训练

Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Microsoft SIGMA Team（微软SIGMA团队） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出首个FP4训练框架，通过可微量化估计器和异常值钳制补偿策略，解决量化误差和表示能力限制问题，实现与BF16和FP8相近的精度，适用于大规模语言模型训练。

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:62937-62957, 2025

The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

概率电路的表达性边界：与大语言模型的比较

Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文比较概率电路与大语言模型在自回归框架下的表现，发现概率电路通过logit空间参数化和结构分解可缩小表达性差距，但其在异质依赖拓扑下仍存在表达限制。

Deterministic Differentiable Structured Pruning for Large Language Models

确定性可微结构剪枝用于大语言模型

Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出确定性可微剪枝方法，通过优化离散l0目标的确定性软替代，减少训练-测试不匹配并提升收敛速度，实验证明在大语言模型中实现高效剪枝。

Comments Published at ICML26;

CoreQ: Learning-Free Mismatch Correction and Successive Rounding for Quantization

CoreQ: 无学习的不匹配校正与连续舍入用于量化

Seohyeon Cha, Huancheng Chen, Dongjun Kim, Haoran Zhang, Kevin Chan, Gustavo de Veciana, Haris Vikalo

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 CoreQ提出一种无学习的PTQ框架，通过几何分解得到闭式系数校正不匹配，减少过拟合并提升性能，适用于多种LLM场景。

Focus on the Core: Empowering Diffusion Large Language Models by Self-Contrast

聚焦核心：通过自对比增强扩散大语言模型

Jinyuan Feng, Xin Yu, Yiqun Chen, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Zhiqiang Pu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过研究高信息密度token，提出FoCore解码策略，利用自对比提升生成质量与效率，实验表明在数学、代码和逻辑推理任务中效果显著。

ADE: Adaptive Dictionary Embeddings -- Scaling Multi-Anchor Representations to Large Language Models

ADE：自适应词典嵌入——将多锚表示扩展到大语言模型

Orhan Demirci, Sezer Aptourachman, Aydın Kaya

机构 * Department of Computer Engineering（计算机工程系） ； Hacettepe University（哈切塔佩大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 ADE通过引入词汇投影、分组位置编码和上下文感知锚重加权，有效扩展多锚表示到大语言模型，减少参数并提升性能。

Comments 13 pages (9 pages main text + 4 pages appendix), 6 tables, 1 algorithm

GWT: Scalable Optimizer State Compression for Large Language Model Training

GWT: 大规模语言模型训练中的可扩展优化器状态压缩

Ziqing Wen, Ping Luo, Jiahuan Wang, Kun Yuan, Dongsheng Li, Tao Sun

机构 * National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室） ； National University of Defense Technology（国防科技大学） ； Center for Machine Learning Research（机器学习研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GWT，一种基于小波变换的优化器状态压缩方法，有效减少内存开销，同时保持模型精度，适用于大规模预训练和任务微调。

In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

In-Sync: 语音感知大语言模型在ASR中的适应性改进：基于词级时间戳预测

Xulin Fan, Vishal Sunder, Samuel Thomas, Mark Hasegawa-Johnson, Brian Kingsbury, George Saon

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过词级时间戳预测提升ASR性能，采用轻量训练策略增强对齐鲁棒性，实验证明在多个数据集上提升了时间戳准确性和整体ASR表现。

Comments Accepted to ICASSP 2026

LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs

LATMiX：用于LLM微缩量化的学习可逆变换

Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出LATMiX方法，通过学习可逆仿射变换提升LLM微缩量化精度，实验显示在多种零样本基准上优于现有方法。

Comments 32 pages, 6 figures

MATA: Multi-Agent Framework for Reliable and Flexible Table Question Answering

MATA：用于可靠和灵活的表格问答的多智能体框架

Sieun Hyeon, Jusang Oh, Sunghwan Steve Cho, Jaeyoung Do

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 MATA通过多智能体框架和小语言模型工具，提升表格问答的可靠性与灵活性，实验显示其在不同LLM上均取得最佳准确率和高效推理。

Comments Accepted to ACL 2026 (findings)

TROJail: Trajectory-Level Optimization for Multi-Turn Large Language Model Jailbreaks with Process Rewards

TROJail: 多轮对话中针对大语言模型的多轮攻击优化

Xiqiao Xiong, Ouxiang Li, Zhuo Liu, Moxin Li, Wentao Shi, Fengbin Zhu, Qifan Wang, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Meta AI 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TROJail，通过多轮强化学习优化攻击策略，引入过程奖励提升攻击成功率，实验显示在多个模型和基准上效果显著。

Comments Accepted to ACL 2026 Main Conference