语言大模型 / LLM

CoCoScale: Leveraging Layer-wise Scaling to Unlock the Potential of Online LLM Serving

CoCoScale：利用逐层缩放释放在线大语言模型服务的潜力

Jingfeng Wu, Yiyuan He, Minxian Xu, Xitong Gao, Chong Ma, Le Chen, Min Shen, Lin Qu, Kejiang Ye, CHengzhong Xu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究在线大语言模型服务中动态工作负载问题，提出CoCoScale逐层动态缩放机制，通过利用闲置资源扩展热层并行度，减少冷启动延迟，提升动态适应性和资源效率。

Comments 22 pages

Push Puppet Networks: Structured Bayesian Pruning Algorithm for Language Model Compression

推杆网络：用于语言模型压缩的结构化贝叶斯剪枝算法

Robert Kubinec

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)

AI总结 提出推杆网络，一种结构化贝叶斯剪枝算法，通过层次惩罚函数学习门控参数，在不加载完整模型的情况下将网络剪枝至特定大小，在高剪枝率下优于现有方法并实现GPU加速。

Efficient Remote Sensing Instance Segmentation with Linear-Time State Space Distilled Visual Foundation Models

高效遥感实例分割：基于线性时间状态空间蒸馏的视觉基础模型

Qinzhe Yang, Keyan Chen, Jia Xu, Zhenwei Shi, Zhengxia Zou

机构 * Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； Qian Xuesen Laboratory of Space Technology, China Academy of Space Technology（中国空间技术研究院钱学森空间技术实验室） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对Transformer在遥感实例分割中计算复杂度高的问题，提出基于知识蒸馏的线性复杂度状态空间模型RS4D，通过蒸馏ViT知识至轻量SSM骨干，实现参数减少8倍、FLOPs减少9倍且精度相当。

Comments 17 pages, 11 figures, has been published in IEEE TGRS vol. 64, pp. 5625417-5625417, 2026, Art no. 5625417, doi: 10.1109/TGRS.2026.3696104

Journal ref IEEE Transactions on Geoscience and Remote Sensing, vol. 64, pp. 5625417-5625417, 2026, Art no. 5625417

From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models

从帧到时间图：基于视觉语言模型的上下文第一人称动作识别

Bessie Dominguez-Dager, Francisco Gomez-Donoso, Miguel Cazorla, Marc Pollefeys, Daniel Barath, Zuria Bauer

机构 * University of Alicante（阿利坎特大学） ； ETH Zürich（苏黎世联邦理工学院） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)

AI总结 提出将视频转换为时间动作图，通过多阶段提示生成自然语言叙述并结构化，实现上下文学习，在EGTEA和Epic-Kitchens-100上显著提升零样本和少样本动作识别性能。

A Neurosymbolic Prolog Skill for LLM-Driven Service Placement

一种用于LLM驱动服务放置的神经符号Prolog技能

Jacopo Massa, Giuseppe Bisicchia, Patrizio Dazzi, Antonio Brogi

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)

AI总结 提出一种基于Prolog技能的神经符号方法，将服务放置意图转化为符号事实和规则，利用Prolog进行约束验证和推理，实现可检查的策略感知放置。

SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation

SkelDPO: 一种骨架引导的直接偏好优化框架用于高效代码生成

Yu Yu, Chen Lyu

专题命中 效率与部署 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出SkelDPO框架，通过骨架引导的偏好优化，在代码生成中同时优化语义正确性和执行效率，相比现有方法在Pass@1、Beyond@1和Effi@1上提升3-7%。

VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents

VoiceChat-TTS：面向交互智能体的低延迟连续语音合成模型

Edresson Casanova, Jaehyeon Kim, Mariana Graterol Fuenmayor, Shehzeen Hussain, Viacheslav Klimkov, Valentin Mendelev, Mikyas Desta, Paarth Neekhara, Piotr Zelasko, Chen Chen, Elena Rastorgueva, Ke Hu, Ankita Pasad, Xuesong Yang, Aya Alja'fari, Rajarshi Roy, Rohan Badlani, Jason Roche, Jason Li, Zhehuai Chen

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有语音模型延迟高、无法处理用户插话的问题，提出VoiceChat-TTS模型，由LLM文本令牌流驱动，支持语句中途中断且不重置KV缓存，在保证高语音质量的同时实现低延迟连续语音合成。

The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs

多语言量化代价：边缘端小型语言模型（SLM）中的结构崩溃与类型学脆弱性

Mohammad Wathiq Soualhi

专题命中 效率与部署 ：SLM(title_cn,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 本研究针对Gemma 4、Qwen 3.5架构开展4比特量化的零样本多语言评估，发现量化存在类型学脆弱性等四类现象，揭示了量化代价的多语言差异。

Comments Under review at EMNLP 2026

The Sparsity Whisperer

稀疏低语者

Linghao Kong, Inimai Subramanian, Micah Adler, Dan Alistarh, Dan Gutfreund, Nir Shavit

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文针对大语言模型剪枝忽略输出差异的问题，提出Wisp、Wisp+、Whisper等差异感知剪枝方法，在Llama系列模型上提升了剪枝效果，可与其他技术结合优化性能。

Comments 10 pages, 3 figures. Code available at https://github.com/Shavit-Lab/Whisper

Attention Degradation, Function Token Anchoring, and the Limits of Attention-Based Intervention in Large Language Models

注意力退化、功能令牌锚定以及基于注意力的大语言模型干预的局限性

Sagar Dangal, Manoj Shakya

机构 * London Metropolitan University（伦敦城市大学） ； Islington College（伊斯灵顿学院） ； Kathmandu University（加德满都大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究探讨大语言模型中注意力退化问题，通过六个实验刻画其模式及功能令牌锚定特点，测试干预机制效果，发现平均注意力退化多为描述性，功能令牌作用于隐藏状态计算，为可解释性方法及推理优化提供启示。

Comments 19 pages, 2 figures, 10 tables

PlanE: Meta Planning of Data, Tuning, and Inference for Extractive-based LLMs

PlanE：基于抽取式大语言模型的数据、调优和推理的元规划

Jiacheng Wang, Weiyan Zhang, Guangya Yu

机构 * Ant Group（蚂蚁集团） ； School of Information Science and Engineering, East China University of Science and Technology（华东理工大学信息科学与工程学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 针对大语言模型特定任务能力提升中数据标注成本高及缺乏优化方法的问题，提出PlanE框架，含数据分解等，引入DTI规划器，实验验证了该框架及规划器在不同场景下的有效性和通用性。

Adversarial Social Epistemology for Assemblies of Humans and Large Language Models

人类与大语言模型集合的对抗性社会认识论

Mihnea C. Moldoveanu, Joel A. C. Baum

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究人类与大语言模型集合在密集互动交流场景中的信息问题，提出对抗性社会认识论，借助语言、机制及基于认知网络的 machinery 来分析、破坏信任并审计纠正信任违规。

Comments 50 pages

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

超越提示：通过模拟审核轨迹越狱函数调用大语言模型

Junlong Liu, Haobo Wang, Weiqi Luo, Xiaojun Jia

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对函数调用大语言模型的结构性漏洞，提出基于模拟审核轨迹的黑盒攻击框架SMT，通过多轮交互绕过安全约束，在多个商业模型上实现高攻击成功率。

UniSVQ: 2-bit Unified Scalar-Vector Quantization

UniSVQ: 2比特统一标量-向量量化

Haoyu Wang, Haiyan Zhao, Xingyu Yu, Zhangyang Yao, Xu Han, Zhiyuan Liu, Maosong Sun

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出UniSVQ，通过将码字参数化为整数格点的仿射变换，统一标量和向量量化，实现2比特量化下性能优于标量量化、媲美向量量化，且推理吞吐更高。

Comments Accepted by ICML 2026

AsyncOPD: How Stale Can On-Policy Distillation Be?

AsyncOPD：同策略蒸馏可以有多陈旧？

Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjun Kang, Sanghyun Park, Donghoon Kim, Minjae Lee, Minseo Kim, Rishabh Tiwari, Yuchen Zeng, Hyung Il Koo, Kangwook Lee

机构 * FuriosaAI ； Ajou University（亚洲大学） ； UC Berkeley（加州大学伯克利分校） ； Microsoft Research（微软研究院） ； KRAFTON ； Ludo Robotics 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究异步同策略蒸馏中陈旧数据的影响，发现前向KL对陈旧更鲁棒，反向KL脆弱但可通过重算信号缓解，并提出AsyncOPD框架实现1.6-3.8倍加速。

Comments Code: https://github.com/furiosa-ai/async-opd

Towards Scalable Customization and Deployment of Multi-Agent Systems for Enterprise Applications

面向企业应用的多智能体系统可扩展定制与部署

Paresh Dashore, Shreyas Kulkarni, Uttam Gurram, Nadia Bathaee, Kartik Balasubramaniam, Genta Indra Winata, Sambit Sahu, Shi-Xiong Zhang

机构 * Capital One（第一资本） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出统一框架，通过智能体模型定制（持续预训练、微调、偏好优化）和推理优化（推测解码、FP8量化），实现领域自适应和4.48倍吞吐加速，保持性能并提升长尾场景鲁棒性。

Comments Preprint

Encode Errors: Representational Retrieval of In-Context Demonstrations for Multilingual Grammatical Error Correction

编码错误：多语言语法错误纠正中上下文示例的表征检索

Guangyue Peng, Wei Li, Wen Luo, Houfeng Wang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出从LLM内部状态提取语法错误表征（GER）用于检索上下文示例，显著提升多语言语法错误纠正的少样本性能，在低资源语言上F0.5提升达1.20倍。

Comments 15 pages, 6 figures

Journal ref Findings of the Association for Computational Linguistics: ACL 2025, pages 21166-21180, Vienna, Austria. Association for Computational Linguistics, 2025

Evoflux: Inference-Time Evolution of Executable Tool Workflows for Compact Agents

Evoflux: 紧凑型智能体的可执行工具工作流的推理时演化

Kushal Raj Bhandari, Ling Yue, Ching-Yun Ko, Dhaval Patel, Shaowu Pan, Pin-Yu Chen, Jianxi Gao

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：SFT(summary_cn,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Evoflux，一种推理时演化搜索方法，通过结构化编辑和执行反馈修复紧凑语言模型的工具工作流，将执行可行性从3%提升至17-24%，优于SFT和ReAct。

Comments Code is available at https://github.com/IBM/Evoflux

DynamicPTQ: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics

DynamicPTQ: 通过残差流动态缓解激活量化崩溃

Zimo Zhao, Maolin Wang, Bowen Yu, Bowen Liu, Xiao Han, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出DynamicPTQ，通过分析残差流中激活的相位式动态变化，识别量化敏感层并分配8位精度，在W4A4KV4量化下提升LLaMA-2/3的困惑度和零样本QA性能，吞吐量提升1.05-1.07倍。

Intern-S2-Preview: Scientific Agentic Foundation Model

Intern-S2-Preview：科学智能体基础模型

Lei Bai, Jiaqi Cao, Chiyu Chen, Guanzhou Chen, Kai Chen, Guangran Cheng, Erfei Cui, Xuanlang Dai, Shengyuan Ding, Shangheng Du, Yanhui Duan, Yue Fan, Youqing Fang, Quan Gan, Yuanyuan Gao, Jiaye Ge, Lixin Gu, Yuzhe Gu, Qipeng Guo, Junjun He, Xin Hong, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Zixian Huang, Minxi Jin, Lingkai Kong, Alexander Lam, Zehao Li, Zonglin Li, Tianhao Liang, Dahua Lin, Junyao Lin, Tianyang Lin, Zhouhan Lin, Jiangning Liu, Jin Liu, Kuikun Liu, Wenran Liu, Yifei Liu, Yuhong Liu, Yuhong Liu, Zhoumianze Liu, Ziyan Liu, Ziyu Liu, Haijun Lv, Han Lv, Chengqi Lyu, Le Ma, Ningsheng Ma, Zerun Ma, Haoyang Peng, Runyu Peng, Jifei Shan, Zixin Shang, Kou Shi, Xiang Shi, Qisheng Su, Xuerui Su, Hao Sun, Xiao Sun, Yanan Sun, Yu Sun, Huanze Tang, Yinghao Tang, Wenhui Tian, Zhongbo Tian, Bingli Wang, Haomin Wang, Jiarui Wang, Jingzhi Wang, Rui Wang, Xiquan Wang, Yi Wang, Zhecan Wang, Ziyi Wang, Zun Wang, Rubin Wei, Lianyi Wu, Wen Wu, Yue Wu, Yuhan Wu, Zhenyu Wu, Zijian Wu, Shuhao Xing, Jun Xu, Xingle Xu, Xuenan Xu, Xiangchao Yan, Ziang Yan, Bowen Yang, Danni Yang, Lin Yang, Zhiqi Yang, Qian Yao, Haochen Ye, Peng Ye, Jinhui Yin, Jiashuo Yu, Dingbo Yuan, Fei Yuan, Yuhang Zang, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Junming Zhang, Wenlong Zhang, Wenwei Zhang, Yiming Zhang, Zhuo Zhang, Ziyang Zhang, Haiteng Zhao, Penghao Zhao, Yibo Zhao, Zhonghan Zhao, Zhihang Zhong, Bowen Zhou, Peiheng Zhou, Xin Zhou, Xinyu Zhou, Yunhua Zhou, Dongsheng Zhu, Yicheng Zou

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Intern-S2-Preview系列科学智能体基础模型，通过多阶段训练与架构优化，在多类基准上取得领先结果，相关模块可提升科学任务表现且无需修改主干模型。

Comments 35 pages, 12 figures

Novels generated by language models show compressed formal variation

语言模型生成的小说呈现出压缩的形式多样性

Mehdy Sedaghat Payam, Justin Quinn

机构 * University of Maryland（马里兰大学） ； University of West Bohemia（西波希米亚大学） ； Charles University（查理大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究对比不同模型生成及人类撰写的小说语料库，发现AI生成小说的形式多样性被压缩，句子结构等指标的变异性远低于人类小说，且存在方差与相关性过度封闭现象。

TELLME: Test-Enhanced Learning for Language Model Enrichment

TELLME：面向语言模型增强的测试增强学习

Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Seoul National University of Science and Technology（首尔科学技术大学） ； National Security Research Institute（国家安全研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出TELLME方法，将测试增强学习（TEL）原理与持续预训练（CPT）结合，缓解大语言模型领域自适应中数据与成本问题，在金融领域表现优于现有方法，长期记忆保留提升显著。

Comments Findings of the Association for Computational Linguistics: EACL 2026

Journal ref Findings of the Association for Computational Linguistics: EACL 2026, pages 1655-1677

EASy: Towards Efficient LLM-Based Agentic System

EASy：迈向高效的基于大语言模型的智能体系统

Junnan Liu, Linhao Luo, Thuy-Trang Vu, Gholamreza Haffari

机构 * Monash University（莫纳什大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 EASy是一种可训练的智能体框架，通过强化学习优化任务性能与计算效率，采用里程碑-规划-执行工作流，在多类基准上实现了更优的性能-效率权衡。

Comments Preprint

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

协同控制：大语言模型智能体的控制与模型权重协同进化

Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

专题命中 效率与部署 ：LLM(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对训练后智能体优化问题，提出协同控制框架，交替优化控制与模型参数。通过基于大语言模型的控制批评家分析失败轨迹并提出更新，再用改进控制生成的轨迹微调模型，案例研究显示该方法能提升智能体性能。

Masked Distillation: Internalizing the Chain-of-Thought in Language Models

掩码蒸馏：将思维链内化到语言模型中

Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

机构 * SCAI, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究能否将大型推理模型中间步骤计算内化到语言模型参数中，提出掩码蒸馏框架，在自我蒸馏和双模型设置中实例化，并改变中间令牌支架长度，通过实验在GSM8K和Countdown推理领域进行评估。

Decode-Time Grammars: Constrained LLM Generation over a Refinement Order of Grammar Fragments

解码时语法：基于语法片段细化顺序的受限大语言模型生成

Shuoming Zhang, Ruiyuan Xu, Haofeng Li, Qiuchu Yu, Yangyu Zhang, Chunwei Xia, Xiaobing Feng, Chenxi Wang, Huimin Cui, Jiacheng Zhao

机构 * SKLP, Institute of Computing Technology, Chinese Academy of Sciences（SKLP，计算技术研究所，中国科学院） ； University of Leeds（利兹大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型在低资源编程表面生成代码的问题，提出解码时语法方法，通过运行时环境实例化语法片段，经特定策略和算子确保语法语义正确，实现中在多种语言和模型上消除幽灵引用。

Agentic Calibration of Grey-Box Simulation Models: An LLM-Driven Alternative

灰箱仿真模型的智能校准：一种由大语言模型驱动的替代方法

David Gómez-Guillén, Mireia Diaz, Josep Lluis Arcos, Jesús Cerquides

机构 * Catalan Institute of Oncology-IDIBELL（加泰罗尼亚肿瘤研究所-IDIBELL） ； Autonomous University of Barcelona（巴塞罗那自治大学） ； Centro de Investigación Biomédica en Red de Epidemiología y Salud Pública（国家公共卫生与流行病学网络生物医学研究中心） ； Artificial Intelligence Research Institute, IIIA-CSIC（人工智能研究所，西班牙科学研究委员会-人工智能研究所） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究灰箱仿真模型校准问题，提出用大语言模型作优化器的智能校准方法，在肛门癌仿真模型上评估，结果表明该方法在减少模型评估次数上有优势，虽迭代推理时间增加，但可审计和解释，适用于仿真时间占主导的情况。

Comments Manuscript: 19 pages, 2 figures. Appendix: 11 pages, 1 figure

Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression

压缩关键内容：神经元重要性与数据感知低秩近似用于语言模型压缩

Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

机构 * Information Technologies Institute (ITI), Centre for Research and Technology HELLAS (CERTH)（信息技术研究所（ITI），希腊研究与技术中心（CERTH）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型压缩问题，结合神经元重要性和数据感知低秩近似方法，提出动态压缩率分配算法，实验表明该方法在高压缩率下性能与或优于现有技术。

Journal ref EEE Access, vol. 14, pp. 6106-6120, 2026

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve：用于无训练结构化大语言模型剪枝的跨模块协同剪枝曲率

Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Interdisciplinary Graduate Programme, Nanyang Technological University（南洋理工大学跨学科研究生项目） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型结构化剪枝中独立评分单元不合理的问题，提出CoCurve方法，通过二阶泰勒展开得到Fisher矩阵计算协同剪枝曲率边，联合修剪注意力和FFN单元，仅用M次前向传播求解预算二次规划，无需标签、微调等完成剪枝。

ExTernD: Expanded-Rank Ternary Decomposition Ternary LLM PTQ with Accuracy Approaching Any Quantization Level

ExTernD：扩展秩三元分解的三元大语言模型后训练量化，精度逼近任意量化级别

Chethan Reddy G. P

专题命中 效率与部署 ：LLM(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出ExTernD方法，将大语言模型权重矩阵因式分解，扩展内部秩纠正量化误差，残差随秩单调递减可逼近bf16精度。该方法内存、计算和因子稀疏性可连续调整，在多个模型上匹配或接近Q4_K/Q5_K精度。