语言大模型 / LLM

Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation

向LLMs的全息特性迈进：为高效短文本生成而努力

Shun Qian, Bingquan Liu, Chengjie Sun, Zhen Xu, Baoxun Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Platform and Content Group, Tencent（腾讯平台与内容组） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HOLO插件，利用语言模型的全息特性提升短文本生成效率，通过提取目标关键词并补充平行文本生成，实现高效生成。

Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors

每次我雇佣一位语言学家，推理成本就会降低：论语言规则作为有效的提示压缩器

Jianfei Ma, Zhaoxin Feng, Emmanuele Chersoni, Si Chen

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究探讨仅用语言规则作提示压缩器的可行性，通过离线进化搜索找到有竞争力的规则组合，所产生的语言压缩器仅用CPU端处理，经双路径协议评估性能与先进策略相似，揭示了压缩时规则变化及性能随压缩力度的表现。

Comments 37 pages, 6 figures, under review paper

CausalGate: Causal Importance Distillation for Transformer Module Pruning

因果门控：用于Transformer模块剪枝的因果重要性蒸馏

Kiran Nair, Smriti Regmi, Rodrigue Rizk

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型自适应推理方法不足，提出CausalGate框架，在校准阶段隔离子层测量语义损伤，再用特定目标和损失将结构重要性提炼为标量门控，经实验验证其在多模型上优于基线，能降低硬件延迟且无操作开销。

Comments In-Review at a conference

Do LLMs Know What They Know? Measuring Metacognitive Efficiency with Signal Detection Theory

大语言模型知道它们知道什么吗？基于信号检测理论测量元认知效率

Jon-Paul Cacioli

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文基于信号检测理论中的元认知敏感性，提出新的评估框架，发现不同模型的元认知效率差异显著，且受领域影响，温度调整影响置信度策略而非元认知能力，证明AUROC_2和M-ratio指标回答不同评估问题。

Comments 12 pages, 4 figures, 3 tables. v3 corrects a differential length bias in the automated correctness scorer, validated against 1,830 human adjudications; all analyses recomputed. The inverse accuracy-efficiency coupling in v1/v2 does not survive relabelling; see the version note on page 1. Pre-registered. Code and annotations: github.com/synthiumjp/metacognition-audit

GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization

GoQuant: 用于无乘法器二次幂变压器量化的几何正交残差投影

Maoyang Xiang, Tao Luo, Bo Wang

机构 * Information Systems Technology and Design（信息系统技术与设计） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Institute of High Performance Computing (IHPC)（高性能计算研究所） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对低比特量化中二次幂格式的低角度分辨率问题，提出几何正交残差投影量化（GoQuant），通过双基几何投影和移位加操作合成高分辨率残差格点，实现硬件高效且无需乘法器的量化方法。

Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model

南贝格4.2 - 3B：以紧凑模式解锁智能体能力

Nanbeige Lab, :, Chen Yang, Chengrui Huang, Fufeng Lan, Hanhui Chen, Hao Zhou, Huatong Song, Jiaqi Cao, Jiaying Zhu, Jinlin Niu, Kai Wang, Lisheng Huang, Qiliang Liang, Ran Le, Ruixiang Feng, Shuang Sun, Tao Gu, Tao Zhang, Tianyu Luo, Yang Song, Yun Xing, Yuntao Wen, Ziyao Xu, Zongchao Chen, Zongqiang Li

机构 * Nanbeige LLM Lab（南北贝大语言模型实验室） 纠错

专题命中 效率与部署 ：SFT(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 介绍南贝格4.2 - 3B紧凑通用智能体模型，通过特定预训练方式构建，利用多种强化学习方法提升质量与效率，在多任务和基准测试中表现出色，优于更大模型，有潜力成为紧凑本地个人助手。

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation

EvoSpec: 通过实时词汇和参数自适应进化推测解码

Shuyu Zhang, Lingfeng Pan, Qicheng Wang, Yaqi Shi, Yueyang Tan, Ruyu Yan, Jiaqi Chen, Lixing Du, Lu Wang

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EvoSpec框架，通过动态词汇和参数自适应实现推测解码中草稿模型的实时进化，解决静态方法在专业领域和主题切换场景下接受率骤降的问题，在EAGLE-3上实现1.13倍加速并降低27%内存开销。

Towards AI epidemiology: a measurement standardisation framework for prospective risk detection

迈向人工智能流行病学：一种用于前瞻性风险检测的测量标准化框架

Kit Tempest-Walters

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种测量标准化框架，用于在没有访问模型内部信息的情况下，将专家-人工智能交互压缩为结构化、可比较的领域，以进行前瞻性风险检测。该框架旨在定义其范围，包括语义和统计层面，并指定未来工作的实证测试协议。

Comments 38 pages, 3 figures, 4 tables. Accepted for publication in AI & Society

When Fewer Layers Break More Chains: Layer Pruning Harms Test-Time Scaling in LLMs

当更少的层打破更多的链条：层剪枝损害大语言模型的测试时扩展性

Keyu Wang, Tian Lyu, Guinan Su, Lu Yin, Marco Canini, Jonas Geiping, Shiwei Liu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究层剪枝对大语言模型长链推理中测试时扩展性的影响，经大量实验发现剪枝会严重损害其扩展性，标准微调补救无效，确定了扩展性脆弱机制及应用层剪枝的风险，呼吁重新思考策略并为保推理鲁棒性方法提供见解。

Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding

Brain-CLIPLM: 用于EEG到文本解码的语义压缩

Xiaoli Yang, Huiyuan Tian, Yurui Li, Jianyu Zhang, Shijian Li, Gang Pan

机构 * Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出Brain-CLIPLM框架，通过语义锚点恢复和锚点引导的句子重建，解决EEG信号低信噪比和信息带宽限制的问题，实现了更高的文本检索准确率。

DemoPSD: Disagreement-Modulated Policy Self-Distillation

DemoPSD: 分歧调节的策略自蒸馏

Yunhe Li, Hao Shi, Wenhao Liu, Mengzhe Ruan, Hanxu Hou, Zhongxiang Dai, Shuang Qiu, Linqi Song

机构 * City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DemoPSD框架，通过选择性采纳教师指导，平衡学生从教师学习和保持自身推理能力，解决特权信息泄露和探索抑制问题，在科学推理任务上优于现有方法。

Stable On-Policy Distillation through Adaptive Target Reformulation

通过自适应目标重述实现稳定的在线策略蒸馏

Ijun Jang, Jewon Yeom, Juan Yeo, Hyunggyu Lim, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Veto方法，通过在logit空间构建几何桥梁，解决传统在线策略蒸馏中的分布不匹配问题，提升训练稳定性与输出多样性。

Comments 10 pages, 5 figures, Accepted to Findings of ACL 2026

GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs

GrAInS：基于梯度的大语言模型和视觉语言模型推理时引导方法

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对推理时引导LLMs和VLMs的方法局限，提出GrAInS。该方法基于梯度归因识别关键令牌构建引导向量，推理时调整激活。实验显示其性能优于微调及现有基线，能在保持模型流畅性和通用能力的同时提升多项指标。

Comments Accepted to ACL 2026

A Vision Toward Energy-Efficient Domain-Specific Artificial Intelligence Models and Agents

迈向节能领域特定人工智能模型和智能体的愿景

Abhijit Chatterjee, Niraj K. Jha, Jonathan D. Cohen, Thomas L. Griffiths, Hongjing Lu, Diana Marculescu, Ashiqur Rasul, Wenrui Xu, Keshab K. Parhi

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出下一代人工智能应是轻量级领域特定多模态模型，能在动态环境中推理决策并持续进化。核心方法是重新设计硬件提升能源效率。主要贡献是为未来人工智能系统发展提供新愿景，推动从大数据训练的大模型向节能领域特定智能体转变。

Dual Path Attribution: Efficient Attribution for SwiGLU-Transformers through Layer-Wise Target Propagation

双路径归因：通过层间目标传播实现SwiGLU-Transformer的高效归因

Lasse Marten Jantsch, Dong-Jae Koh, Seonghyeon Lee, Young-Kyoon Suh

机构 * School of Computer Science and Engineering, Kyungpook National University（韩国庆北国立大学计算机科学与工程学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出双路径归因方法，通过单次前向和反向传播高效追踪Transformer内部信息流，实现高保真度和高效性，适用于长序列和密集组件归因。

Base Models Know How to Reason, Thinking Models Learn When

基础模型知道如何推理，思维模型在训练中学习时机

Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

专题命中 效率与部署 ：language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 研究思维语言模型训练中比基础模型多学到了什么，提出无监督方法和建设性模型差异分析，通过九个基础/思维模型对实验发现强化学习教编排基础机制启发式，监督微调蒸馏装新机制，为训练范式及推理模型开发提供新视角。

Comments Accepted as a Spotlight at the International Conference on Machine Learning 2026

Toward Efficient Agents: Memory, Tool learning, and Planning

迈向高效智能体：记忆、工具学习与规划

Xiaofang Yang, Lijun Li, Heng Zhou, Tong Zhu, Xiaoye Qu, Yuchen Fan, Qianshan Wei, Rui Ye, Li Kang, Yiran Qin, Daizong Liu, Qi Li, Ning Ding, Siheng Chen, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）） ； Hong Kong Polytechnic University（香港理工大学） ； Wuhan University（武汉大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究将大语言模型扩展到智能体系统中的效率问题，从记忆、工具学习和规划三个核心组件考虑成本，回顾多种方法并详细讨论，以两种方式刻画效率，还探讨关键挑战与未来方向。

Comments 63 pages, 244 references

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

RateQuant: 通过率-失真理论实现最优混合精度KV缓存量化

Fei Zuo, Zikang Zhou, Hao Cong, Xiaoyan Xi, Ho Fai Leung

机构 * BA TechWorks (BMW Group)（BA TechWorks（宝马集团）） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 RateQuant利用率-失真理论优化混合精度KV缓存量化，通过为不同重要性头部分配不同位宽，减少内存瓶颈，提升生成性能。

Comments 18 pages, 7 figures, 5 tables

Fix Initial Programs and Iteratively Refine Repair Instructions Toward Non-Elimination Multi-Turn Program Correction

修正初始代码并迭代细化文本方向以实现安全的多轮代码修正

Yuto Tanaka, Issei Sato

机构 * Department of Computer Science（计算机科学系） ； The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出简化方法IRTD，通过修正初始代码并迭代细化文本方向，理论证明其安全性，并在代码生成基准测试中表现与最先进方法相当。

Scaling Small Agents Through Strategy Auctions

通过策略拍卖扩展小型智能体

Lisa Alazraki, William F. Shen, Yoram Bachrach, Akhil Mathur

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Imperial College London（帝国理工学院伦敦分校） ； University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对小型语言模型在复杂任务中性能不足的问题，提出受自由职业市场启发的SALE框架，通过策略拍卖实现任务分配与测试时自我改进，在降低对大型模型依赖和成本的同时提升性能。

Comments ICML 2026

SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters

SAGA：面向GPU集群的AI代理推理工作流原子调度

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Brain Investing Limited（脑投有限公司） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 SAGA通过工作流级调度减少任务完成时间1.64倍，提升GPU内存利用率1.22倍，同时在多租户环境下达成99.2%的服务水平目标，但牺牲了30%的峰值吞吐量。

Comments 15 pages, 3 figures, 11 tables. Accepted to HPDC '26 (35th International Symposium on High-Performance Parallel and Distributed Computing), July 13-16, 2026, Cleveland, OH, USA

GAC: Stabilizing Asynchronous RL Training for LLMs via Gradient Alignment Control

GAC: 通过梯度对齐控制稳定大语言模型的异步RL训练

Haofeng Xu, Junwei Su, Yukun Tian, Lansong Diao, Zhengping Qian, Chuan Wu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； Alibaba Group（阿里巴巴集团） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题，提出梯度对齐控制（GAC）方法，通过梯度投影调节陈旧对齐方向，恢复稳定训练并匹配同步基线。

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

通过自适应课程学习的高效强化微调

Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出AdaRFT方法，通过自适应课程学习动态调整训练问题难度，提升强化微调效率，在数学推理任务上训练时间减半。

Comments Published in Transactions on Machine Learning Research (TMLR). 30 pages, 8 figures, 7 tables

HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning

HeRo-Q: 通过Hessian条件化实现稳定低比特量化的通用框架

Jinhao Zhang, Yunquan Zhang, Zicheng yan, Boyang Zhang, Jun Sun, Daning Cheng

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang Lab（浙江实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对后训练量化中“低误差、高损失”的矛盾，提出HeRo-Q算法，通过轻量可学习的旋转压缩矩阵重塑损失景观，降低最大Hessian特征值，增强对量化噪声的鲁棒性，在Llama和Qwen模型上优于现有方法。

Olmo Hybrid: From Theory to Practice and Back

Olmo Hybrid：从理论到实践再回到理论

William Merrill, Yanhong Li, Tyler Romero, Anej Svete, Caia Costello, Pradeep Dasigi, Dirk Groeneveld, David Heineman, Bailey Kuehl, Nathan Lambert, Chuan Li, Kyle Lo, Saumya Malik, DJ Matusz, Benjamin Minixhofer, Jacob Morrison, Luca Soldaini, Finbarr Timbers, Pete Walsh, Noah A. Smith, Hannaneh Hajishirzi, Ashish Sabharwal

机构 * Allen Institute for AI（Allen人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过理论分析和实验验证，证明混合模型（结合注意力与线性RNN）在表达能力、扩展效率上优于纯Transformer，并训练了7B参数的Olmo Hybrid模型，在标准评估中超越Olmo 3。

Comments Corrected author list and typos in appendix

PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning

PLATE: 可塑性可调的几何感知持续学习高效适配器

Romain Cosentino

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出无需旧任务数据的持续学习方法PLATE，利用预训练网络的几何冗余性，通过结构化低秩更新显式控制可塑性-保留权衡，提升最坏情况保留保证。

LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization

LM-SPT：面向语音标记化的LM对齐语义蒸馏

Daejin Jo, Jeeyoung Yun, Byungseok Roh, Sungwoong Kim

机构 * Department of Artificial Intelligence, Korea University（韩国大学人工智能系） ； Multi-modal Model Training, Kakao Corp（Kakao公司多模态模型训练部） 纠错

专题命中 效率与部署 ：language model(abstract)；SLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出LM-SPT方法，通过语义语音重合成蒸馏，在不降低帧率的情况下生成与语言模型更对齐的离散语音标记，在ASR和TTS任务中优于现有方法。

OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification

OmniOPD：通过推测性验证实现无Logit的在线策略蒸馏

Yuhang Zhou, Lizhu Zhang, Yifan Wu, Mingyi Wang, Bo Peng, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao

机构 * Meta AI 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出OmniOPD框架，通过基于蒙特卡洛展开的块级语义相似度替代token级logit匹配，结合峰值熵调度器和贝叶斯先验，解决在线策略蒸馏中logit不可获取和信号脆弱问题，在数学任务上超越标准OPD达28.64%。

Comments 26 pages, 3 figures

Generalized Discrete Diffusion with Self-Correction

广义离散扩散与自校正

Linxuan Wang, Ziyi Wang, Yikun Bai, Wei Deng, Guang Lin, Qifan Song

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出自校正离散扩散模型（SCDD），通过显式状态转移和离散时间学习，简化训练噪声调度，消除冗余重掩码步骤，在GPT-2规模上实现高效并行解码并保持生成质量。

Comments 40 pages, 3 figures, 6 tables

A Theory of Training Profit-Optimal LLMs

训练利润最优大语言模型的理论

Sophie Hao, William Merrill

机构 * Boston University（波士顿大学） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出一个经济模型，结合扩展定律与微观经济学理论，分析大语言模型训练的利润最大化问题，探讨模型规模与训练成本的关系及对利润的影响。

Comments Minor edits for preprint