语言大模型 / LLM

Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience

多步推理和工具使用中黑盒LLM的提示策略：基于经验迭代蒸馏的强化学习框架

Krishna Sayana, Ketan Todi, Ambarish Jash

机构 * Google Research（谷歌研究） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于经验迭代蒸馏的强化学习框架，用于训练提示策略以提升黑盒LLM的多步推理和工具使用能力，实验显示在逻辑推理和工具使用任务中性能显著提升。

Comments 10 pages and reference, appendix

Multi-Scale Dequant: Eliminating Dequantization Bottleneck via Activation Decomposition for Efficient LLM Inference

多尺度去量化：通过激活分解消除去量化瓶颈以实现高效的LLM推理

Lingchao Zheng, Yuwei Fan, Jun Li, Chengqiu Hu, Qichen Liao, Junyi Fan, Rui Shi, Fangzheng Miao

机构 * Huawei（华为） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多尺度去量化方法，通过分解高精度激活为多个低精度组件，避免权重转换，提升LLM推理效率。

An Interpretable Latency Model for Speculative Decoding in LLM Serving

为LLM服务中的推测解码开发一个可解释的延迟模型

Linghao Kong, Megan Flynn, Michael Peng, Nir Shavit, Mark Kurtz, Alexandre Marques

机构 * MIT（麻省理工学院） ； Red Hat AI（红帽人工智能） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一个可解释的延迟模型，用于LLM服务中的推测解码，通过Little定律推断有效批处理大小，并分解预填充、草稿和验证的请求需求，以解释延迟变化及系统配置影响。

Comments 10 pages, 8 figures

Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction

动态混合精度路由用于高效多步LLM交互

Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

机构 * University of Arizona（亚利桑那大学） ； University of Pittsburgh（匹兹堡大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出动态混合精度路由框架，通过自适应选择高精度与低精度LLM，在多步决策中实现准确率与成本的平衡。

A Hardware-Aware, Per-Layer Methodology for Post-Training Quantization of Large Language Models

一种面向硬件的、分层的后训练量化方法用于大语言模型

Earl Killian

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 本文提出了一种面向硬件的分层后训练量化方法，通过优化代码本和硬件效率，实现4.5-6位/权重的近无损精度，展示了小原子块与精心选择的精度可替代传统FP8。

Comments 21 pages

Diagnosing Training Inference Mismatch in LLM Reinforcement Learning

诊断LLM强化学习中的训练推断不匹配

Tianle Zhong, Neiwen Ling, Yifan Pi, Zijun Wei, Tianshu Yu, Geoffrey Fox, Peng Wu, Xiao Yu

机构 * ByteDance（字节跳动） ； The University of Virginia（弗吉尼亚大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示LLM强化学习中训练与推断阶段的不匹配问题，通过VeXact实验显示微小数值差异可能导致训练崩溃，并提出缓解措施。

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

XFP：面向LLM推理的质量导向自适应码本量化与稀疏异常分离

Thomas Witt

机构 * Gemini Stiftung（吉姆米基金会） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 XFP通过自适应码本量化和稀疏异常分离技术，实现高质量LLM推理，无需Hessian或校准数据，支持动态调整码本大小和异常预算，提升推理速度和精度。

Comments 17 pages, 3 figures, 17 tables, 1 algorithm. Code: https://github.com/flash7777/vllm/tree/multiquant

Query-Conditioned Test-Time Self-Training for Large Language Models

基于查询的测试时自我训练用于大语言模型

Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim

机构 * School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院） ； Graduate School of Green Growth and Sustainability, KAIST（韩国科学技术院可持续增长与绿色发展研究生院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出QueST框架，通过直接从输入查询生成查询条件对，实现测试时参数自适应，无需外部数据，在多个基准测试中优于现有方法。

Comments 17 pages, 7 figures

EnergyLens: Predictive Energy-Aware Exploration for Multi-GPU LLM Inference Optimization

EnergyLens: 多GPU LLM推理优化中的预测能效探索

Zhiye Song, Kyungmi Lee, Eun Kyung Lee, Xin Zhang, Tamar Eilam, Anantha P. Chandrakasan

机构 * Massachusetts Institute of Technology（麻省理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 EnergyLens通过einsum接口和MoE建模优化多GPULLM推理能耗，实现9.25%-13.19%的能耗预测精度，揭示配置间能效差异并推动分布式服务。

Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems

通过基于LLM的多智能体系统优化PyTorch推理

Kirill Nagaitsev, Luka Grbcic, Samuel Williams, Costin Iancu

机构 * NVIDIA Corporation（NVIDIA公司） ； Microsoft Corporation（微软公司） ； Ansel et al. ( 2024 )（Ansel等人（2024）） ； Sabne ( 2020 )（Sabne（2020）） ； Kerr et al. ( 2017 )（Kerr等人（2017）） ； Tillet et al. ( 2019 )（Tillet等人（2019）） ； Spector et al. ( 2024 )（Spector等人（2024）） ； Ouyang et al. ( 2025 )（Ouyang等人（2025）） ； Lange et al. ( 2025a（Lange等人（2025a；b）） ； b )（Li等人（2025）） ； Li et al. ( 2025 )（METR（2025）） ； METR ( 2025 )（Andrews和Witteveen（2025）） ； Andrews and Witteveen ( 2025 )（Baronio等人（2025）） ； Baronio et al. ( 2025 )（Novikov等人（2025）） ； Novikov et al. ( 2025 )（Wei等人（2025）） ； Wei et al. ( 2025 )（Sharma（2025）） ； Sharma ( 2025 ) 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出基于LLM的多智能体系统用于优化PyTorch推理，发现exploit策略与error-fixing智能体结合效果最佳，实现2.88倍速度提升。

GEAR: Granularity-Adaptive Advantage Reweighting for LLM Agents via Self-Distillation

GEAR：通过自蒸馏实现的粒度自适应优势重加权用于LLM智能体

Sijia Li, Yuchen Huang, Zifan Liu, Yanping Li, Jingjing Fu, Li Zhao, Jiang Bian, Ling Zhang, Jun Zhang, Rui Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GEAR通过自蒸馏获取token和片段级信号，实现粒度自适应的优势重加权，提升长时间跨度任务中的智能体性能，实验表明在数学推理和工具使用任务中优于传统方法。

Distribution Corrected Offline Data Distillation for Large Language Models

用于大型语言模型的分布校正离线数据蒸馏

Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种分布校正的离线推理蒸馏框架，通过适应性强调与学生模型推理分布更一致的教师监督，提升推理准确性并保持指令遵循能力。

Defenses at Odds: Measuring and Explaining Defense Conflicts in Large Language Models

防御冲突：在大型语言模型中测量和解释防御冲突

Xiangtao Meng, Wenyu Chen, Chuanchao Zang, Xinyu Gao, Jianing Wang, Li Wang, Zheng Li, Shanqing Guo

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究探讨了大型语言模型中防御措施的相互作用，发现顺序部署导致38.9%的防御措施在原有防护维度上加剧风险，提出基于层间冲突评分的轻量级缓解方法。

Comments Under Review

Pythia: Exploiting Workflow Predictability for Efficient Agent-Native LLM Serving

Pythia：利用工作流可预测性实现高效的智能体原生LLM服务

Shan Yu, Junyi Shu, Yuanjiang Ni, Kun Qian, Xue Li, Yang Wang, Jinyuan Zhang, Ziyi Xu, Shuo Yang, Lingjun Zhu, Ennan Zhai, Qingda Lu, Jiarong Xing, Youyou Lu, Xin Jin, Xuanzhe Liu, Harry Xu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文提出Pythia系统，通过在服务层简单接口捕获工作流语义，解决智能体服务中的缓存命中率低、资源竞争和队列延迟问题，提升吞吐量和任务完成时间。

Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation

通过字节级模拟解耦子词分词对语言模型训练的益处

Théo Gigant, Bowen Peng, Jeffrey Quesnelle

机构 * Nous Research 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文通过字节级预训练流程解耦子词分词的影响，探讨其对训练效率和模型性能的贡献，揭示子词边界作为语言先验的重要性。

Comments 14 pages, 7 figures

AMiD: Knowledge Distillation for LLMs with $α$-mixture Assistant Distribution

AMiD: 基于 α-混合助手分布的大型语言模型知识蒸馏

Donghyeok Shin, Yeongmin Kim, Suhyeon Jo, Byeonghu Na, Il-Chul Moon

机构 * Korea Advanced Institute of Science and Technology（韩国先进科学研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AMiD框架，通过引入α-混合助手分布解决LLM知识蒸馏中的容量差距和训练不稳定问题，提供更广泛的理论基础和更稳定的训练效果。

Comments The Fourteenth International Conference on Learning Representations (ICLR 2026)

BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation

BiSpikCLM: 一种整合无Softmax脉冲注意力和脉冲感知对齐蒸馏的脉冲语言模型

Sihang Guo, Chenlin Zhou, Jiaqi Wang, Kehai Chen, Qingyan Meng, Zhengyu Ma

机构 * School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China（电子工程学院，深圳研究生院，北京大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 BiSpikCLM是首个完全二进制脉冲MatMul-free因果语言模型，通过无Softmax脉冲注意力和脉冲感知对齐蒸馏实现高效训练，显著降低计算成本。

PreFT: Prefill-only finetuning for efficient inference

PreFT：仅前缀微调用于高效的推理

Andrew Lanpouthakoun, Aryaman Arora, Zhengxuan Wu, Dhruv Pai, Ben Keigwin, Dan Jurafsky, Christopher Potts

机构 * Stanford University（斯坦福大学） ； Tilde Research（Tilde研究） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出PreFT，通过仅在前缀阶段应用适配器以提高多适配器服务的吞吐量，实验显示其在不同任务中均优于传统PEFT。

A Foundation Model for Instruction-Conditioned In-Context Time Series Tasks

为上下文条件时间序列任务构建一个基础模型

Anish Saha, Konstantin Shmakov

机构 * Walmart（沃尔玛） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 本文提出iAmTime模型，通过指令条件化的元学习实现时间序列任务的直接推理，提升零样本适应能力，尤其在预测任务中表现优异。

Streaming Speech-to-Text Translation with a SpeechLLM

流式语音到文本翻译与SpeechLLM

Titouan Parcollet, Shucong Zhang, Xianrui Zheng, Rogier C. van Dalen

机构 * Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。

Comments 9 pages of main text; 24 pages in total

Towards In-Depth Root Cause Localization for Microservices with Multi-Agent Recursion-of-Thought

面向微服务的深入根本原因定位：多智能体递归思考

Lingzhe Zhang, Tong Jia, Kangjin Wang, Chiming Duan, Minghua He, Rongqian Wang, Xi Peng, Meiling Wang, Gong Zhang, Renhai Chen, Ying Li

机构 * Peking University（北京大学） ； Huawei Theory Lab（华为理论实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RCLAgent框架，通过多智能体递归思考实现微服务系统根本原因定位，提升定位准确性和推理效率。

OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance

OmniDrop：通过查询引导的分层令牌剪枝实现多模态大语言模型

Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

机构 * Samsung Research（三星研究院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出OmniDrop，通过查询引导的分层令牌剪枝方法，提升多模态大语言模型的效率与性能，实验表明其在多个音频视频基准测试中表现优异，减少预填充延迟和内存使用。

A Tutorial on Cognitive Biases in Agentic AI-Driven 6G Autonomous Networks

面向6G自主网络的智能偏差教程

Hatim Chergui, Farhad Rezazadeh, Merouane Debbah, Christos Verikoukis

机构 * i2CAT Foundation（i2CAT基金会） ； Hostelworld Group（Hostelworld集团） ； Technical University of Catalonia (UPC)（技术大学（加泰罗尼亚）） ； Khalifa University of Science and Technology（卡里玛大学） ； ISI/ATH ； University of Patras（帕特拉大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了在6G自主网络中因人类设计引入的认知偏差问题，通过两个案例展示如何利用智能体AI缓解锚定偏差和时间偏差，提升网络管理和边缘计算的效率与节能效果。

Comments 26 pages, 18 figures, 4 tables, link to source code available. Accepted at IEEE OJCOMS

Proxy Compression for Language Modeling

代理压缩用于语言建模

Lin Zheng, Xinyu Li, Qian Liu, Xiachong Feng, Lingpeng Kong

机构 * University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出代理压缩方法，通过联合训练原始字节序列和压缩视图，提升语言模型训练效率，并在代码建模中显著优于纯字节级基线。

Comments ICML 2026

DT-Transformer: A Foundation Model for Disease Trajectory Prediction on a Real-world Health System

DT-Transformer：一种用于真实世界健康系统中疾病轨迹预测的基础模型

Yunying Zhu, Andrew R Weckstein, Kueiyu Joshua Lin, Jie Yang

机构 * Division of Pharmacoepidemiology and Pharmacoeconomics, Department of Medicine, Brigham and Women’s Hospital, Harvard Medical School（药理流行病学与药效学部，医学部，布里奇沃特医院，哈佛医学院） ； Harvard T.H. Chan School of Public Health, Harvard University（哈佛大学T.H. 陈公共卫生学院） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（自然与人工智能研究学院，哈佛大学） ； Broad Institute of MIT and Harvard, Cambridge, MA, USA（MIT与哈佛大学Broad研究所，剑桥，马萨诸塞州，美国） ； Harvard Data Science Initiative, Harvard University（哈佛大学数据科学计划） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DT-Transformer模型，基于大规模多医院健康数据预测疾病轨迹，验证了其在不同场景下的预测能力，展示了在896种疾病类别上的高AUC表现。

Comments Work in Progress

M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling

M$^2$RNN：基于矩阵值状态的非线性RNN用于可扩展的语言建模

Mayank Mishra, Shawn Tan, Ion Stoica, Joseph Gonzalez, Tri Dao

机构 * MIT-IBM Watson Lab（MIT-IBM沃森实验室） ； Princeton University（普林斯顿大学） ； Together AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出M$^2$RNN，通过矩阵值状态和非线性状态转移提升语言建模性能，实验证明其在长序列泛化和大规模语言建模中的优势。

RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling

RAPO++: 通过数据对齐和测试时缩放实现文本到视频生成的跨阶段提示优化

Bingjie Gao, Qianli Ma, Xiaoxue Wu, Shuai Yang, Guanzhou Lan, Haonan Zhao, Jiaxuan Chen, Qingyang Liu, Yu Qiao, Xinyuan Chen, Yaohui Wang, Li Niu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 RAPO++通过数据对齐和测试时缩放，结合训练数据对齐、测试时迭代缩放和大语言模型微调，提升文本到视频生成效果，无需修改生成基础模型。

Comments arXiv admin note: text overlap with arXiv:2504.11739

Common-agency Games for Multi-Objective Test-Time Alignment

多目标测试时对齐的共同代理博弈

Baiting Chen, Tong Zhu, Rui Yu, Xiaowu Dai

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出CAGE框架，通过游戏理论实现多目标测试时对齐，无需重新训练，支持灵活的权衡和弱到强泛化。

Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding

通过推测解码的无因子误差离散扩散语言模型

Xun Fang, Yunchen Li, Hang Yuan, Zhou Yu

机构 * East China Normal University（华东师范大学） ； Beijing Zhongguancun Academy（北京中关村学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出FeF-DLLM，通过精确的前缀条件因子分解保留token依赖性，结合推测解码提升推理速度，实验表明在多个数据集上准确率提升5.04个百分点，推理速度提升3.86倍。

Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models

Kairos：迈向适应性与参数高效的时间序列基础模型

Kun Feng, Shaocheng Lan, Yuchen Fang, Wenchao He, Sihan Lu, Shuqi Gu, Lintao Ma, Xingyu Lu, Kan Ren

机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 Kairos通过动态分块分词器和混合大小编码实现时间序列基础模型的适应性与参数效率，提升零样本泛化能力。