语言大模型 / LLM

Training LLMs on HPC Systems: Best Practices from the OpenGPT-X Project

在HPC系统上训练LLMs：来自OpenGPT-X项目的最佳实践

Carolin Penke, Chelsea Maria John, Jan Ebert, Stefan Kesselheim, Andreas Herten

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文介绍了OpenGPT-X项目在HPC系统上训练多语言LLM的最佳实践，重点包括Teuken-7B模型的训练过程、系统架构、软件选择及性能优化方法。

Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference

同羽毛的请求应聚在一起：批处理大小与前缀同质性在大语言模型推理中的对比

Saksham Rathi, Preeti, Mythili Vutukuru

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了大语言模型推理中批处理大小与前缀同质性之间的平衡，提出Feather调度器通过强化学习优化两者，提升吞吐量。

Comments 22 pages, 36 figures

Inference-Time Budget Control for LLM Search Agents

推理时预算控制用于大语言模型搜索代理

Zhengru Fang, Senkang Forest Hu, Zhonghao Chang, Yu Guo, Yihang Tao, Hongyao Liu, Mengzhe Ruan, Jun Huang, Yuguang Fang

机构 * City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） ； Alibaba Ant Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文研究了多跳问答中推理时双预算控制问题，通过两阶段控制策略，在搜索阶段根据任务级信息价值评分选择检索、分解或回答承诺，在最终阶段根据证据选择性修正答案，实验表明该方法在多个基准上取得积极收益。

LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG

LatentRAG: 基于潜在空间的高效代理RAG推理与检索

Yijia Zheng, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 LatentRAG通过将推理与检索从离散语言空间转移到连续潜在空间，提升代理RAG的效率，实验表明其在七种基准数据集上性能与显式方法相当，推理延迟降低约90%。

Latent Abstraction for Retrieval-Augmented Generation

检索增强生成的潜在抽象

Ha Lan N. T, Minh-Anh Nguyen, Dung D. Le

机构 * Center for AI Research, VinUniversity, Vietnam（越南Vin大学人工智能研究中心） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LAnR通过在潜在空间中联合执行编码、检索和生成，提升检索增强生成的效率与效果，减少检索调用次数并增强模型整合。

Monotonic Reference-Free Refinement for Autoformalization

单调参考无关细化用于自动形式化

Lan Zhang, Marco Valentino, André Freitas

机构 * Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） ； Idiap Research Institute（Idiap研究所） ； National Biomarker Centre, CRUK Manchester Institute（国家生物标记中心，CRUK曼彻斯特研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出一种无需参考的单调迭代过程，用于实现完整定理的自动形式化，通过结合定理证明器和基于LLM的评判者反馈，优化形式有效性、逻辑保持性、数学一致性及形式质量，实现多维度的协同提升。

Comments Preprint

Mochi: Aligning Pre-training and Inference for Efficient Graph Foundation Models via Meta-Learning

Mochi：通过元学习实现预训练与推理对齐的高效图基础模型

João Mattos, Arlei Silva

机构 * Computer Science Department（计算机科学系） ； Ken Kennedy Institute（肯尼迪研究所） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Mochi通过元学习框架解决任务统一和训练效率问题，通过预训练与推理对齐提升性能，优于现有图基础模型。

Comments 23 pages, 7 figures

DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression

DARK：针对极端压缩下视觉-语言模型的对角锚定排斥知识蒸馏

Numan Saeed, Asif Hanif, Fadillah Adamsyah Maani, Hussain Alasmawi, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DARK，一种对比知识蒸馏框架，通过分解损失函数为对角项和非对角项，使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构，实验证明其在零样本基准上表现优异。

Comments Project website: www.numansaeed.com/mobilefetalclip

Sparse Prefix Caching for Hybrid and Recurrent LLM Serving

稀疏前缀缓存用于混合和递归语言模型服务

Mikhail Shirokikh, Sergey Nikolenko

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出稀疏前缀缓存方法，通过在稀疏检查点位置存储精确递归状态，优化混合和递归语言模型服务的延迟，实验证明其在实际数据中优于传统启发式方法。

Towards Compute-Aware In-Switch Computing for LLMs Tensor-Parallelism on Multi-GPU Systems

面向多GPU系统的计算感知交换机计算

Chen Zhang, Qijun Zhang, Zhuoshan Zhou, Yijia Diao, Haibo Wang, Zhe Zhou, Zhipeng Tu, Zhiyao Li, Guangyu Sun, Zhuoran Song, Zhigang Ji, Jingwen Leng, Minyi Guo

专题命中 效率与部署 ：LLM(summary_cn,abstract)

AI总结 本文提出CAIS框架，通过计算感知的ISA扩展、线程块协调和数据流优化，提升多GPU系统中LLM张量并行的通信与计算效率，实验显示其在训练速度上优于现有方案。

Comments 15 pages, 18 figures, HPCA 2026

TabCF: Distributional Control Function Estimation with Tabular Foundation Models

TabCF：基于表格基础模型的分布控制函数估计

Geping Chen, Chunlin Li, Tianzhong Yang, Zhengyuan Zhu, Jing Zhou

机构 * Iowa State University（爱荷华州立大学） ； University of Virginia（弗吉尼亚大学） ； University of Minnesota（明尼苏达大学） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 TabCF利用表格基础模型进行控制函数回归，实现快速且透明的分布因果估计，适用于干预均值和分位数等分布量，提出基于Copula的多变量结果近似方法。

MARVL: Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models

MARVL：通过视觉-语言模型实现机器人操作的多阶段引导

Xunlan Zhou, Xuanlin Chen, Shaowei Zhang, ShengHua Wan, Xiaohai Hu, Lei Yuan, De-chuan Zhan

机构 * School of Intelligent Science and Technology, Nanjing University, China（南京大学智能科学与技术学院） ； National Key Laboratory for Novel Software Technology, School of Artificial Intelligence, Nanjing University, China（南京大学新型软件技术国家实验室，人工智能学院） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； MACS Lab, University of Washington（华盛顿大学MACS实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出MARVL，通过视觉-语言模型实现机器人操作的多阶段引导，解决传统密集奖励函数设计中的问题，提升样本效率和鲁棒性。

Task-Aware Answer Preservation under Audio Compression for Large Audio Language Models

面向音频压缩的任务感知答案保留方法用于大音频语言模型

Amir Ivry

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文研究音频压缩对答案保留的影响，提出理论准则和实际协议以保证关键查询家族的准确性，通过五个基准测试验证了压缩预算和查询条件对答案保留的调节作用。

Comments Preprint

MesonGS++: Post-training Compression of 3D Gaussian Splatting with Hyperparameter Searching

MesonGS++: 3D高斯散射的后训练压缩与超参数搜索

Shuzhao Xie, Junchen Ge, Weixiang Zhang, Jiahang Liu, Chen Tang, Yunpeng Bai, Shijia Ge, Jingyan Jiang, Yuzhi Huang, Fengnian Yang, Cong Zhang, Xiaoyi Fan, Zhi Wang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； The Hong Kong University of Science and Technology（香港科技大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Shenzhen Technology University（深圳技术大学） ； Xiamen University（厦门大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Jiangxing Intelligence Inc.（江兴智能有限公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)

AI总结 MesonGS++提出了一种基于超参数搜索的3D高斯散射后训练压缩方法，通过联合重要性剪枝、八叉树几何编码等技术，实现34倍压缩并保持渲染质量，优于现有方法并精准满足目标存储预算。

Comments https://github.com/mmlab-sigs/mesongs_plus

Flexible Agent Alignment with Goal Inference from Open-Ended Dialog

基于开放对话的目标推断的灵活代理对齐

Rachel Ma, Jingyi Qu, Andreea Bobu, Dylan Hadfield-Menell

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出OU-AGs框架，通过开放对话中目标推断提升代理对齐能力，采用GOOD方法实现动态目标分布，提高多领域任务中的意图对齐效果。

Comments Previous version of the paper was titled: Open-Universe Assistance Games

Structural Sensitivity in Compressed Transformers: Relative Error Propagation and Layer Removal

压缩变换器中的结构敏感性：相对误差传播与层移除

Abhinaba Basu, Kumkum Basu, Koushik Deb

机构 * Indian Institute of Information Technology Allahabad, India（阿利哈巴德信息技术学院，印度） ； National Institute of Electronics（电子研究所） ； Indian Institute of Technology Patna, India（帕纳印度理工学院，印度） ； Indian Institute of Information Technology Kalyani, India（卡里尼信息技术学院，印度） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究压缩变换器时，误差在层间累积机制及层移除策略，通过rho指标分析误差传播，发现早期层压缩影响更大，提出基于rho的层移除方法，结合两种标准提升性能，提供无训练的压缩决策工具。

Spectral Lens: Activation and Gradient Spectra as Diagnostics of LLM Optimization

谱镜：激活与梯度谱作为大语言模型优化的诊断工具

Andy Zeyi Liu, Elliot Paquette, John Sous

机构 * Department of Applied Physics, Yale University, New Haven, CT 06511, United States（耶鲁大学应用物理系） ； Department of Mathematics and Statistics, McGill University（麦吉尔大学数学与统计学系） ； Department of Applied Physics, Yale University, New Haven, Connecticut 06511, USA（耶鲁大学应用物理系） ； Energy Sciences Institute, Yale University, West Haven, Connecticut 06516, USA（耶鲁大学能源科学研究所） 纠错

专题命中 效率与部署 ：LLM(title)；分类 cs.LG

AI总结 研究通过激活协方差和梯度SVD谱分析，揭示了批量大小对表示几何的影响、激活协方差尾部对后续token效率的预测作用，以及激活谱头部与梯度谱对学习动态变化的诊断作用。

Normalized Architectures are Natively 4-Bit

归一化架构本质上是4位的

Maxim Fishman, Brian Chmiel, Ron Banner, Daniel Soudry, Boris Ginsburg

机构 * NVIDIA ； Department of Electrical and Computer Engineering - Technion（技术学院电子工程系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出归一化架构在4位精度下具有更高的鲁棒性，无需额外干预即可实现稳定训练，通过分析点积发现其在隐藏维度增长时信号噪声比提高，损失景观更平缓。

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

近策略：通过异步生成与选择性打包加速 on-policy 知识蒸馏

Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

机构 * Huawei Technologies（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出近策略蒸馏（NPD），通过异步生成与选择性打包减少 on-policy 知识蒸馏的计算开销，实现 8.1 倍加速，并在 RL 中取得更优表现。

Caracal: Causal Architecture via Spectral Mixing

Caracal：通过频谱混合实现因果架构

Bingzheng Gan, Tianyi Zhang, Yusu Li, Jing Huang, Wei Shi, Yangkai Ding, Tao Yu

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Caracal通过频谱混合替代传统注意力机制，解决长序列建模中的计算和位置编码限制，提供高效可扩展的解决方案。

Comments Accepted by ICML 2026

Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management

基于预测的动态代理工作流高效服务系统

Haoyu Zheng, Fangcheng Fu, Jia Wu, Binhang Yuan, Yongqiang Zhang, Hao Wang, Yuanyuan Zhu, Xiao Yan, Jiawei Jiang

机构 * Wuhan University（武汉大学） ； Dameng Database（达梦数据库） ； Shanghai Jiao Tong University（上海交通大学） ； Macquarie University（麦考瑞大学） ； HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出PBKV系统，通过预测未来代理调用并管理KV缓存，提升动态工作流的效率，实验显示在动态工作流中比LRU快1.85倍，在静态工作流中比KVFlow快1.26倍。

UniPrefill: Universal Long-Context Prefill Acceleration via Block-wise Dynamic Sparsification

UniPrefill: 通过块级动态稀疏化实现通用长上下文预填加速

Qihang Fan, Huaibo Huang, Zhiying Wu, Bingning Wang, Ran He

机构 * MAIS&NLPR, CASIA（MAIS与NLPR，中国科学院自动化研究所） ； UCAS（中国科学技术大学） ； WeChat, Tencent（微信，腾讯） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出UniPrefill框架，通过块级动态稀疏化提升长上下文预填效率，兼容各种模型架构，实现TTFT加速，支持连续批处理和vLLM调度策略。

Comments code: https://github.com/qhfan/UniPrefill.git

Back to the Beginning of Heuristic Design: Bridging Code and Knowledge with LLMs

回归启发式设计的起点：利用LLMs弥合代码与知识的鸿沟

Nguyen Viet Tuan Kiet, Bui Dinh Pham, Dao Van Tung, Tran Cong Dao, Huynh Thi Thanh Binh

机构 * Hanoi University of Science and Technology（越南河内理工大学） ； University of Sydney（悉尼大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出知识优先的启发式设计方法，通过统计学习视角优化搜索策略，在组合优化及其他任务中提升发现效率与泛化能力。

Comments 75 pages

Model Compression with Exact Budget Constraints via Riemannian Manifolds

通过黎曼流形实现精确预算约束下的模型压缩

Michael Helcig, Dan Alistarh

机构 * ETH Zürich（苏黎世联邦理工学院） ； IST Austria（奥地利科学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出基于黎曼流形的约束优化方法RCO，用于在精确预算约束下优化模型压缩任务，通过引入切线投影、二分法回退和动量运输等技术，实现高效优化。

SWE-Pruner: Self-Adaptive Context Pruning for Coding Agents

SWE-Pruner: 为编码代理设计的自适应上下文修剪

Yuhang Wang, Yuling Shi, Mo Yang, Rongrui Zhang, Shilin He, Heng Lian, Yuting Chen, Siyu Ye, Kai Cai, Xiaodong Gu

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出SWE-Pruner，一种针对编码代理的自适应上下文修剪框架，通过任务感知的动态修剪策略减少长上下文影响，提升代码生成效率与准确性。

Comments Code available at https://github.com/Ayanami1314/swe-pruner

MDN: Parallelizing Stepwise Momentum for Delta Linear Attention

MDN：并行化步进动量用于Delta线性注意力

Yulong Huang, Xiang Liu, Hongxiang Huang, Xiaopeng Lin, Zunchang Liu, Xiaowen Chu, Zeke Xie, Bojun Cheng

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出MDN模型，通过几何重排更新系数开发了分块并行算法，利用动量规则提升线性注意力的训练效率与效果，实验表明其在多个基准测试中优于基线模型。

Text-Graph Synergy: A Bidirectional Verification and Completion Framework for RAG

文本-图协同：一种双向验证与完成框架用于RAG

Jiarui Zhong, Hong Cai Chen

机构 * School of Automation, Southeast University（自动化学院，东南大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出TGS-RAG框架，通过双向机制融合文本与图结构，解决传统RAG中信息孤岛问题，提升多跳推理性能。

Comments 12 pages, 3 figures

SOWing Information: Cultivating Contextual Coherence with MLLMs in Image Generation

信息播种：利用大规模语言模型在图像生成中培养上下文一致性

Yuhan Pei, Ruoyu Wang, Yongqi Yang, Ye Zhu, Olga Russakovsky, Yu Wu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SOW方法，通过多模态大语言模型实现文本-视觉到图像生成，提升图像像素级条件保真度和视觉语义一致性。

Comments Project page: https://pyh-129.github.io/SOW/

MEIC-DT: Memory-Efficient Incremental Clustering for Long-Text Coreference Resolution with Dual-Threshold Constraints

MEIC-DT：基于双阈值约束的内存高效增量聚类用于长文本核心ference解析

Kangyang Luo, Shuzheng Si, Yuzhuo Bai, Cheng Gao, Zhitong Wang, Cheng Huang, Yingli Shen, Yufeng Han, Wenhao Li, Cunliang Kong, Maosong Sun

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出MEIC-DT，一种基于轻量级Transformer的双阈值增量聚类方法，通过统计感知淘汰策略和内部正则化策略，在内存限制下实现高效长文本核心ference解析。

Comments Accepted by ACL2026 findings

Games for AI Control: Models of Safety Evaluations of AI Deployment Protocols

用于AI控制的游戏：AI部署协议安全评估模型

Charlie Griffin, Louis Thomson, Buck Shlegeris, Alessandro Abate

机构 * University of Oxford（牛津大学） ； Redwood Research（红木研究） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AI-Control Games模型，用于评估不信任AI部署协议的安全性，通过多目标部分可观测随机博弈框架，改进协议设计并分析安全影响。