语言大模型 / LLM

PHOENIX: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

DeadPool: 通过零开销检查点热替换实现弹性LLM训练

Haotian Xie, Junlin Chen, Mingkai Zheng, Lishan Yang, Zhao Zhang

机构 * Rutgers University（罗格斯大学） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出DeadPool，利用非关键路径内存检查点和通信器重建协议实现零开销热替换，在无故障时无额外开销，故障时40秒内恢复，支持高达512 GPU和65B参数模型。

BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

BigMac: 打破多模态大语言模型训练中的计算与内存帕累托前沿

Zili Zhang, Chengxu Yang, Shenglong Zhang, Chenyu Wang, Yufan Zhang, Tuo Dai, Zhouyang Li, Yuhong Ge, Chao Jin, Xin Jin, Yuliang Liu

机构 * Peking University（北京大学） ； Independent Researcher（独立研究员） ； Xiaohongshu, Inc（小红书公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出BigMac训练流水线，通过嵌套编码器和生成器计算到LLM流水线中，同时优化计算效率和内存使用，打破帕累托前沿。

AgentTether: Graph-Guided Diagnosis and Runtime Intervention for Reliable LLM Agent Operation

AgentTether：用于可靠大语言模型代理操作的图引导诊断与运行时干预

Chenyu Zhao, Shenglin Zhang, Wenwei Gu, Yongqian Sun, Dan Pei, Chetan Bansal, Saravan Rajmohan, Minghua Ma

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究LLM代理生产可靠性有限问题，提出AgentTether运行时修复框架，通过抽象运行、构建关键转换图等定位故障子轨迹并转换为指导，经实验评估，该框架能提高修复效果，减少资源消耗，为代理部署提供实用可靠性层。

Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition

重新审视现代端到端语音识别中语言模型困惑度与ASR单词错误率之间的关系

Mohammad Zeineldeen, Albert Zeyer, Haoran Zhang, Robin Schmitt, Ralf Schlüter, Hermann Ney

机构 * AppTek.ai GmbH ； Machine Learning and Human Language Technology Group, Faculty of Computer Science, RWTH Aachen University（机器学习与人类语言技术小组，计算机科学学院，亚琛工业大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文重新审视现代端到端ASR系统中语言模型困惑度与ASR单词错误率的关系，研究外部语言模型对系统的作用、PPL-WER关系及相关影响因素，还探讨内部语言建模，发现ILM减法改变关系，强调解释外部LM质量影响时要考虑解码器内部LM。

Comments Submitted to SLT 2026

LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle

LogicHunter：使用智能预言机测试大语言模型代理框架

Minghui Long, Yanjie Zhao, Haoyu Wang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型代理框架测试不足问题，提出LogicHunter模糊测试框架。通过规范驱动生成有效极端输入，引入智能预言机解决预言机歧义。在三个框架上评估，发现众多未知错误，智能预言机精度高，远超基线方法。

PatchOptic for Shared-State LLM Workflows with Projected Views and Verified Structured Updates

用于具有投影视图和经过验证的结构化更新的共享状态大语言模型工作流的PatchOptic

Zhaoyu Bai, Jiaqi Cai

机构 * Weizmann Institute of Science（魏茨曼科学研究所） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究共享状态大语言模型工作流问题，提出受光学启发的PatchOptic接口，通过投影读取和验证结构化补丁实现，经PatchBench评估，该设计能减少泄漏和成本，保持输出质量，阻止违规并拒绝受损补丁。

Comments 24 pages, 13 figures, including appendix

FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference

FreqDepthKV：用于长上下文语言模型推理中稳健的键值缓存压缩的频率引导深度共享

Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera

机构 * Instituto de Investigación en Visión Artificial（人工视觉研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对长上下文语言模型推理中键值缓存成本问题，提出FreqDepthKV方法，将相邻层键值状态分解，通过在线探测器分配缓存模式，在多基准测试中保持任务准确性，提升解码吞吐量并降低内存，实现高效压缩。

Comments 11 pages, 2 figures

Harnessing Code Agents for Automatic Software Verification

利用代码智能体进行自动软件验证

Shuangxiang Kan, Shuanglong Kan, Sebastian Ertel

机构 * Singapore Management University, Barkhausen Institut（新加坡管理大学, 巴克豪森研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究利用大语言模型代码智能体进行自动软件验证，将引理交给智能体自由选择方法并置于验证框架，该方法简单有效，能完全覆盖目标引理，在多维度评估中表现出色，可自动为软件开发编写证明。

Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures

用于稀疏分布式内存的秩排序N选M码：在针对当代神经形态架构的噪声鲁棒性中解开表示和学习效应

Joy Bose

机构 * Independent Researcher（独立研究者） ； Bengaluru, India（印度班加罗尔） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型持续学习受限问题，评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效，实验表明其在容量和误码率鲁棒性上有优势，还分析了编码能量，为相关架构提供指导。

Comments 14 pages, 8 tables, 2 figures. Revisits rank-order sparse distributed memory for continual learning and memory-augmented AI. Includes comparisons with CALM and SpikingMamba, statistical evaluation, and real embedding experiments

DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression

深度交织-KV：用于长上下文键值缓存压缩的令牌自适应跨层残差分解

Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 研究长上下文语言模型键值缓存压缩问题，提出DepthWeave-KV方法，通过跨层残差分解、令牌条件深度路由及在线误差跟踪实现自适应压缩，在多个基准测试中降低内存使用并提升任务质量。

Comments 9 pages, 2 figures