AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

今日/当前日期收录 2 篇信号源：cs.CL, cs.AI, cs.LG

2606.20097 2026-06-19 cs.CL 新提交专题 90

HydraHead: From Head-Level Functional Heterogeneity to Specialized Attention Hybridization

HydraHead：从头部级功能异质性到专业化注意力混合

Zhentao Tan, Wei Chen, Jingyi Shen, Yao Liu, Xu Shen, Yue Wu, Jieping Ye

专题命中长上下文：长上下文注意力混合架构

AI总结提出HydraHead架构，沿头部维度混合全注意力和线性注意力，通过可解释性驱动的头部选择和尺度归一化融合模块，在长上下文任务中优于层级混合设计，仅用15B token训练即在512K上下文长度上提升69%。

URL PDF HTML

2606.20474 2026-06-19 cs.LG cs.AI cs.PF 新提交专题 70

UltraQuant: 面向上下文密集型智能体的4位KV缓存

Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao

专题命中长上下文：针对长上下文场景优化KV缓存，降低延迟。

AI总结针对上下文密集型智能体场景，提出UltraQuant方法，通过4位KV缓存压缩、旋转量化和代码本量化，结合AMD GPU优化，在长上下文多轮任务中延迟降低3.47倍，吞吐量提升1.63倍。

Comments 11 pages, 9 figures

URL PDF HTML