Nanyang Technological University（南洋理工大学）

FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training

FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练

Dikshant Kukreja, Kritarth Prasad, Avinash Anand, Zhengkui Wang, Erik Cambria, Timothy Liu, Aik Beng Ng, Simon See, Bapi Chatterjee

机构 * Puch AI ； Singapore Institute of Technology（新加坡理工大学） ； Nanyang Technological University（南洋理工大学） ； NVIDIA（英伟达） ； IIIT-Delhi（德里印度理工学院） 纠错

AI总结 提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。

Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

通过不精确概率实现LLM的高阶不确定性 verbalizing

Anita Yang, Krikamol Muandet, Michele Caprio, Siu Lun Chau, Masaki Adachi

机构 * Lattice Lab ； Toyota Motor Corporation（丰田汽车公司） ； Department of Computer Science（计算机科学系） ； University of Tokyo（东京大学） ； Rational Intelligence Lab（理性智能实验室） ； CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心） ； University of Manchester（曼彻斯特大学） ； Manchester Centre for AI Fundamentals（曼彻斯特人工智能基础中心） ； EPIC Lab（EPIC实验室） ； College of Computing & Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 本文提出基于不精确概率的新型提示方法，用于更准确地提取LLM的高阶不确定性，以提升其不确定性和决策支持能力。