Massachusetts Institute of Technology（麻省理工学院）

SoftWater: Class-Aware Rate Allocation for Softmax Quantization

SoftWater：面向Softmax量化的类别感知速率分配

Joao V. Cavalcanti, Ashia C. Wilson

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 针对小型LLM的Softmax层量化问题，提出类别感知速率分配方法SoftWater，在多模型上优于现有量化器，可大幅降低输出层KL散度，使输出层量化的困惑度损失可控。

Prompt-Driven Exploration

提示驱动的探索

Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Improbable AI Lab（英普罗巴布尔人工智能实验室） 纠错

AI总结 研究针对强化学习中探索难的问题，提出提示驱动的探索策略（PDE），利用视觉-语言模型对轨迹视频推理，从弱策略轨迹中优化提示，实现后验采样，能让强化学习从零奖励起步学习成功策略并提升样本效率。

Weaves, Wires, and Morphisms: Formalizing and Implementing the Algebra of Deep Learning

编织、导线与态射：形式化和实现深度学习的代数

Vincent Abbott, Gioele Zardini

机构 * Laboratory for Information and Decision Systems, Massachusetts Institute of Technology（信息与决策实验室，麻省理工学院） 纠错

AI总结 本文提出一种基于范畴论的深度学习框架，通过轴步长和数组广播范畴形式化广播机制，实现模型架构的数学表达与组合操作，并提供Python和TypeScript实现展示其通用性。