Dead Weights, Live Signals: Feedforward Graphs of Frozen Language Models
死重,活信号:冻结语言模型的前馈图
机构 * University of Houston(休斯顿大学)
专题命中 其他LLM :language model(title,abstract);LLM(abstract);large language model(abstract);分类 cs.AI、cs.LG
AI总结 本文提出了一种前馈图架构,利用异构冻结大语言模型作为计算节点,通过学习的线性投影在共享连续潜在空间中通信。该架构在冻结模型上实现了端到端可训练的多节点图,通过反向传播优化投影矩阵,取得优于单一模型的性能。