图像生成

From Words to Amino Acids: Does the Curse of Depth Persist?

从词到氨基酸：深度诅咒是否依然存在？

Aleena Siji, Amir Mohammad Karimi Mamaghan, Ferdinand Kapl, Tobias Höppe, Emmanouil Angelis, Andrea Dittadi, Maurice Brenner, Michael Heinzinger, Karl Henrik Johansson, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

机构 * Technical University of Munich（慕尼黑技术大学） ； Helmholtz AI, Munich（慕尼黑海德堡研究所人工智能部门） ； KTH Royal Institute of Technology（皇家理工学院） ； Institute of Computational Biology, Helmholtz Munich（海德堡慕尼黑计算生物学研究所） ； Google, Paradigms of Intelligence Team（谷歌，智能范式团队） 纠错

专题命中 可控生成 ：diffusion(abstract)

AI总结 本文研究蛋白质语言模型中深度效率问题，通过分析七种主流PLM家族，发现任务相关计算集中在部分层，其余层主要提供预测细化，这一趋势在序列和多模态模型中均存在。