怎样劝退深度学习的坑

看到有人问，朋友想入坑深度学习，怎样劝退。

那太容易了。

你以为深度学习的入坑：

理论路线：通读花书一遍，把忘掉的数学都捡起来，公式都会推导。

应用路线：拿着Tensorflow或者Pytorch，对着教程搭一个两三层的模型，再在只有6万样本的mnist数据集上跑通。

这叫入坑？单纯了。深度学习深度学习，最重要的是什么？是深度。模型一定要大，层数一定要深，那才叫深度模型。

多深才叫深？放个数据直观感受一下。已经有点过气的GPT-3一共96层，175B参数。这是什么概念？前一阵开源社区有个好消息，说微软还是哪的团队废了老劲，终于找到办法在一块GPU上训练GPT-3。但你仔细一看就发现这是个标题党，训练的是个阉割版的GPT-3，拢共才6.7B。

再具体一点，我们拿模型的权重文件来比较一下。我没有GPT-3，姑且拿Meta开源版本的OPT来对比，6.7B参数的权重大小为12.4G，30B的为55.8G，66B的为107.1G，175B的要申请还没通过，无责估算一下，至少也翻个倍。这么一对比，大家应该就知道这个6.7B的阉割版得有多小，但就是这么个阉割版，也得费老劲才能塞进一块GPU，而且只是tuning还不是pretain。

那完全体的GPT-3要怎么训练呢？得上V100，目前售价大约3万人民币。关键是，不是一块V100，而是V100集群：如果你有8块V100，训练36年就差不多了，有512块V100，那就只需要7个月，如果能搞到1024块V100，恭喜你，不到一个月应该就能训练完成。

当然了，训练模型还得有数据集，大模型得配大数据集，需要多少存储空间呢？不多，也就40T。在一千多块V100面前，硬盘、CPU、内存这些都不值一提。

听说你想入坑深度学习？好说，你有什么显卡呢？省吃俭用凑一块2090？3090？还是4090？全功率跑一个月要多少电费？

哥们，有这个钱，3A游戏她不香么？