我正在重新培训GPT2语言模型,并关注这个博客:
在这里,他们已经在GPT2上训练了一个网络,而我也在尝试重新创建一个网络。但是,我的数据集太大了(250 my ),所以我想继续每隔一段时间进行培训。换句话说,我想检查模型的训练。如果有任何帮助,或一段代码,我可以实现的检查点和继续培训,这将对我有很大帮助。谢谢。
我正在创建一个简单的多层前馈神经网络使用神经网络库.我的神经网络是利用BackPropogation学习算法训练有监督学习方法的3层激活网络。
以下是我的初步设置:
//learning rate
learningRate=0.1;
//momentum value
momentum=0;
//alpha value for bipolar sigmoid activation function
sigmoidAlphaValue=2.0;
//number of inputs to network
inputSize=5;
//number of outputs from netwo