从机器学习调参想到

机器学习（Machine Learning）训练模型的时候，有一个东西叫学习率（learning rate）。学习率大意是模型训练的时候模型参数更新的粒度（step size）。打个比喻，就好像是人下山的时候走的步子的大小。

不同的学习率对于模型的训练过程是有不同的影响的。很多实验结果表明，使用比较大的学习率，往往开始的时候，模型的错误率是下降得比较快的，相比之下，使用比较小的学习率，在开始的时候，模型的错误率的下降是比较缓慢的。如果在比较早的时候，就结束了模型的训练，使用大的学习率所获得的模型的性能比使用小的学习率所获得的模型的性能要好。但是如果继续训练下去，往往就会发现使用小一点的学习率的模型的错误率会在某一个时间点开始就比使用大的学习率训练的模型的错误率更低了，而后者的错误率的下降越到后来越是下不去了，更早的到达了一个瓶颈。

感觉这跟人生和做事有些情况是一样的。长跑比赛开始跑得慢的，不表示在冲刺的时候不会跑到前面去。或者说，做人做事没到最后的时候，不要轻易放弃努力。