,即
如何选择参数
solution1 随机取值
在早期的机器学习算法中,如果你有两个需要选择的超参数--超参一和超参二,常见的做法是在网格中取样点,然后系统的研究这些数值.
?...假设超参数一指的是学习率
,超参数二是 Adam 算法中的
,在这种情况下,我们知道
很重要,但是
的取值却无关紧要,如果你在网格中取点,接着你试验了
的 5 个取值,那你会发现无论...3.2 为超参数选择合适的范围
用对数标尺搜索超参数空间
在超参数范围中,随机取值可以提升你的搜索效率,但是随机取值并不是在有效值的范围内的随机均匀取值,而是选择合适的标尺,这对于探究这些超参数很重要...在对数轴上均匀随机取点,这样在 0.0001 到 0.001 之间,会有更多的搜索资源可以使用.
在 python 中,你可以这样实现....计算指数加权平均值
假设
,对于指数加权平均值,若
=0.9 即是取 10 天中的平均值,若
取 0.999 即是在 1000 个值中取指数加权平均值.