,即
如何选择参数
solution1 随机取值
在早期的机器学习算法中,如果你有两个需要选择的超参数--超参一和超参二,常见的做法是在网格中取样点,然后系统的研究这些数值.
?...对于高维参数
?
实际中,你会在一个更高维的空间中寻找超参数,随机取值,代表了你探究了更多超参数的潜在值....3.2 为超参数选择合适的范围
用对数标尺搜索超参数空间
在超参数范围中,随机取值可以提升你的搜索效率,但是随机取值并不是在有效值的范围内的随机均匀取值,而是选择合适的标尺,这对于探究这些超参数很重要...超参数学习率
假设你要搜索的学习率的范围在 0.0001 ~ 1 的范围中
如果使用随机均匀取值(即数字出现在 0.0001 ~ 1 的范围内的概率相等,出现概率均匀)
那么使用上述方法,90%的数值会落在...在[a,b]区间随机均匀的给 r 取值,将超参数设置为
,这就是在对数轴上取值的过程.