计算机学科里有太多的术语,而且许多术语的使用并不一致。哪怕是相同的术语,不同学科的人理解一定有所不同。
比如说:“模型参数(model parameter)”和“模型超参数(model Hyperparameter)”。
对于初学者来说,这些没有明确定义的术语肯定很令人困惑。尤其是对于些来自统计学或经济学领域的人。
我们来仔细研究一下这些条款。
什么是模型参数?
模型参数是模型内部的配置变量,其值可以根据数据进行估计。
参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。
在经典的机器学习文献中,我们可以将模型看作假设,将参数视为对特定数据集的量身打造的假设。
最优化算法是估计模型参数的有效工具。
模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。
模型参数的一些示例包括:
什么是模型超参数?
模型超参数是模型外部的配置,其值无法从数据中估计。
我们虽然无法知道给定问题的模型超参数的最佳值,但是我们可以使用经验法则,在其他问题上使用复制值,或通过反复试验来搜索最佳值。
当机器学习算法针对特定问题进行调整时(例如,使用网格搜索或随机搜索时),那么正在调整模型的超参数或顺序以发现导致最熟练的模型的参数预测。
如果模型超参数被称为模型参数,会造成很多混淆。克服这种困惑的一个经验法则如下:
如果必须手动指定模型参数,那么它可能是一个模型超参数。
模型超参数的一些例子包括:
总之,模型参数是根据数据自动估算的。但模型超参数是手动设置的,并且在过程中用于帮助估计模型参数。
模型超参数通常被称为参数,因为它们是必须手动设置和调整的机器学习的一部分。