专栏首页Python数据科学AI新人必看 | 参数和超参数还分不清楚吗?

AI新人必看 | 参数和超参数还分不清楚吗?

计算机学科里有太多的术语,而且许多术语的使用并不一致。哪怕是相同的术语,不同学科的人理解一定有所不同。

比如说:“模型参数(model parameter)”和“模型超参数(model Hyperparameter)”。

对于初学者来说,这些没有明确定义的术语肯定很令人困惑。尤其是对于些来自统计学或经济学领域的人。

我们来仔细研究一下这些条款。

什么是模型参数?

模型参数是模型内部的配置变量,其值可以根据数据进行估计。

  • 模型在进行预测时需要它们。
  • 它们的值定义了可使用的模型。
  • 他们是从数据估计或获悉的。
  • 它们通常不由编程者手动设置。
  • 他们通常被保存为学习模型的一部分。

参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。

在经典的机器学习文献中,我们可以将模型看作假设,将参数视为对特定数据集的量身打造的假设。

最优化算法是估计模型参数的有效工具。

  • 统计:在统计学中,您可以假设一个变量的分布,如高斯分布。高斯分布的两个参数是平均值(μ)和标准偏差(西格玛)。这适用于机器学习,其中这些参数可以从数据中估算出来并用作预测模型的一部分。
  • 编程:在编程中,您可以将参数传递给函数。在这种情况下,参数是一个函数参数,它可能具有一个值范围之一。在机器学习中,您使用的特定模型是函数,需要参数才能对新数据进行预测。

模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。

模型参数的一些示例包括:

  • 神经网络中的权重。
  • 支持向量机中的支持向量。
  • 线性回归或逻辑回归中的系数。

什么是模型超参数?

模型超参数是模型外部的配置,其值无法从数据中估计。

  • 它们通常用于帮助估计模型参数。
  • 它们通常由人工指定。
  • 他们通常可以使用启发式设置。
  • 他们经常被调整为给定的预测建模问题。

我们虽然无法知道给定问题的模型超参数的最佳值,但是我们可以使用经验法则,在其他问题上使用复制值,或通过反复试验来搜索最佳值。

当机器学习算法针对特定问题进行调整时(例如,使用网格搜索或随机搜索时),那么正在调整模型的超参数或顺序以发现导致最熟练的模型的参数预测。

  • “许多模型有不能从数据直接估计的重要参数。例如,在K近邻分类模型中......因为没有可用于计算适当值的分析公式,这种类型的模型参数被称为调整参数。” - 第64-65页,《应用预测模型》,2013

如果模型超参数被称为模型参数,会造成很多混淆。克服这种困惑的一个经验法则如下:

如果必须手动指定模型参数,那么它可能是一个模型超参数。

模型超参数的一些例子包括:

  • 训练神经网络的学习速率。
  • 用于支持向量机的C和sigma超参数。
  • K最近邻的K。

总之,模型参数是根据数据自动估算的。但模型超参数是手动设置的,并且在过程中用于帮助估计模型参数。

模型超参数通常被称为参数,因为它们是必须手动设置和调整的机器学习的一部分。

本文分享自微信公众号 - Python数据科学(PyDataScience)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Jupyter 进阶教程

    原题 | Tutorial: Advanced Jupyter Notebooks

    用户2769421
  • 数据清洗&预处理入门完整指南

    数据预处理是建立机器学习模型的第一步(也很可能是最重要的一步),对最终结果有决定性的作用:如果你的数据集没有完成数据清洗和预处理,那么你的模型很可能也不会有效—...

    用户2769421
  • 数据清洗预处理入门完整指南

    数据预处理是建立机器学习模型的第一步(也很可能是最重要的一步),对最终结果有决定性的作用:如果你的数据集没有完成数据清洗和预处理,那么你的模型很可能也不会有效—...

    用户2769421
  • AI新人必看 | 参数和超参数还分不清楚吗?

    计算机学科里有太多的术语,而且许多术语的使用并不一致。哪怕是相同的术语,不同学科的人理解一定有所不同。

    昱良
  • 机器学习填坑:你知道模型参数和超参数之间的区别吗?

    为了让大家在应用机器学习时,对“参数模型”和“超参数模型”有一个清晰的界定,在这篇文章中,我们将具体讨论这两个术语。

    AI科技大本营
  • 机器学习填坑:你知道模型参数和超参数之间的区别吗?

    图片来自Bruce Guenter,保留部分权利 翻译 | AI科技大本营(rgznai100) 参与 | 姜沂,焦燕 导语 机器学习中的模型参数和模型超参数在...

    AI科技大本营
  • 基于Docker for macOS的Kubernetes本地环境搭建与应用部署

    jeremyxu
  • “达观杯”文本智能处理挑战赛,季军带你飞

    前段时间和朋友何从庆(AI算法之心)等队友一起组队参加了这个比赛,本来以为小比赛人少,没想到参加的人会有几千人。最后我们队伍取得季军(4st/3131),虽有些...

    小小詹同学
  • “达观杯”文本智能处理挑战赛,季军带你飞

    前段时间和朋友何从庆(AI算法之心)等队友一起组队参加了这个比赛,本来以为小比赛人少,没想到参加的人会有几千人。最后我们队伍取得季军(4st/3131),虽有些...

    yuquanle
  • 秘籍在手,训练不愁!特斯拉AI负责人Karpathy的超全神经网络训练套路

    这位特斯拉的人工智能研究负责人、李飞飞的斯坦福高徒刚刚难得更新了博客,推出了一篇长文《神经网络的训练秘籍》,详细讲述了我们在训练神经网络时候可以遵循的套路。

    大数据文摘

扫码关注云+社区

领取腾讯云代金券