机器学习基础(二)

机器学习基础(二)

神经元(模型):神经网络基本单元;

激活函数:将前层的线性运算非线性化,非线性映射后,模型才能够表达更复杂的函数,提高模型表达力;

(常用的有:relu、sigmod、tanh等,relu一般就够用了)

NN复杂度:层数+参数;层数:不含输入层的其它层,参数:所有w+所有b(权重和偏移);

loss(损失函数):预测值与真实值的差距。训练就是通过不断调整、优化参数,使loss尽可能小;

(常用的有:MSE、CE、自定义)

学习率:可以影响模型训练速度。过大,在最优值附近波动不收敛;过小,训练收敛太慢;

滑动平均:记录一段时间内参数(w和b)的平均值,像影子一样缓慢跟随它们的变化,可以增强模型泛化能力;

(tensorflow函数可以实现滑动平均和训练同步进行)

过拟合:拟合过度,模型泛化能力差,对新的数据预测或分类准确率较差;

正则化:在原有loss上加上正则化部分,即给每个参数w加上正则权重,引入模型复杂度指标,从而抑制模型噪声,减小过拟合;

(正则化后,模型过拟合减小,泛化能力增强,分类边界更加平滑)

NN模块化搭建:可以分别搭建数据集、前向传播、反向传播模块,进行模块化编程,主程序逻辑会更加清晰、简洁、可读性增强、便于维护;

注:

1、本次分享多为概念罗列;

2、虽然把网上现有的程序复制粘贴过来改改一般就可以用,但是相关的基础概念还是有必要弄清楚,才能活学活用。不然要么不会改进、不会迁移使用,要么在改进和迁移时明明很简单的东西,但你就是没基础,你就是不会,你就是效率低、耽误时间。知其所以然,方能高效活用~~~

3、更详细讲解,网上有一堆~~~

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180410G099EU00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券