机器学习模型训练时候tricks

1. 当训练集的效果(准确率)上不去,和贝叶斯估计(人的表现)存在一定差距的时候:(1)增加模型的复杂度。 或者直接多加几层。(2)现在目前效果非常好的一些模型:resnet,inception等。(3)重新选择优化函         数:AdamOptimizer,MomentumOptimizer,RMSPropOptimizer等等。

2. 训练集效果表现好,测试集效果表现不好:(1)增加训练样本的数量。(2)正则化:L2范数,dropout等

(dropout原理是什么呢?使随机使神经元失活,相当于把一个复杂的模型拆分开,测试后时候凑到一起,

集成学习的思想,又刹不住闸了。。。)。(3)还要观察训练样本和测试样本的分布是否一致。

3. 还有像样本预处理:(1)归一化:img/255.0,img-0.5, img*2,将数据转化为[-1,1].

(2)减去均值除以方差。(3)减去样本各通道的均值。

4. 还有loss的选择啊,多标签单分类适合用softmax_cross_entropy(对于多标签多分类的要用多个softmax),

多标签多分类常用sigmoid_cross_entropy。

5. data augmentation

6. 还要注意BN的使用,学习率的选择,batch_size的大小。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习、深度学习

弱监督语义分割--Object Region Mining with Adversarial Erasing

Object Region Mining with Adversarial Erasing: A Simple Classification to Semant...

4736
来自专栏AI研习社

用Kaggle经典案例教你用CNN做图像分类!

前言 在上一篇专栏《利用卷积自编码器对图片进行降噪》中,我们利用卷积自编码器对 MNIST 数据进行了实验,这周我们来看一个 Kaggle 上比较经典的一...

4056
来自专栏量化投资与机器学习

深度学习Matlab工具箱代码注释之cnnff.m

%%========================================================================= %...

3026
来自专栏机器学习算法工程师

深入浅出解读卷积神经网络

作者:石文华 编辑:田 旭 卷积神经网络 ? 图1 全连接神经网络结构图 ? 图2 卷积神经网络结构图 卷积神经网络和全连接的神经网络结构上的差异还是比较大的,...

2814
来自专栏杂七杂八

matlab自助法实现

方法:以bootstrap sampling为基础,给定包含m个样本的数据集,我们对它进行采样产生数据集D’:每次随机从D中挑选一个样本,将其拷贝放入D’,然后...

4575
来自专栏漫漫深度学习路

两种交叉熵损失函数的异同

在学习机器学习的时候,我们会看到两个长的不一样的交叉熵损失函数。 假设我们现在有一个样本 {x,t},这两种损失函数分别是。 [图片] , t_j说明样本...

2489
来自专栏技术沉淀

02 Learning to Answer Yes/No

从最简单最基础的二分类问题出发,演示一个简单机器学习算法PLA的完整过程,见详细课件。

852
来自专栏杨熹的专栏

神经网络 之 感知器的概念和实现

本文结构: 什么是感知器 有什么用 代码实现 ---- 1. 什么是感知器 如下图,这个神经网络中,每个圆圈都是一个神经元,神经元也叫做感知器 ? 只有一个隐藏...

3764
来自专栏磐创AI技术团队的专栏

TensorFlow系列专题(八):七步带你实现RNN循环神经网络小示例

【前言】:在前面的内容里,我们已经学习了循环神经网络的基本结构和运算过程,这一小节里,我们将用TensorFlow实现简单的RNN,并且用来解决时序数据的预测问...

1111
来自专栏用户画像

交叉验证

版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。

1772

扫码关注云+社区

领取腾讯云代金券