23. 处理偏差和方差

23. 处理偏差和方差

以下是处理偏差和方差问题最简单的公式: • 如果具有较高的可避免偏差,那么增加模型的大小(如:增加神经网络的隐藏层或者神经元) • 如果是高方差,那么增加训练集。 如果你可以增加神经网络的大小,并且可以无限制的增加数据集,那么你可以在很多机器学习问题上都做得很好。 在实践中,增加神经网络的大小会导致你遇到计算上的问题,因为神经网络规模越大,训练的就越慢了,你也许会竭尽全力去寻找训练集,但是网络上的猫咪图片是有限的。 不同的神经网络架构对于你的问题将会有不同的偏差和方差。最近很多深度学习研究者已经开发出了很多新的神经网络架构。所以,如果你在使用神经网络的时候,学术文献是一个很不错的灵感来源。Github上也有很多很好的开源实现。但是尝试新的神经网络架构的结果要比增加神经网络架构和增加数据集更难预测。 增加模型的大小可以减少偏差,但也可能会增加偏差和方差过拟合的风险。然而,这种过拟合问题通常只会在你没有进行正则化的时候出现,如果你使用了一个非常好的正则化方法,那么你通常可以安全的增加模型大小,也不会增加过拟合的风险。 假设你正在使用深度学习,有L2正则化和dropout,有在开发集上表现最好的正则化参数。如果你增加模型的大小,通常你的表现会保持不变或提升的不太明显。避免使用更大的模型的原因就是为了避免太大的计算代价。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张俊红

机器学习开篇

总第76篇 声明: 1、接下来的关于机器学习的专题内容都会借鉴李航老师的《统计学习方法》。 2、李航老师的书籍中把机器学习称为统计机器学习,我们在文章中简称为统...

3315
来自专栏人工智能的秘密

神经网络是什么?又能干什么?

现在深度学习炒得非常火热,其实它的本质还是把神经网络算法进行延伸和优化而已。那今天目标就直入主题用最简单的语言让大家了解神经网络是一个什么东西。

2875
来自专栏云时之间

《统计学习方法》笔记

1:统计学习方法概论 1.1:统计学习特点,统计学习是关于计算机基于数据构建概率统计模型并运用模型进行数据分析和预测的一门学科。统计学习也称为统计机器学习 西...

3467
来自专栏应兆康的专栏

建立一个单一数字的评估指标

1621
来自专栏AI科技评论

干货 | CVPR精彩论文解读:对当下主流CNN物体检测器的对比评测

AI科技评论按:虽然CVPR 2017已经落下帷幕,但对精彩论文的解读还在继续。下文是Momenta高级研发工程师李俊对此次大会收录的Speed/Accurac...

3936
来自专栏机器学习算法工程师

朴素贝叶斯算法详解(1)

1. 引言   朴素贝叶斯算法(Naive Bayes)是机器学习中常见的基本算法之一,主要用来做分类任务的。它是基于贝叶斯定理与条件独立性假设的分类方法。...

3698
来自专栏null的专栏

图解机器学习总结——1、基本概念

序言:近期主要帮同事讲解《图解机器学习》,刚拿到这本书觉得内容相比较平常使用的机器学习算法,很多地方讲解得比较奇怪,在认真的读完后,觉得还是有很多重要的东西,因...

4218
来自专栏mwangblog

蚁群算法解决旅行商(TSP)问题

在更新信息素的过程中,只有最优路线上的信息素会进行增加操作,且不能超过信息素最大值。

4123
来自专栏深度学习与计算机视觉

Hinge loss

原文链接:Hinge loss Hinge loss 在机器学习中,hinge loss常作为分类器训练时的损失函数。hinge loss用于“最大间隔”分类,...

3079
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

5259

扫码关注云+社区

领取腾讯云代金券