首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    22. 对比最优误差率

    在我们的猫咪识别实例中,这个“想法”的错误率指的是——最优分类器的错误率接近0%,就像一个人可以很轻松的识别它。而且随时可以进行识别,我们希望机器也可以做到这点。 还有一些问题是比较困难的。例如:假设你建立了一个语音识别系统,并且发现有14%的音频杂音非常多,即使一个人也很难听出音频中在说什么。在这种情况下,这个“最优的”语音识别系统的误差大约为14%。 假设在这个语音识别系统中,你的算法效果如下: • 在训练集上的误差 = 15% • 在开发集上的误差 = 30% 在训练集上的效果接君最优误差14%。因此,在偏差和训练集上面进行改进是不会取得太大的效果的。然而这个算法并不适用于开发集;因此,由于方差的原因,在这里有很大的改进空间。 这个例子于上一章节的第三个例子类似,它有在训练集上有15%的误差,在开发集上有30%的误差。如果最优分类器的误差接近于0%的话,则训练集上有15%的误差改进空间非常大,减少偏差是非常有效的。但是如果最优错误率约为14%,那么近乎相同的训练集的数据告诉我们我们分类器是很难提高的。 对于最优错误率远大于0%的问题,这里有一个关于算法错误的更详细的分类。我们继续使用上面的语音识别示例,可以按如下方式分解在开发集上的30%误差。(在测试集上也可以类似进行错误分析) • 最优误差率 (“不可避免的偏差”): 14%. 假设我们认为,即使世界上最好的语言我们仍会有14%的误差,我们可以把这个看作为不可避免的部分。 • 可避免的偏差 : 1%.由训练集上的误差于最优误差的差值计算得到。3 • 方差 : 15%.训练集与开发集上误差的区别。 由我们之前的定义,我们定义这两者关系如下:4 偏差 = 最优误差(不可避免的偏差) + 可避免的偏差 这个可避免的偏差反映了你算法的在训练集上与最优分类器直接的差别。 方差的定义与之前的定义一样,从理论上讲,我们可以通过对大量训练集的训练,将方差减少到接近0%的水平。因此,如果数据量足够大,所有的方差都是可避免的,反之不可避免。

    010

    七夕,诺奖得主用算法教你如何脱单!单身数据分析师们速来!

    七夕来袭,又到了情侣们大秀恩爱,单身狗们咬牙切齿的季节。本着人道主义关怀,先给大家唱一曲单身狗之歌—— 雌雄双兔傍地走,你还是条单身狗; 两个黄鹂鸣翠柳,你还是条单身狗; 路见不平一声吼,你还是条单身狗; 问君能有几多愁,你还是条单身狗。 听完是不是很想组个复仇者联盟,早上去卖花,晚上去卖套,凌晨去卖药? 还是你认为社会资源就这么多,拆散一对是一对,于是整晚都在大街上溜达,看哪一对不顺眼就冲上去扇姑娘一巴掌然后问她“不是说你爱我吗?” 还是你打算宅在家里重播非诚勿扰,幻想自己站在台上和24位姑娘演皇上选后妃

    07

    算法和重大人生抉择:如何最科学地选择人生伴侣?

    大数据文摘作品 人生中,你总是时刻面临重大抉择: 想在有限的时间里找到最心仪的公寓,却不知道什么时候做最后的决定; 你知道股市有风险投资需谨慎,可没人告诉过你什么时候可以赌一把; 而在这个特殊的日子你可能更想知道,如何锁定那个最有可能跟你终成眷属的另一半这些似乎都是无法重复的选择,没有人知道你的决定是不是最佳答案。 但如果你去问一个数学家,他八成会带着神秘的笑容告诉你,理论上来讲,有一种算法都可以为你作答——最佳停时。 或者说,更广为人知的,传说中的【37法则】。 那么37法则是如何得出来的,在生活中,这

    05

    [自动调参]深度学习模型的超参数自动化调优详解

    在实践中,经验丰富的机器学习工程师和研究人员会培养出直觉,能够判断上述选择哪些 可行、哪些不可行。也就是说,他们学会了调节超参数的技巧。但是调节超参数并没有正式成 文的规则。如果你想要在某项任务上达到最佳性能,那么就不能满足于一个容易犯错的人随意 做出的选择。即使你拥有很好的直觉,最初的选择也几乎不可能是最优的。你可以手动调节你 的选择、重新训练模型,如此不停重复来改进你的选择,这也是机器学习工程师和研究人员大 部分时间都在做的事情。但是,整天调节超参数不应该是人类的工作,最好留给机器去做。

    01

    干货|浅谈强化学习的方法及学习路线

    一、介绍 目前,对于全球科学家而言,“如何去学习一种新技能”成为了一个最基本的研究问题。为什么要解决这个问题的初衷是显而易见的,如果我们理解了这个问题,那么我们可以使人类做一些我们以前可能没有想到的事。或者,我们可以训练去做更多的“人类”工作,常遭一个真正的人工智能时代。 虽然,对于上述问题,我们目前还没有一个完整的答案去解释,但是有一些事情是可以理解的。先不考虑技能的学习,我们首先需要与环境进行交互。无论我们是学习驾驶汽车还是婴儿学习走路,学习都是基于和环境的相互交互。从互动中学习是所有智力发展和学习理论

    012
    领券