专栏首页用户2133719的专栏CS229 课程笔记之四:生成学习算法

CS229 课程笔记之四:生成学习算法

上图表示的分布均值均为 ,对应的协方差矩阵为:

左边的图就是标准正态分布,而可以看到随着非对角线上数值的增大,分布在45度方向上压缩的幅度越大,通过下面的轮廓图可以更清楚地展现这个特点:

下面是另一组例子:

上图对应的协方差为:

用图形来表示,该算法可以表示为下图:

这与逻辑回归的形式完全相同。但一般来说,对于相同的数据集两种算法会给出不同的边界,究竟哪一个更好呢?

一个有趣的结论是:

❝如果 属于多元高斯分布(共享 ),那么 一定是逻辑函数,反之不成立。 ❞

总结一下,GDA 进行了更强的模型假设并且数据有效性更高(需要更少的数据来学习),但其前提条件是模型假设正确或近似正确;逻辑回归进行较弱的假设,对于模型假设偏离的鲁棒性更好。如果数据集实际上不是高斯分布,那么在数据有限的情况下,逻辑回归一般会表现得比 GDA 更好。因此,实际中使用逻辑回归的情况比 GDA 多得多。

3 朴素贝叶斯算法

3.1 算法概述

在高斯判别分析中,输入是连续变量。现在我们要谈谈一个不同的生成学习算法,其中 是「离散变量」。

现在我们有(以50000维度为例):

第一个等式来自于概率的基本性质;第二个等式则使用了朴素贝叶斯假设。即使这个假设在现实中不一定成立,但其实际的效果还是不错的。

在之前的例子中,输入的每一维特征都是是二元的,其对应的分布是伯努利分布。而当特征是多元时,其对应的分布应该用「多项式分布」建模。

实际上,即便一些原始的输入数据是连续值,我们可以通过一个映射表将连续值映射为离散值,然后运用朴素贝叶斯方法进行建模:

当原始连续值的数据不能很好的用多元正态分布进行建模时,将其离散化再使用朴素贝叶斯建模往往会取得更好的效果。

3.2 拉普拉斯平滑

4 思维导图

本文分享自微信公众号 - 口仆(roito33),作者:口仆

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 《百面机器学习》读书笔记之:特征工程 & 模型评估

    对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。这样做的目的是消除数据特征之间的量纲影响,使得不同的指标之间具有可比性,帮助在进行迭代...

    口仆
  • 自然语言处理中的预训练模型(下)

    PTM 通常是基于大规模文本语料训练通用的语言表示,而缺乏领域特定的知识。通过外部知识库引入领域知识被证明可以提升模型结果。这些外部知识包括:语言知识、语义知识...

    口仆
  • CS229 课程笔记之七:正则化和模型选择

    我们希望可以自动选择一个权衡方差与偏差最好的模型。为了更加具体,本节所讨论的模型集合为「有限集」

    口仆
  • 2018司法人工智能:罪名预测、刑期预测、法条推荐

    罪名预测:根据刑事法律文书中的案情描述和事实部分,预测被告人被判的罪名; 法条推荐:根据刑事法律文书中的案情描述和事实部分,预测本案涉及的相关法条; 刑期预测:...

    机器学习AI算法工程
  • 【译】Go 语言源码贡献官方指导文档

    这是一份指导你完成向 Go 语言项目贡献代码整个流程的文档,会略微跟其他开源项目所使用的指导文档有所不同。我们假设阅读者已经对 Git 和 Go 有基本的理解以...

    潘少
  • UC伯克利ICLR论文:论如何教强化学习模型骑自行车去金门大桥?

    AI 科技评论按:本文的作者是来自加州大学伯克利分校人工智能实验室(BAIR)的博士生 Vitchyr Pong,他的主研方向为深度强化学习。在本篇博客中作者介...

    AI科技评论
  • java字节码byte code简介

    Byte Code也叫做字节码,是连接java源代码和JVM的桥梁,源代码编译成为字节码,而字节码又被加载进JVM中运行。字节码怎么生成,怎么查看字节码,隐藏在...

    程序那些事
  • 值得一看——机器学习中容易犯下的错

    前言 在工程中,有多种方法来构建一个关键值存储,并且每个设计都对使用模式做了不同的假设。在统计建模,有各种算法来建立一个分类,每一个算法的对数据集有不同的假设。...

    计算机视觉研究院
  • 如何合并两个TensorFlow模型

    这是Tensorflow SavedModel模型系列文章的第三篇,也是终章。在《Tensorflow SavedModel模型的保存与加载》中,我们谈到了Te...

    云水木石
  • 深度学习CNN眼中的图片是什么样的

    2017年最后一天,无心学习。本来想休息下的,结果看到了一篇Paper叫《Visualizing and Understanding Convolutional...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券