朴素贝叶斯的学习与分类

概念简介:

朴素贝叶斯基于贝叶斯定理,它假设输入随机变量的特征值是条件独立的,故称之为“朴素”。简单介绍贝叶斯定理:

乍看起来似乎是要求一个概率,还要先得到额外三个概率,有用么?其实这个简单的公式非常贴切人类推理的逻辑,即通过可以观测的数据,推测不可观测的数据。举个例子,也许你在办公室内不知道外面天气是晴天雨天,但是你观测到有同事带了雨伞,那么可以推断外面八成在下雨。

若X 是要输入的随机变量,则Y 是要输出的目标类别。对X 进行分类,即使求的使P(Y|X) 最大的Y值。若X 为n 维特征变量 X = {A1, A2, …..An} ,若输出类别集合为Y = {C1, C2, …. Cm} 。

X 所属最有可能类别 y = argmax P(Y|X), 进行如下推导:

朴素贝叶斯的学习

有公式可知,欲求分类结果,须知如下变量:

  • 各个类别的条件概率,
  • 输入随机变量的特质值的条件概率

示例代码:

import copy

class native_bayes_t:
    
    def __init__(self, character_vec_, class_vec_):
        """
        构造的时候需要传入特征向量的值,以数组方式传入
        参数1 character_vec_ 格式为 [("character_name",["","",""])]
        参数2 为包含所有类别的数组 格式为["class_X", "class_Y"]
        """
        self.class_set = {}
        # 记录该类别下各个特征值的条件概率
        character_condition_per = {}
        for character_name in character_vec_:
            character_condition_per[character_name[0]] = {}
            for character_value in character_name[1]:
                character_condition_per[character_name[0]][character_value] = {
                    'num'           : 0,  # 记录该类别下该特征值在训练样本中的数量,
                    'condition_per' : 0.0 # 记录该类别下各个特征值的条件概率
                }
        for class_name in class_vec:
            self.class_set[class_name] = {
                'num'                     : 0,  # 记录该类别在训练样本中的数量,
                'class_per'               : 0.0, # 记录该类别在训练样本中的先验概率,
                'character_condition_per' : copy.deepcopy(character_condition_per),
            }

        #print("init", character_vec_, self.class_set) #for debug

    def learn(self, sample_):
        """
        learn 参数为训练的样本,格式为
        [
            {
                'character'  : {'character_A':'A1'}, #特征向量
                'class_name' : 'class_X'             #类别名称
            }
        ]
        """
        for each_sample in sample:
            character_vec  = each_sample['character']
            class_name     = each_sample['class_name']

            data_for_class = self.class_set[class_name]
            data_for_class['num'] += 1

            # 各个特质值数量加1
            for character_name in character_vec:
                character_value = character_vec[character_name]
                data_for_character = data_for_class['character_condition_per'][character_name][character_value]

                data_for_character['num'] += 1

        # 数量计算完毕, 计算最终的概率值
        sample_num = len(sample)
        for each_sample in sample:
            character_vec = each_sample['character']
            class_name    = each_sample['class_name']

            data_for_class = self.class_set[class_name]
            # 计算类别的先验概率
            data_for_class['class_per'] = float(data_for_class['num']) / sample_num

            # 各个特质值的条件概率
            for character_name in character_vec:
                character_value = character_vec[character_name]
                
                data_for_character = data_for_class['character_condition_per'][character_name][character_value]

                data_for_character['condition_per'] = float(data_for_character['num']) / data_for_class['num']

        from pprint import pprint
        pprint(self.class_set)  #for debug

    def classify(self, input_):
        """
            对输入进行分类,输入input的格式为
        {
            "character_A":"A1",
            "character_B":"B3",
        }
        """
        best_class = ''
        max_per    = 0.0
        for class_name in self.class_set:
            class_data = self.class_set[class_name]
            per = class_data['class_per']
            # 计算各个特征值条件概率的乘积
            for character_name in input_:
                character_per_data = class_data['character_condition_per'][character_name]
                per = per * character_per_data[input_[character_name]]['condition_per']
            print(class_name, per)
            if per >= max_per:
                best_class = class_name

        return best_class

character_vec = [("character_A",["A1","A2","A3"]), ("character_B",["B1","B2","B3"])]
class_vec     = ["class_X", "class_Y"]
bayes = native_bayes_t(character_vec, class_vec)


sample = [
            {
                'character'  : {'character_A':'A1', 'character_B':'B1'}, #特征向量
                'class_name' : 'class_X'             #类别名称
            },
            {
                'character'  : {'character_A':'A3', 'character_B':'B1'}, #特征向量
                'class_name' : 'class_X'             #类别名称
            },
            {
                'character'  : {'character_A':'A3', 'character_B':'B3'}, #特征向量
                'class_name' : 'class_X'             #类别名称
            },
            {
                'character'  : {'character_A':'A2', 'character_B':'B2'}, #特征向量
                'class_name' : 'class_X'             #类别名称
            },
            {
                'character'  : {'character_A':'A2', 'character_B':'B2'}, #特征向量
                'class_name' : 'class_Y'             #类别名称
            },
            {
                'character'  : {'character_A':'A3', 'character_B':'B1'}, #特征向量
                'class_name' : 'class_Y'             #类别名称
            },
            {
                'character'  : {'character_A':'A1', 'character_B':'B3'}, #特征向量
                'class_name' : 'class_Y'             #类别名称
            },
            {
                'character'  : {'character_A':'A1', 'character_B':'B3'}, #特征向量
                'class_name' : 'class_Y'             #类别名称
            },
            
        ]

input_data ={
    "character_A":"A1",
    "character_B":"B3",
}

bayes.learn(sample)
print(bayes.classify(input_data))

总结:

l 朴素贝叶斯分类实现简单,预测的效率较高

l 朴素贝叶斯成立的假设是个特征向量各个属性条件独立,建模的时候需要特别注意

示例代码:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

机器学习:人工神经网络ANN

神经网络是从生物领域自然的鬼斧神工中学习智慧的一种应用。人工神经网络(ANN)的发展经历的了几次高潮低谷,如今,随着数据爆发、硬件计算能力暴增、深度学习算法的优...

3184
来自专栏木子昭的博客

万能的0和1 之 字典特征抽取

机器是无法识别自然语言的,机器只能识别0和1,经典的案例就是字典特征抽取 0表示不存在 1表示存在 以国漫人物信息,做示例 原始数据 ? ...

2728
来自专栏机器学习算法原理与实践

深度神经网络(DNN)模型与前向传播算法

    深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,而要理解DNN,首先我们要理解DNN模型,下面我们就对DNN...

664
来自专栏数据科学学习手札

(数据科学学习手札16)K-modes聚类法的简介&Python与R的实现

我们之前经常提起的K-means算法虽然比较经典,但其有不少的局限,为了改变K-means对异常值的敏感情况,我们介绍了K-medoids算法,而为了解决K-m...

3108
来自专栏梦里茶室

TensorFlow深度学习笔记 循环神经网络实践

加载数据 使用text8作为训练的文本数据集 text8中只包含27种字符:小写的从a到z,以及空格符。如果把它打出来,读起来就像是去掉了所有标点的wikip...

2265
来自专栏磐创AI技术团队的专栏

详解谱聚类原理

1343
来自专栏新工科课程建设探讨——以能源与动力工程专业为例

4.3 差分与简单常微分方程初值问题

什么是差分运算?如下图,数值计算过程我们计算函数上某点的导数时,可以选择某点附近(可以包含该点)的两个点,取这两个点的斜率来近似表示该点的导数。一阶导数...

550
来自专栏wym

opencv学习笔记 模糊操作+代码(均值模糊,中值模糊,自定义模糊,锐化)

像该函数对领域点的灰度值进行权重相加最后设置灰度值,这样的操作又叫卷积,这样的滤波器叫线性滤波器。

1131
来自专栏机器学习之旅

应用:数据预处理-缺失值填充

2.直接根据没有缺失的数据线性回归填充,这样填充的好会共线性,填充的不好就没价值,很矛盾

642
来自专栏机器学习算法与Python学习

深度学习之DNN与前向传播算法

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 深度神经网络(Deep Neu...

2974

扫码关注云+社区