专栏首页机器学习原理机器学习(17)——GMM算法算法流程

机器学习(17)——GMM算法算法流程

前言: 介绍一下EM算法的简单应用

算法流程

先从一个简单的例子开始: 随机选择1000名用户,测量用户的身高;若样本中存在男性和女性,身高分别 服从高斯分布N(μ1,σ1)和N(μ2,σ2)的分布,试估计参数:μ1,σ1,μ2,σ2; 如果明确的知道样本的情况(即男性和女性数据是分开的),那么我们使用极大似然 估计来估计这个参数值。 如果样本是混合而成的,不能明确的区分开,那么就没法直接使用极大似然估计来 进行参数的估计啦。 算法流程如下: GMM(Gaussian Mixture Model, 高斯混合模型)是指该算法油多个高斯模型线 性叠加混合而成。每个高斯模型称之为component。GMM算法描述的是数据的 本身存在的一种分布。 GMM算法常用于聚类应用中,component的个数就可以认为是类别的数量。 假定GMM由k个Gaussian分布线性叠加而成,那么概率密度函数如下图所示:

image.png

概率密度函数为:

对数似然函数为:

E步骤为:

M步骤为:

然后迭代更新参数。 下面来解决刚开始提到的身高和体重的例子 1.导入模块。

#导入我们要用的包,包括算法数据导入模块,算法评估模块,算法模块,以及画图模块。

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.colors
import matplotlib.pyplot as plt

from sklearn.mixture import GaussianMixture
from sklearn.model_selection import train_test_split
# 解决中文显示问题
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

2.导入数据 这里的导入数据是直接从scikit-learn中的数据,一共三千多条新闻作为建立贝叶斯分类器的基本。

## 数据加载
data = pd.read_csv('datas/HeightWeight.csv')
print ("数据样本数量:%d, 特征数量:%d" % data.shape)
data_x = data[data.columns[1:]]
data_y = data[data.columns[0]]
data.head()

查看数据,查看一下总的数据,结果如下:

3.将数据分为训练集和测试集

## 数据分割
x, x_test, y, y_test = train_test_split(data_x, data_y, train_size=0.6, random_state=0)

4.模型训练

## 模型创建及训练
gmm = GaussianMixture(n_components=2, covariance_type='full', random_state=28)
gmm.fit(x, y)

查看一下训练出来的模型:

5.理模型的相关参数的输出

## 模型相关参数输出
print ('均值 = \n', gmm.means_)
print ('方差 = \n', gmm.covariances_)

输出结果如下:

6.模型评估

## 获取推测值及计算准确率

# 获取预测值
y_hat = gmm.predict(x)
y_test_hat = gmm.predict(x_test)

# 查看一下类别是否需要更改一下
change = (gmm.means_[0][0] > gmm.means_[1][0])
if change:
    z = y_hat == 0
    y_hat[z] = 1
    y_hat[~z] = 0
    z = y_test_hat == 0
    y_test_hat[z] = 1
    y_test_hat[~z] = 0

# 计算准确率
acc = np.mean(y_hat.ravel() == y.ravel())
acc_test = np.mean(y_test_hat.ravel() == y_test.ravel())
acc_str = u'训练集准确率:%.2f%%' % (acc * 100)
acc_test_str = u'测试集准确率:%.2f%%' % (acc_test * 100)
print (acc_str)
print (acc_test_str)

输出的评估的结果如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 图数据库neo4j介绍(1)——基础

    基于数学里的图论的思想和算法而实现的高效处理复杂关系网络的新型数据库系统。 在社交网络、实时推荐、人工智能领域应用广泛。

    DC童生
  • NLP(5)——基于依存分析的开放式中文实体关系抽取方法

    前言:由于主要是涉及一些NLP的东西,所以将本文放到NLP里面。 前期学习的资料:

    DC童生
  • 我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

    前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差 排列 组合 计算各种...

    DC童生
  • (数据科学学习手札13)K-medoids聚类算法原理简介&Python与R的实现

    前几篇我们较为详细地介绍了K-means聚类法的实现方法和具体实战,这种方法虽然快速高效,是大规模数据聚类分析中首选的方法,但是它也有一些短板,比如在数据集中有...

    Feffery
  • JavaScript中的三目运算符

    javascript中的三目运算符用作判断时,基本语法为: expression ? sentence1 : sentence2

    刘亦枫
  • Unrecognised tag: 'snapshotPolicy'

    问题:[WARNING] Unrecognised tag: 'snapshotPolicy' (position: START_TAG seen ...</l...

    绝命生
  • ES6——解构赋值(Destructuring)

    ES6 允许按照一定模式,从数组和对象中提取值,对变量进行赋值,这被称为解构(Destructuring)。在ES6 之前为变量赋值,只能直接指定值。

    羊羽shine
  • 这也行?iOS后台锁屏监听摇一摇

    一般情况下,出于省电、权限、合理性等因素考虑,给人的感觉是很多奇怪的需求安卓可以实现,但是iOS就无法实现!今天要介绍的需求也有这种感觉,就是“当 APP 处于...

    逆锋起笔
  • 打包利器webpack

    Webpack 是一个模块打包器。它将根据模块的依赖关系进行静态分析,然后将这些模块按照指定的规则生成对应的静态资源。

    笔阁
  • String转换成Integer源码分析

    我们经常为用到Integer.valueOf(String str)这个方法,如果字符串格式不对,这个方法会抛出一个系统异常NumberFormatExcept...

    IT小马哥

扫码关注云+社区

领取腾讯云代金券