机器学习篇(一)

机器学习是从数据中自动分析获取规律，并利用规律对未知数据进行预测。

常用领域：智能客服，帮助看病，智能推送等等，应用领域很广。

机器学习的常用数据：csv文件，mysql等数据库的读取速度是不够快的。同时格式也不符合。

数据结构组成：特征值+目标值

比如通过头发长度，眼睛颜色等这些特征值来推测是男是女（目标值）对特征进行处理，我们把它叫做特征工程。

环境搭建

建议创建一个虚拟环境。

安装Scikit-learn：pip install Scikit-learn

注意：需要以numpy和pandas为基础库

测试是否安装成功：

import sklearn

运行看是否报错。

对于特征工程我们长使用Scikit-learn。

对字典进行特征化处理

对数据进行特征值化

目的是为了让计算机更好的处理。

# 对字典进行特征化处理

实例：

# 导入特征化字典模块

from sklearn.feature_extraction import DictVectorizer

def dictvec():

# 数据

list_dict = [{'city':'武汉','PM2.5':73},{'city':'上海','PM2.5':160},{'city':'天津','PM2.5':31}]

# 实例化

dict = DictVectorizer()

# 调用fit_transform处理

data = dict.fit_transform(list_dict)

print(data)

return None

if __name__ == "__main__":

dictvec()

会输出：

(0, 0) 73.0

(0, 3) 1.0

(1, 0) 160.0

(1, 1) 1.0

(2, 0) 31.0

(2, 2) 1.0

看上去一脸懵逼，不知道是什么！

将实例化的时候添加一个参数,修改成：

dict = DictVectorizer(sparse=False)

输出：

[[ 73. 0. 0. 1.]

[160. 1. 0. 0.]

[ 31. 0. 1. 0.]]

这个就比较熟悉了，是一个二维数组。

我们把这输出的对比来看：

(0,0) 73.0 也就是二维数组中第一行，第一列的第一个值73

同理(0, 3) 1.0 就是二维数组中第一行，第4列的值1

其他的值都是一样的道理。将有值的地方输出了出来。

下面的二位数值是ndarray类型，而第一次输出的是sparse类型，也可以叫他sparse矩阵。

为什么需要转化成sparse矩阵，0和1是怎么来的？

可以在上诉实例中再输出一行：

print(dict.get_feature_names())

会输出：

['PM2.5', 'city=上海', 'city=天津', 'city=武汉']

[[ 73. 0. 0. 1.]

[160. 1. 0. 0.]

[ 31. 0. 1. 0.]]

这样再来看，这个二维数组第一列输出的就是PM2.5的实际的值。第二列数据对应上海，是上海标记为1，不是上海标记为0以此类推，第三列为天津，第四列为武汉。

把数据特征值化，转化成sparse矩阵,来更好的处理，同时还能节约内存。简单来讲就是把汉字转化成0和1。也就是one-hot编码。

对文本数据的特征值化

实例：

# 导入模块

from sklearn.feature_extraction.text import CountVectorizer

def countvec():

# 对文本进行特征化

# 创建两个文本

text = ["My name is Zhang San","My friend is Li Si"]

# 实例化

c = CountVectorizer()

# 特征值化

data = c.fit_transform(text)

print(data)

print("-----")

print(c.get_feature_names())

# 转化成数组

print(data.toarray())

return None

if __name__ == "__main__":

countvec()

输出：

(0, 5) 1

(0, 7) 1

(0, 1) 1

(0, 4) 1

(0, 3) 1

(1, 6) 1

(1, 2) 1

(1, 0) 1

(1, 1) 1

(1, 3) 1

-----

['friend', 'is', 'li', 'my', 'name', 'san', 'si', 'zhang']

[[0 1 0 1 1 1 0 1]

[1 1 1 1 0 0 1 0]]

-以上直接看不是很明白,直接看-下面的。

get_feature_names()统计出了不重复的单词。但是如果我们的文本中有I，这种单个词汇，

是默认放弃统计的。因为它没有分类依据。

data.toarray()一一对应 get_feature_names()中每个文本出现的次数

以friend为例：再第一个文本中为出现为0，再第二个文本中出现1次，为1。

其他都是这样。常用于文本分类，情感分析等。

但是如果换成中文，会以，为分隔符，把他们分隔开，但这不是我们想要的。

比如写成["人生苦短,我用python","微信公众号,python入门到放弃"]

会分割成：['python入门到放弃', '人生苦短', '微信公众号', '我用python']

如果我们写成["人生 苦短,我用 python","微信 公众号,python 入门到 放弃"]

分割成：['python', '人生', '入门到', '公众号', '微信', '我用', '放弃', '苦短']

所以在处理中文的时候我们需要先进行分词处理。就会用到jieba分词库。

简单介绍jieba的使用方法：

安装：pip install jieba

使用：

import jieba

text1 = jieba.cut("人生苦短,我用python")

text2 = jieba.cut("微信公众号,python入门到放弃")

text3 = jieba.cut("我的名字是张三")

# 由于返回值不是文本，我们进行转化列表处理

te1 = list(text1)

te2 = list(text2)

te3 = list(text3)

# 转换成字符串,用空格拼接

t1 = ' '.join(te1)

t2 = ' '.join(te2)

t3 = ' '.join(te3)

此时t1,t2,t3就传化成一个字符串，就可以传入其中了。

但是这种方式还不是很高效，因为一篇文章其实是有很多中性词的。比如，因为，所以这些词语。

在实际操作中我们常用tf idf来做文本分类。

tf:词的频率。

idf:逆文档频率。

第一步tf和上面的功能一样，统计某个词在文章中出现的次数。

第二步idf，是一个公式log(总文档数量/该词出现的文档数量)

(该词出现的文档数量：也就是某个词在那些文档中出现过)

总文档数量/该词出现的文档数量的值越小，log(总文档数量/该词出现的文档数量)也是越小的。

第三步：tf*idf，得到的值说明了该词的重要性。

这就是朴素贝叶斯算法。

实例：

# 导入模块

from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer

def tf_idfvec():

# 文本

text = ["人生 苦短,我用 python","微信 公众号,python 入门到 放弃"]

# 实例化

tf = TfidfVectorizer()

data = tf.fit_transform(text)

print(data)

print("-----")

print(tf.get_feature_names())

print(data.toarray())

return None

if __name__ == "__main__":

tf_idfvec()

输出：

这里的0.xxxx就表示这个词的重要性。