抱歉,你查看的文章不存在

Python机器学习实战—使用朴素贝叶斯进行垃圾短信识别

一、引子

现在的很多手机管理软件都有垃圾短信拦截的功能,很智能很贴心是不是 嗯~ o( ̄▽ ̄)o 对于经常被垃圾短信骚扰的人来说,很是有用。(๑•̀ㅂ•́)و✧ 但是很多的拦截软件在拦截到垃圾短信之后……又发个通知提示拦截到了垃圾短信╮(﹀_﹀)╭ 好奇心害死猫,你告诉了我你拦截到了垃圾短信,我当然想知道你拦截的是什么垃圾短信了╮(╯_╰)╭

二、分类与垃圾短信识别

机器学习按性质来看,可以分为三大类:

  • 分类(监督)
  • 回归(监督)
  • 聚类(半监督) 垃圾短信通常用已标记的短信数据,对未知的短信进行判断,其属于机器学习中的分类性质。 在Python中有很多机器学习的模块,比如Sklearn、Tensorflow、Caffe等,可以很方便地调用一些机器学习的算法。

三、垃圾短信识别

嗯,直接上手干……( ̄_, ̄ ) 80w训练数据集和20w测试数据集均来源于github上的一位小哥哥,在此谢过d=====( ̄▽ ̄*)b

1、数据处理

嗯,先看看数据长啥样:

import pandas as pd
data = pd.read_csv(r"H:\RubbishMessage\data\80w.txt",encoding='utf-8',sep='    ',header=None)
data.head()

最后一列为短信的内容,倒数第二列则是短信的类型,0表示正常短信,1表示垃圾短信。 然后,我们对短信内容按照不同的类型(正常短信和垃圾短信)进行分割和分词:

# 垃圾短信import jieba
spam = data[data[1] == 1]
spam[2] = spam[2].map(lambda x:' '.join(jieba.cut(x)))
spam.head()
# 正常短信
normal = data[data[1] == 0]
normal[2] = normal[2].map(lambda x:' '.join(jieba.cut(x)))
normal.head()

分别将不同类型分词后的短信保存为不同的文件:

spam.to_csv('soam.csv',encoding='utf-8',header=False,index=False,columns=[2])
normal.to_csv('normal.csv',encoding='utf-8',header=False,index=False,columns=[2])

2、模型选择和训练

在此我们没有选择Sklearn或是其他的深度学习库,而是选用NLTK自然语言处理库来进行贝叶斯分类。 导入模块:

import nltk.classify.util
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import PlaintextCorpusReaderimport random

加载刚刚导出的短信文件:

加载短信语料库
message_corpus = PlaintextCorpusReader('./',['soam.csv','normal.csv'])
all_message = message_corpus.words()

定义一个特征函数,用于生成特征:

def massage_feature(word,num_letter=1):
    return {'feature':word[-num_letter:]}

对短信特征进行标记提取:

labels_name = ([(massage,'垃圾') for massage in message_corpus.words('soam.csv')]+[(massage,'正常') for massage in message_corpus.words('normal.csv')])
random.seed(7)
random.shuffle(labels_name)

训练并预测模型

from nltk.classify import accuracy as nltk_accuracy
featuresets = [(massage_feature(n),massage) for (n,massage) in labels_name]
train_set,test_set = featuresets[2000:],featuresets[:2000]
classifier = NaiveBayesClassifier.train(train_set)

最后,咱们看看预测的准确率怎么样:

print('结果准确率:',str(100*nltk_accuracy(classifier,test_set))+str('%'))

在没有调整优化参数的情况下,有百分之八十几的准确率,还是不错的 ━━( ̄ー ̄*|||━━ PS: 需要短信的训练数据和测试数据以及jupyter notebook文件的可以回复关键字:垃圾短信识别

(百度分享经常抽风被封,如果分享链接失效,欢迎反馈)

原文发布于微信公众号 - 州的先生(zmister2016)

原文发表时间:2017-07-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

州的先生

4 篇文章54 人订阅

相关文章

来自专栏CSDN技术头条

AI 可能真的要代替插画师了……

事先声明,这篇文章的标题绝不是在耸人听闻。事情的起因是前段时间在朋友圈看到同学在转发一篇论文,名字叫《Create Anime Characters with ...

2128
来自专栏机器学习实践二三事

验证码破解之一:定长文本验证码

之前写过一篇验证码的破解,地址在这,其实效果不好,有很多朋友来问,其实我已经说了只是个demo;既然如此,就写下文本验证码的破解;本次的主题是定长的,就是验证码...

2579
来自专栏新智元

旧照片着色修复神器!自注意力GAN效果惊艳

图像着色、图像增强、恢复旧图像等是计算机视觉领域的热点问题,不过,用一个模型很好地实现多个任务的研究不多。

1111
来自专栏CDA数据分析师

AI可能真的要代替插画师了……

事先声明,这篇文章的标题绝不是在耸人听闻。事情的起因是今天早上在朋友圈看到同学在转发一篇论文,名字叫《Create Anime Characters with ...

27510
来自专栏锦小年的博客

Nilearn学习笔记1-Nilearn库介绍

nilearn是一个将机器学习、模式识别、多变量分析等技术应用于神经影像数据的应用中,能完成多体素模式分析(MVPA:mutli-voxel pattern a...

2555
来自专栏大数据挖掘DT机器学习

详细步骤:用R语言做文本挖掘

目录 Part1 安装依赖包 Part2 分词处理 Part3文本聚类 Part4 文本分类 Part5情感分析 Part1 安装依赖包 R语言中中文分析的...

82712
来自专栏北京马哥教育

Python破解验证码,只要15分钟就够了!

让我们一起攻破世界上最流行的WordPress的验证码插件 每个人都讨厌验证码——在你被允许访问一个网站之前,你总被要求输入那些烦人的图像中所包含的文本。 验...

5356
来自专栏AI研习社

Github 项目推荐 | 基于 PyTorch,面向 AI 系统加速研究与开发的深度学习框架

TorchFusion 基于 PyTorch 并且完全兼容纯 PyTorch 和其他 PyTorch 软件包,它供了一个全面的可扩展训练框架,可以轻松用开发者的...

1412
来自专栏专知

Tensorflow实战系列,手把手教你构建一个Chatbot(博文+视频)

【导读】专知内容组为大家介绍一个聊天机器人(Chatbot)Tensorflow实战课程系列,其目标是创建一个聊天机器人,可以实时地在Twitch Stream...

4346
来自专栏听雨堂

北京54坐标到西安80坐标转换小结

1、北京54和西安80是两种不同的大地基准面,不同的参考椭球体,因而两种地图下,同一个点的坐标是不同的,无论是三度带六度带坐标还是经纬度坐标都是不同的。 2...

2657

扫码关注云+社区

领取腾讯云代金券