技术流|五分钟带你鉴别垃圾邮件

大家好,又到了一周案例时间,5分钟带你突破技术

从各种宣传页广告到钓鱼邮件,垃圾邮件漫天飞舞

如果它们一直很安静,只要一键清除就可以删掉

然而,现在“垃圾”不仅数量增加,智商也急速上升

最明显的例子就是它们成功把大家的钱包掏空、资料锁定

在如今诈骗信息满天飞的今天,如何能有效规避掉风险?

主角PaddlePaddle登场,教你如何鉴别垃圾邮件

Step1 数据收集与清洗

1)邮件样本广告邮件,保存为典型的Spam,分为元数据(发信方、书信方、编码格式等)和正文,提炼代表垃圾邮件的关键词

2)安装结巴分词,根据其中提供较为方便的分词方式,对正文部分进行处理

3)借助神经网络基本架构。输入内容是经过编码后的自然语言,变成张量,工具选择gensim,模块中选择Word2Vec类别。

4)分词后,得到spam.txt,即邮件样本集合,映射到向量,这样词语之间的关系也能够显示出来。

Step2 模型搭建

此步骤理论基础:

全连接层,通俗理解起来,每一层的所有神经元都和下一层两两有关

代码解读:

size:是神经元个数,根据代码计算机性能决定,activation选择linear。Fc1中,size是90个,代表有90个神经元

dropout:消减过拟合情况,可以理解为是修正90个神经元进行“减负”,避免模型跑偏

dropout rate: 就是每次扔掉多少神经元的比例

fc2-fc4:就是全连接层,每一层输入就是上一层的输出

最后一层激活函数是ReLu,是一个修正线性单元,在神经网络中引入非线性,可以对更复杂的情况进行分类。

bn :即batch normalization,即归化层,把之前的数据统计分布调整为均值0、方差1,提高分类准确度

Step3 确定训练代码

变量cost: 损失函数,衡量分类是否正确,parameters生成将要优化的参数级

Optimizer:优化器,使用Adam,并且加入L2正则化,模型平均,相关的设置参数,而超参数需要后续调整

生成训练器,随机梯度下降

最后,启用trainer就可以训练处自动鉴别垃圾邮件的模型

收集数据-清洗数据-搭建模型-训练使用

机智的小伙伴们一定都记好啦

当然,除了鉴别,肯定也有小伙伴技痒,想去“以牙还牙”

PaddlePaddle应用场景系列内附“反击”详细攻略

原文发布于微信公众号 - PaddlePaddle(PaddleOpenSource)

原文发表时间:2018-05-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏媒矿工厂

HDR关键技术:HEVC/H.265编码方案

前文我们对HEVC的HDR编码优化技术做了介绍,侧重编码性能的提升。本章主要阐述HEVC中HDR/WCG相关的整体编码方案,包括不同应用场景下的HEVC扩展编码...

69900
来自专栏AI科技大本营的专栏

AI 技术讲座精选:如何用 Keras 调试LSTM超参数解决时间序列预测问题

配置神经网络十分困难,因为并没有关于如何进行配置的好理论。 你必须用系统化的思维从动态结果和客观结果这两个角度探讨不同配置,设法理解给定预测建模问题。 在本教程...

58640
来自专栏极客慕白的成长之路

高度不平衡的数据的处理方法

17020
来自专栏人工智能头条

利用机器学习进行恶意代码分类

70340
来自专栏AI科技评论

开发 | 如何加速神经语言模型训练?东北大学小牛翻译团队有妙招

团队简介:东北大学自然语言处理实验室(小牛翻译团队)由姚天顺教授于1980年创立,长期从事机器翻译及语言分析方面的研究。小牛翻译团队所研发的NiuTrans系统...

347130
来自专栏WOLFRAM

Wolfram 语言与计算型显微镜

16540
来自专栏mathor

全概率公式和贝叶斯公式

14450
来自专栏目标检测和深度学习

16岁高中生夺冠Kaggle地标检索挑战赛!而且竟然是个Kaggle老兵

anokas 赢得了谷歌地标检索挑战赛,在 Reddit 上引起了非常多的讨论,大家都非常关心他的年龄以及是否有其他人帮助。不过在 anokas 的 Kaggl...

13120
来自专栏机器之心

资源 |《TensorFlow深度学习》前两章提供开放下载

选自Matroid 机器之心编译 参与:黄小天 最近,《TensorFlow 深度学习》(TensorFlow for Deep Learning)一书发布前...

29350
来自专栏人工智能

支持向量机入门简介

我们会通过分享有用的图书馆和资源而不是用复杂的数学知识来带你入门 SVM 。

39690

扫码关注云+社区

领取腾讯云代金券