学习
实践
活动
专区
工具
TVP
写文章

机器学习做中文邮件内容分类,准确识别垃圾邮件,真香!

但是不管是企业内部工作邮箱,还是个人邮箱,总是收到各种各样的垃圾邮件,包括商家的广告、打折促销信息、澳门博彩邮件、理财推广信息等等,不管如何进行垃圾邮件分类,总有漏网之鱼。 最重要的是,不同用户对于垃圾邮件的定义并不一致。而且大部分用户网络安全意识比较一般,万一误点垃圾邮件上钩,或者因为垃圾邮件淹没了工作中的关键信件,则会给个人或者企业造成损失。 垃圾邮件识别一直以来都是痛点难点,虽然方法无非是基于贝叶斯学习或者是概率统计还是深度学习的方法,但是由于业务场景的多样化,垃圾邮件花样实在太多了,所以传统垃圾邮件拦截器总是有点跟不上。 因此打算针对同一数据集,逐步尝试各种方法,来进行垃圾邮件识别分类——希望假以时日,这种定制化的垃圾邮件识别工具能大幅提升用户的邮箱使用体验。 因此我们依次对上述要素进行分析: 垃圾邮件内容分类(通过提取垃圾邮件内容进行判断) 中文垃圾邮件分类 英文垃圾邮件分类 垃圾邮件标题分类 垃圾邮件发送方分类 最终,我们可以根据这三个维度进行综合评判,从而实现垃圾邮件的准确分类

56220
  • 广告
    关闭

    年末·限时回馈

    热卖云产品年终特惠,2核2G轻量应用服务器7.33元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    垃圾邮件识别?重复元素判断?缓存穿透?

    如网页 URL 去重、垃圾邮件识别、大集合中重复元素的判断和缓存穿透等问题。 布隆过滤器(Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。 它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。 一、布隆过滤器简介 当你往简单数组或列表中插入新数据时,将不会根据插入项的值来确定该插入项的索引值。 二、布隆过滤器应用 在实际工作中,布隆过滤器常见的应用场景如下: 网页爬虫对 URL 去重,避免爬取相同的 URL 地址; 反垃圾邮件,从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱; Google Chrome 使用布隆过滤器识别恶意 URL; Medium 使用布隆过滤器避免推荐给用户已经读过的文章; Google BigTable,Apache HBbase 和 Apache Cassandra 使用布隆过滤器减少对不存在的行和列的查找

    1.1K10

    如何避免成为垃圾邮件

    邮件营销经常会碰到的一个问题就是:发出去的邮件被系统当做垃圾邮件,直接进了垃圾箱,下面一米软件就来教教大家如何避免成为垃圾邮件。 1、标题正文要避开敏感词 不同行业的敏感词是不一样的,因为敏感词具体是哪些词也是不确定的,但是类似于“广告”、“特惠”、“无成本”、“代理”等词,这些就是一些典型的垃圾邮件的词汇,一定要慎用的。 2、邮件不要太大 对于邮件的大小是要适当的,若是要在邮件里面插入附件、图片这些占据空间的,是很容易被过滤为垃圾邮件的,甚至邮件都不能发送出去在,所以在编辑的时候,尽量避开大附件。 选一些主流的服务商进行邮件发送成功率、内容显示、点击、单开等测试,然后在对邮件的不足之处做优化,从而减被系统判定为垃圾邮件的几率。 4、要注意切换IP地址 有涉及邮件营销的人都知道,在短时间内群发邮件使用同一个IP地址发送过多的邮件,IP地址会被判定为垃圾邮件IP,在,被拉入黑名单的几率是很大的。

    1.2K80

    垃圾邮件检测.第1部分

    ---- 磐创AI分享 作者 | Md Sohel Mahmood 编译 | VK 来源 | Towards Data Science 垃圾邮件检测是机器学习算法在过滤垃圾邮件方面的一个重要应用 通常垃圾邮件都有一些典型的词语。 在本文中,我们将使用nltk软件包详细介绍垃圾邮件和非垃圾邮件的文本处理。特别是我们将看到NLP的词干分析和词形还原过程。 频率分布 我们可能有兴趣看看垃圾邮件中最常用的单词。 如果一封真正的垃圾邮件被错误地识别为真正的电子邮件,那就是误报。另一方面,如果一封真正的电子邮件被识别垃圾邮件,那就是假阴性。 虽然模型的准确度为0.79,但可能存在误导,垃圾邮件的召回率较高,而准确度较低。这表明该模型偏向于垃圾邮件。它能够正确识别大多数垃圾邮件,但也错误地将一些正常邮件识别垃圾邮件

    41320

    垃圾邮件检测:第2部分

    Tensorflow的使用 在本垃圾邮件分类器的第1部分中,我展示了如何使用nltk包对文本进行词干分析和分类,然后将其输入分类器模型,以训练并最终评估模型性能。 labels[0:training_size] testing_labels_str = labels[training_size:] 对标签进行编码 由于数据集的标签为字符串,因此将通过编码为0和1(0表示垃圾邮件 该模型错误地将一些正常电子邮件识别垃圾邮件。 我们可以识别任何示例文本,以检查它是垃圾邮件还是正常文本。由于tokenizer已经定义,我们不再需要再次定义它。 选择一些朗朗上口的词,如“WINNER”, “free”, ”prize”,最终会使此文本被检测为垃圾邮件。 sample_text = ["Winner!!! pad_sequences(sample_text_tokenized, maxlen=max_length, padding=padding_type, truncating=trunc_type) # 0是垃圾邮件

    26910

    weka文本挖掘分析垃圾邮件分类模型

    业务背景 电子邮件的应用变的十分广泛,它给人们的生活带来了极大的方便,然而,作为其发展的副产品——垃圾邮件,却给广大用户、网络管理员和ISP(Internet服务提供者)带来了大量的麻烦。 垃圾邮件问题日益严重,受到研究人员的广泛关注。垃圾邮件通常是指未经用户许可,但却被强行塞入用户邮箱的电子邮件。对于采用群发等技术的垃圾邮件,必须借助一定的技术手段进行反垃圾邮件工作。 目前,反垃圾邮件技术主要包括:垃圾邮件过滤技术、邮件服务器的安全管理以及对简单邮件通信协议(SMTP)的改进研究等。 首先设置工作目录,并且读取分类后的文本文件 可以看到垃圾邮件和非垃圾邮件的频数直方图 ? ? 然后对得到的原始语料进行分词处理 得到词频矩阵文件 ? 得到各个词频的分类直方图 ? ,在垃圾邮件的过滤方面,可以有效地提高正确率和准确率。

    35921

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 语音识别

      语音识别

      腾讯云语音识别(ASR) 为开发者提供语音转文字服务的最佳体验。语音识别服务具备识别准确率高、接入便捷、性能稳定等特点。腾讯云语音识别服务开放实时语音识别、一句话识别和录音文件识别三种服务形式,满足不同类型开发者需求……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券