爬虫敏感图片的识别与过滤,了解一下?

优雅的python

优美胜于丑陋,

明了胜于晦涩。

分享python资讯~

需求

我们需要识别出敏感作者的avatar头像,把”皮卡丘“换成”优雅的python“。

敏感图片样本属性:

爬虫获取的图片属性:

替换成:

原理

检查两个图片的相似度,一个简单而快速的算法:感知哈希算法(Perceptual Hash),通过某种提取特征的方式为每个图片计算一个指纹(哈希),这样对比两个图片相似与否就变成了对比两个指纹异同的问题。

实现

Step1.缩小尺寸

将图片缩小到8*8的大小,这样做可以去除图片的细节,只保留结构和明暗等基本信息,同时摒弃不同尺寸和比例带来的图片差异。

Step2.灰度处理

把缩小后的图片转化为64级灰度图(每个像素只有64种颜色)。

Step3.计算平均值

计算所有64个像素的灰度平均值。

Step4.计算哈希

这里哈希的计算方法是:上面说的64个像素的灰度与平均值进行比较,大于或等于平均值记为1,小于记为0。

将每个像素的比较结果组合在一起成为一个64位的二进制整数,这个整数就是此图片的指纹。

Step5.对比哈希

不同图片对比的方法,就是对比它们的64位哈希中,有多少位不一样(汉明距离)。一般来说如果不同的位数不超过5,就说明两张图片很相似,如果大于10,就很可能是两张不同的图片。

代码(python3)

先来安装pillow、requests:

导入包:

实现图片相似度算法:

结合爬虫:

运行结果:

github源码

https://gist.github.com/luzihang123/77c7f02304447dd2a273cca526a27e1c

参考文章

相似图片检测?三行代码就够了 - 掘金

此 Python2 脚本怎么修改为 Python3 运行 - V2EX

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181102G1M32K00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券