专栏首页思考的代码世界Python网络数据采集之图像识别与文字处理|第10天
原创

Python网络数据采集之图像识别与文字处理|第10天

User:你好我是森林

Date:2018-04-15

Mark:《Python网络数据采集》

原文:https://chensenlin.cn/posts/55181/

网络采集系列文章

Python网络数据采集之创建爬虫

Python网络数据采集之HTML解析

Python网络数据采集之开始采集

Python网络数据采集之使用API

Python网络数据采集之存储数据

Python网络数据采集之读取文件

Python网络数据采集之数据清洗

Python网络数据采集之处理自然语言

Python网络数据采集之登录采集处理

Python网络数据采集之采集JavaScript

图像识别与文字处理

将图像翻译成文字一般被称为光学文字识别(Optical Character RecognitionOCR)。可以实现 OCR 的底层库并不多,目前很多库都是使用共同的几个底层 OCR 库,或者是在上面进行定制。

OCR库概述

Python常用的OCR库有两个:PillowTesseract。每个库都可以从它们的网站上下载并安装(http://pillow.readthedocs.org/installation.html

https://pypi.python.org/pypi/pytesseract),或者用第三方管理器(像 pip)通过“pillow”“pytesseract”进行安装。

Pillow

Pillow 是从 Python 2.x版本的 Python图像库(Python Imaging LibraryPIL)分出来的,支持Python 3.x版本。和PIL一样,Pillow也可以轻松地导入代码,并通过大量的过滤、修饰甚至像素级的变换操作处理图片:

from PIL import Image,ImageFilter

kitten = Image.open("demo.jpg")#打开图片
blurryKitten = kitten.filter(Imagefilter.GaussianBlur)
blurryKitten.save("demo_two.jpg")#另存为
blurryKitten.show()
Tesseract

Tesseract 是目前公认最优秀、最精确的开源 OCR 系统。Tesseract 也具有很高的灵活性。它可以通过训练识别出任何字体,也可以识别出任何Unicode字符。

Tesseract 是一个 Python的命令行工具,不是通过 import语句导入的库。安装之后,要用 tesseract 命令在Python的外面运行。

安装 Tesseract

Windows:点击下载安装

Linux:sudo apt-get tessertact-ocr

Mac: brew install tesseract;也可以下载源码安装

NumPy

NumPy 是一个非常强大的库,具有大量线性代数 以及大规模科学计算的方法。因为NumPy可以用数学方法把图片表示成巨大的像素数组,所以它可以流畅地配合 Tesseract 完成任务。

NumPy 可以通过第三方包管理器(比如 pip)来安装:pip install numpy

处理格式规范的文字

例如通过运行Tesseract,读取文件并把结果写到一个文本文件中:

tesseract text.tif textoutput | cat test.txt

Tesseract 最大的缺点是对渐变背景色的处理。利用Pillow 库,我们可以创建一个阈值过滤器来去掉渐变的背景色,只把文字留下来,从而让图片更加清晰,便于 Tesseract 读取:

from PIL import Image
import subprocess
def cleanFile(filePath, newFilePath): 
    image = Image.open(filePath)
    # 对图片进行阈值过滤,然后保存
    image = image.point(lambda x: 0 if x<143 else 255)
    image.save(newFilePath)
    # 调用系统的tesseract命令对图片进行OCR识别 
    subprocess.call(["tesseract", newFilePath, "output"])
    # 打开文件读取结果
    outputFile = open("output.txt", 'r') 
    print(outputFile.read())
    outputFile.close()

cleanFile("text_2.jpg", "text_2_clean.png")

在提交给 Tesseract 处理之前,那些带标题的、带有大片空白的图片,或者有其他问题的图 片,都应该做预处理。

今天的内容没有特别难,我写的比较简单,爬取网络的图片和验证码识别还没写,先从简单的消化。

欢迎你免费加入我的星球,一起分享,共同成长。

知识星球

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python编程从入门到实践之常用函数|第13天

    User:你好我是森林 Date:2018-03-25 Mark:《Python从入门到实践》 原文:https://www.jianshu.com/p/002...

    你好我是森林
  • Python网络数据采集之图像识别与文字处理|第10天

    你好我是森林
  • Python网络数据采集之单元测试|第11天

    运行一套测试方法能够保证你的代码按照既定的目标运行,不仅可以节约你的时间,减少你对bug 的忧虑,还可以让新版本升级变得更加简单。

    你好我是森林
  • 学好 Python 的 11 个优秀资源

    Python是目前最流行、最易学最强大的编程语言之一(学习Python的五大理由),无论你是新手还是老鸟,无论是用于机器学习还是web开发(Pinterest就...

    小莹莹
  • 亚马逊推出刷手支付,0.3秒就能完成,误差更小,剁手更快!

    不久前,亚马逊获得了一项新技术专利,该技术使用手部识别技术来跟踪无收银员杂货店中的购物者,也就是说,购物者将挥手告别的不仅只有信用卡,还有“脸”。

    大数据文摘
  • 【解惑】一文告诉你,该学R还是Python!

    Python和R是统计学中两种最流行的的编程语言,R的功能性主要是统计学家在开发时考虑的(R具有强大的可视化功能),而Python因为易于理解的语法被大家所接...

    小莹莹
  • 一文告诉你,该学R还是Python!

    在这篇文章中,我们将重点介绍R和Python以及它们在数据科学和统计上地位之间的差异。

    华章科技
  • 那些被低估的Python库

    在这篇文章中,我们想展示一些不同于流行的东西。这些都是深夜浏览GitHub的感悟,以及同事们分享的压箱底东西。这些软件包中的一些是非常独特的,使用起来很有趣的P...

    HuangWeiAI
  • 英文 | 快来尝鲜Python 3.8 的赋值表达式

    导读:Python 3.8 的第一个 Alpha 版本已经发布了,这个版本包含了一个备受争议的功能:赋值表达式。这是一种同时完成判断与取值的操作,出自 PEP-...

    Python猫
  • Python和Go都很火,我要怎么选?

    互联网上有大量优秀的代码,它们构成了多种基础架构的基石。甚至本文所在网站的创建初衷也是创建优秀代码。虽然普通用户并没有注意到这一点,但优秀的开发者总是致力于优化...

    CV君

扫码关注云+社区

领取腾讯云代金券