对双栏 | 单双栏混合 | 图表文字混合的复杂布局的图片OCR识别（对布局复杂的整个pdf进行OCR识别）

watermelo37

发布于 2025-01-22 21:46:12

10900

代码可运行

文章被收录于专栏：前端专精

运行总次数：0

代码可运行

一、常用的OCR识别工具

　　先上一个表，分享一下我最近接触到的三个OCR引擎，其实各有各的特点，说不上最好和最坏，按需使用。

识别引擎	python库	识别准确度	识别速度	特点
tesseract	pytesseract	较差	最慢	可二次训练，可调整识别速度，可识别复杂布局
paddleOCR	ppstructure	较好	最快	表格识别准确
CnOCR	Pix2Text	一般	一般	中文识别率不错，能识别公式转化为Latex

　　这里需要强调一个问题，识别准确度是针对手写体、内容残缺或者噪声较多的图片，如果是清晰度高的纯文本图片，这几个引擎实测识别率都在99%以上，非常准确。至于识别速度的问题，最慢的tesseract在识别一篇20页的论文PDF（识别结果一千多行）的时候，也大概只用了2-3分钟，这个按照项目需求选用吧。

二、确定布局情况的分割方法

2.1、在线分割工具

　　如果只有少量的图片，那就可以直接对图片下手，然后随便使用一个OCR工具即可

　　免费的图片分割网站：Split PDF pages in the middle using DeftPDF online for free

2.2、代码分割

　　如果能够确定批量图片的布局情况，比如确定图片都是双栏的布局，也可以使用一个分割脚本。就是获取图片的宽高，然后将图片拆分为高度不变，宽度为原图的一半就行（如果不是均分的两栏就按照实际比例分割）这个实现代码到处都是，就不占用篇幅赘述了。

三、重点：布局不规律，无法事先预料情况下的内容识别

3.1、需求重述

①问题

　　最近做了一个需求，要求用户上传论文的PDF，然后就能通过OCR获取其中的信息，关键是要做成一个web的功能，面向一般的用户，再加上论文的布局是复杂多样的，没法预设。

　　可是如果把双列内容不做任何处理去识别，结果往往是将左边一列的第一行和右边一列的第一行视作同一行，可真正的阅读顺序应该是将左边一列读完再读右边一列的第一行。

②解决

　　后来寻思让用户指出哪几页是双栏，哪几页是单栏，这样不但麻烦，而且有的页面同时有单栏和双栏（图片表格单栏，正文双栏），用户体验肯定不好，最后发现pytesseract是可以处理内容的位置信息，识别布局情况，并且可以按照正常的阅读习惯将识别的内容拼接，于是问题迎刃而解。

3.2、代码实现

　　废话不多说，上代码，记得提前安装tesseract引擎，并下载需要的训练库。

import pytesseract
from PIL import Image
import os
import fitz

# 设置TESSDATA_PREFIX环境变量，这是你自己的训练库所在位置，训练库去官网下载
# os.environ['TESSDATA_PREFIX'] = r'D:\Program Files\Tesseract-OCR\tessdata'
# 设置Tesseract OCR引擎的路径，下载的引擎路径
pytesseract.pytesseract.tesseract_cmd = r'D:\Program Files\Tesseract-OCR\tesseract.exe'


def recognize_text_from_pdf(pdf_path, output_path, language='eng+chi_sim'):
    # 打开PDF文件
    pdf_document = fitz.open(pdf_path)
    all_text = ""
    # 将PDF的每一页转化为图片，再识别内容
    for pg in range(pdf_document.page_count):
        page = pdf_document[pg]
        rotate = int(0)
        # 清晰度在这改(设为1.33333333是1056x816像素;设为2是>1584x1224像素)
        zoom_x = 2
        zoom_y = 2
        mat = fitz.Matrix(zoom_x, zoom_y).prerotate(rotate)
        pix = page.get_pixmap(matrix=mat, alpha=False)

        image = Image.frombytes("RGB", [pix.width, pix.height], pix.samples)

        # 使用Tesseract OCR引擎识别图片中的文本
        text = pytesseract.image_to_string(image, lang=language)

        all_text += text + "\n\n"

    # 关闭PDF文件
    pdf_document.close()
    with open(output_path+'/'+'pdf1output.txt', 'w', encoding='utf-8') as file:
        file.write(all_text)



# PDF路径和输出路径
pdf_path = './data/chinese.pdf'
output_folder = './output'
recognize_text_from_pdf(pdf_path, output_folder)