有些时候,我们需要将 PDF 转换成 Markdown 格式,但是通常情况下是无法直接转的。一般来说,我们需要先将 PDF 文档先 OCR 识别一下,然后再转换成 markdown。需要注意的是,由于 PDF 格式的复杂性和多样性,有一些特殊的符号以及公式 往往在处理的时候会出问题。
今天要介绍的项目是 marker,就可以很好的解决这个问题,marker 是一款基于深度学习模型的将 PDF 转换成 Markdown 格式的工具。官方 github 地址如下:https://github.com/VikParuchuri/marker 。目前已经拥有 9.2k star。
marker 的原理是利于深度学习模型,检测页面布局,阅读顺序,然后格式化文本块并且对完整的文本再进行处理。这里说一下 marker 的特点:
该工具支持广泛的文档类型,特别针对书籍和科学论文进行了优化,对于复杂的公式提供了更好的支持。同时,它支持多种语言的转换,确保在全球范围内的用户都能够轻松使用
可以删除页眉、页脚以及其他页面元素。
能够格式化表格和代码块,保持排版整齐。
可以提取并保存 PDF 中的图像。
支持 GPU、CPU 或者 MPS(多处理器系统)进行转换,以满足不同硬件环境下的需求。这里说来说一下 marker 的安装方法
安装 Python,需要注意的需要安装的 Python 版本必须大于等于 3.9
然后安装 Pytorch ,执行命令 pip3 install torch torchvision
然后安装 marker 。执行命令 pip3 install marker-pdf
更详细的使用文档,可以参考 github 上的文档:https://github.com/VikParuchuri/marker?tab=readme-ov-file 。另外文档上也提供了 marker 和 nougat 的对比测试结果 。如下图
领取专属 10元无门槛券
私享最新 技术干货