专栏首页Python爬虫与数据分析爬虫爬取英文文档存为PDF,在读取PDF自动翻译文档

爬虫爬取英文文档存为PDF,在读取PDF自动翻译文档

这几天在爬了Python的官方文档,但是它里面全是英文,只有数字,没有汉字,原谅我这个英语渣渣搞不懂,只能靠翻译了,如果是复制到百度翻译的话太慢,耗时间。所以就直接用爬虫来搞了,自动化翻译文档

这是百度翻译的页面

刚开始想用urllib去做,但是给我报了一个我的浏览器版本太低了,估计就是得加headers和UA。太麻烦了,就想到了selenium,直接用selenium妥妥的,下面就是详细步骤了。

先从爬Python官网开始吧

就只抓了这一页的数据。这个简单,直接可以使用requests或者urllib抓取,然后转换成pdf。我的是在框架里面,有点麻烦,如果你觉得麻烦可以直接请求。

安装Python库:pip3 install pdfkit

安装插件wkhtmltopdf,

https://wkhtmltopdf.org/downloads.html官网地址

import scrapy
import pdfkit

class so_python3_spider(scrapy.Spider):

    name = 'doc'
    def start_requests(self):
        url = 'https://docs.python.org/3.8/whatsnew/3.8.html'
        yield scrapy.Request(url=url, callback=self.parse)
        
    def parse(self, response):
        body = response.selector.xpath('//div[@class="section"]').extract()
        title = response.selector.xpath('//div[@class="section"]/h1/text()').extract()
        html_template = """ 
                    <!DOCTYPE html> 
                    <html lang="en"> 
                    <head> 
                        <meta charset="UTF-8"> 
                    </head> 
                    <body> 
                    {content} 
                    </body> 
                    </html> 
                """
        for i in range(len(body)):
            html = html_template.format(content=body[i])
            with open(title[i]+'.html', 'a', encoding='utf8') as f:
                f.write(html)
            options = {
                'page-size': 'Letter',
                'encoding': "UTF-8",
                'custom-header': [
                    ('Accept-Encoding', 'gzip')
                ]
            }
            path_wk = r'D:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
         config = pdfkit.configuration(wkhtmltopdf=path_wk)
            pdfkit.from_file(title[i]+'.html', title[i]+'.pdf', options=options, configuration=config)

我是直接将一个div里面的这个内容全部拿下来,然后拼接一个新的html,将这个新的HTML转换成PDF。

第二阶段就是打开这个pdf,读取该文档,将其发送到百度翻译的框框,获取翻译的结果,重新保存

-----------读取文档--------

def read_pdf_to_text(self):
    fp = open("What’s New In Python 3.8.pdf", "rb")  # 根据二进制的方式读取
    # 如果是url
    # fp=request.urlopen(url)#网址
    # 创建与文档关联的解释器
    parser = PDFParser(fp)
    # 创建一个pdf文档对象
    doc = PDFDocument()
    # 连接解释器和文档对象
    parser.set_document(doc)
    doc.set_parser(parser)

    # 对文档进行初始化
    doc.initialize("")  # 文件没有密码就是空字符串
    # 创建一个pdf资源管理器
    resouse = PDFResourceManager()
    # 创建一个参数分析器
    lap = LAParams()
    # 创建一个聚合器
    device = PDFPageAggregator(resouse, laparams=lap)
    # 创建一个页面解释器
    interpreter = PDFPageInterpreter(resouse, device)
    # 开始读取内容
    for page in doc.get_pages():
        # 调用页面解释器来解释
        interpreter.process_page(page)
        # 使用聚合器来获得内容
        layout = device.get_result()
        for out in layout:
            if hasattr(out, "get_text"):
                content = out.get_text()

将文档读取,发送到百度翻译https://fanyi.baidu.com/?aldtype=16047#en/zh

找到输入框和输出框的位置

翻译模块(复制到微信里,格式有点问题,大家自己修正)

def baidu_fanyi(self, content):

    time.sleep(5)
    # 找到输入框的位置,并将内容发送到该位置
    self.browser.find_element_by_id('baidu_translate_input').send_keys(content)
    time.sleep(5)
    # 获取输出框的内容
    con = self.browser.find_element_by_class_name('output-bd')
    # 写入文件
    with open('python3.8.txt', 'a', encoding='utf8') as f:
        # 由于content内容带有回车符,所以不用\n
        f.write(content + con.text + '\n')
    # 将输入框清空,等待下一次输入
    self.browser.find_element_by_id('baidu_translate_input').clear()
    time.sleep(5)

这是翻译后输出的内容

当然还有可以优化加强的部分,比如使用pyqt做个界面,打包成exe就可以当程序用了。有什么建议留言。

完整代码回复 ‘翻译‘ 获取,这里就不放了,太长了。觉得还不错的点个赞,有什么问题可以留言问我,或者直接在公众号中发消息,都可以。

本文分享自微信公众号 - Python爬虫scrapy(python_scrapy),作者:Andrew

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬取网站文章将图片保存到本地并将HTML的src属性更改到本地

    每次当你爬取一篇文章时,不管是从csdn或者其他网站,基本内容都是保存在一个富文本编辑器中,将内容提取出来还是一个html,保存之后图片还在别人...

    andrew_a
  • Python3.6的新特性f-string和新字典

    应该大多数的写Python的都知道这个特性,所以这篇文章是给不知道的同学写的,知道的就跳过吧。

    andrew_a
  • Python爬虫视频以及使用python3爬取的实例

    链接: https://pan.baidu.com/s/18iRD2I9t4xHxiSqoe-hFHg 密码: afaf

    andrew_a
  • Python 网络抓取和文本挖掘 - 3

    XPath 是一种查询语言,用于在HTML/XML文档中定位和提取一些片段。XPath也是一个W3C标准。XPath只能处理DOM,所以必须先将HTML或XML...

    py3study
  • Android开发工具类之ImageUtils

    开发最重要的就是速度和效率,其实我一直都非常支持使用第三方的工具类,因为毕竟是一些大牛封装好的,效率什么的,可能比一些初学者写的确实好一些,但是我建议在使用第三...

    非著名程序员
  • iOS开发之CFHttpMessageRef的那些坑

    forrestlin
  • golang 利用指针导出变量

    csxiaoyao
  • 手把手教你利用Python网络爬虫获取链家网的房产信息

    随着人们生活方式的的提高,房子成为了我们必不可少的一部分。而网上的信息太过于复杂,为了了解最近房价的变化趋势。小编以链家这个网站为例,抓取房价的信息。

    Python进阶者
  • 手把手教你利用Python网络爬虫获取链家网的房产信息

    随着人们生活方式的的提高,房子成为了我们必不可少的一部分。而网上的信息太过于复杂,为了了解最近房价的变化趋势。小编以链家这个网站为例,抓取房价的信息。

    朱小五
  • 手把手教你利用Python网络爬虫获取链家网的房产信息

    随着人们生活方式的的提高,房子成为了我们必不可少的一部分。而网上的信息太过于复杂,为了了解最近房价的变化趋势。小编以链家这个网站为例,抓取房价的信息。

    用户7466307

扫码关注云+社区

领取腾讯云代金券