Python可以做哪些好玩的事之将喜欢的博客整理成pdf1.采集数据2.将网页转换为pdf

开篇之前,想打一波硬广(没(fen)广(si)(fu)(li)(ง •̀_•́)ง)。简书爸爸会不会打我? 天善智能,专注商业智能和数据库性能优化,如果你有自己的问题苦苦找不到解决的办法,可以在天善问答社区寻求帮助。

和简书一样,它有着很多优秀的技术类的文章,和简书不同的是它有着自己的问答社区,在天善问答社区,可以发表自己的问题寻(yao)(qing)各位大佬的帮助。

最近在学习ETL,于是在天善关键词搜索,光看目录就已经觉得很牛逼了~ <数据仓库设计、ETL设计框架>等等。作为一个爱学习的人,看到这么多有内涵的博客,当然想学习新技能(flag+1),但是我更习惯在手机上浏览,如果我想在手机上看,网页端显然是不太方便的,所以果断转换成pdf存一份(说干就干)

1.采集数据

有一段时间没有在博客中分析了,今天就不(luo)(li)(luo)(suo)再头来一遍。

  • chrome浏览器右键检查,在弹出窗口中选择network,这时点击我们想要查看的博客链接,天善社区的博客列表显然是972这个,有的时候链接不一定是在XHR分类下,具体网页我们要具体分析。
  • 点击972,查看RequestURL,复制这个链接打开,发现获得的内容和我们当前点开的链接一样,此时我们就大工告成了一半。
import requests
url = 'https://ask.hellobi.com/blog/biwork/972'
my_headers = {
    "Accept-Language":"zh-CN,zh;q=0.9",
    "Host":"ask.hellobi.com",
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"
}
r = requests.get(url=url, headers=my_headers)
print(r.content)

写到这以为完成了一半,那就大错特错了,既然我们想将整个目录都转换为pdf,那么只采集一篇怎么能行,这里我们就需要采集所有的文章地址。

天善博客社区提供博客地图,这对我们的提取所有的链接提供了便利,所以下一步我们就来采集这些链接。

  • 代码
import requests
from lxml import etree

map_url = 'https://ask.hellobi.com/blog/biwork/sitemap/'
map_headers = {
    "Host": "ask.hellobi.com",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",
}
rel = requests.get(url=map_url, headers=map_headers).content
html = etree.HTML(rel)
datas = html.xpath('//div[@class="col-md-12"]')
list_url = []
for data in datas[0]:
    blog_urls = data.xpath('./li/a/@href')
    print(blog_urls)

2.将网页转换为pdf

既然要转换pdf,我们就需要使用一个神器。wkhtmltopdf 生成PDF时会自动根据你在HTML页面中的标签生成树形目录结构,同时也可以在通过相应的函数设置将网页中的指定部分转换为pdf。

  • 终端输入命令
pip install wkhtmltopdf
pip install pdfkit

匹配查看网页html信息,找出作者,标题,作者

soup = BeautifulSoup(result, 'html.parser')
body = soup.find_all(class_='message-content')
  • 写入html文件
 # 将标题加入正文居中
center_title = soup.new_tag('center')
title_tag = soup.new_tag('h1')
title_tag.string = title
center_title.insert(1, title_tag)
html = str(body)
print(html)
html = html_template.format(content=html)
html = html.encode("utf-8")
f_name = ".".join([str(index), "html"])
with open(f_name, 'wb') as f:
     f.write(html)
     htmls.append(f_name)
  • 将html文件合并为pdf
pdfkit.from_file(htmls, user_name + "的文章合辑.pdf", options=options)
  • 执行完毕 pdf效果

大功告成,我们可以愉快的把想看的博客转换成pdf了。 完整代码已上传Github.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小詹同学

反爬虫和反反爬虫(上篇)

公众号爬取今日头条的那一期,不少小伙伴反应爬取下来的图片无法查看或者爬取不了,小詹也重新试了下,的确是的,写那篇推文的时候,头条还比较友好,没有添加反爬措施,大...

2882
来自专栏Python中文社区

京东商城大规模爬虫的开发

專 欄 ❈ 蜗牛仔,Python中文社区专栏作者,怒学Python爬虫,争当爬虫工程师, github地址: https://github.com/xiaob...

21910
来自专栏ThoughtWorks

无法登录的用户

自从ins项目上线以后,团队其他成员都纷纷下了项目,只留下他这个项目经理留在一线解决问题。登录这块总是出现问题,上次就出现过一次,不过上次是机房网络原因,而这次...

1231
来自专栏腾讯移动品质中心TMQ的专栏

【浅谈Chromium中的设计模式(一)】——Chromium中模块分层和进程模型

“EP”(中文:工程生产力)是目前项目中提升研发能力的一个很重要的衡量指标。笔者重点学习了Chromium产品是如何从代码和设计层面来保证快速高效的工程生产力。...

4948
来自专栏日常学python

python使用异步每秒钟就能下载一张高清大图,快不快?

不知道上篇文章大家学得怎样了,因为这篇文章是利用aiohttp这个库来进行说明的。如果还没有很明白或者还没有看过的话可以去多看看爬虫速度太慢?来试试用异步协程提...

1712
来自专栏CDN及云技术分享

原来你是这样的http2

目前HTTP/2.0(简称h2)已经在广泛使用(截止2018年8月根据Alexa流行度排名的头部1千万网站中,h2占比约29%,https://w3techs....

70713
来自专栏FreeBuf

看我如何窃取Messenger.com用户登录认证随机数并获得15000美元漏洞赏金

www.messenger.com是Facebook旗下即时通讯软件Messenger官网,该网站中添加了基于随机数认证( nonce based login ...

2205
来自专栏TSW

5201314对程序员意味着什么?

作为年轻人的潮流聚集地,Qzone在每个特殊的日子总会迎来一波猛烈的流量冲击。比如刚过去的520,下图是今年5月20号的流量情况:

2347
来自专栏杨建荣的学习笔记

Oracle 12C打补丁的简单尝试(r10笔记第55天)

最近在服务器盘点的时候,发现测试环境还是值得整合一下,因为服务器资源老旧,整体配置不高,服务器资源使用率不高,业务要求不高,多个实例分散在多台服务器上,要考虑灾...

3708
来自专栏何俊林

Python爬虫之如何爬取抖音小姐姐的视频

这次爬的是当下大火的APP--抖音,批量下载一个用户发布的所有视频。各位也应该知道,抖音只有移动端,官网打开除了给你个APP下载二维码啥也没有,所以相比爬PC网...

5153

扫码关注云+社区

领取腾讯云代金券