40行代码就能学会爬虫?有了这碗“汤”你也可以!

“Hello 我 是 大 白,带 你 进 入 Python 世界”

welcome to the Python world

今天教大家通过python实现糗事百科页面的内容采集,获取糗事百科热门的文章内容和好评数量。这是相对来说比较容易的,因为糗事百科不需要登陆,不需要cookie。但是需要设置http的MIME头,模拟浏览器访问才能正常请求。

需要安装BeautifulSoup包,它就是今天的主“美丽汤”!

简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下:

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。

废话不多说,我们来试一下吧~

输出结果为文章的内容及好评点赞的数量

参考来源:数据架构师

喜欢的话转发给你身边的小伙伴

↓更多学习资料↓

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181115B0IF1C00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券