学习
实践
活动
专区
工具
TVP
写文章

利用Python爬取爬取百度贴吧帖子

最近在学爬虫,想来就把自己之前的Demo分享出来。项目所涉及到的库只有urllib。很简单。喜欢爬虫的读者可以先用这个项目来入手。我们先来看看抓取后的结果吧。

上面是保存到文件,除此之外我们还可以保存到数据库中,有兴趣的读者可以尝试。

看完了结果我们正式来尝试一下爬取百度贴吧的帖子

本篇目标:

1.对百度贴吧的任意帖子进行抓取

2.指定是否只抓取楼主发帖内容

3.将抓取到的内容分析并保存到文件

首先本次我们要获取的url为https://tieba.baidu.com/p/5176659692,我们的目的很简单,就是把这个贴子所有楼主的回答爬取下来.这个帖子是一个关于NBA50大的盘点。

代码如下:

项目代码地址:

https://github.com/NGUWQ/Python3Spider/blob/master/python/.idea/pachongdemo/BDTB.py

keeping Coding

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180803G0VRUP00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券