专栏首页python3bs4爬虫实战一:获取百度贴吧内容

bs4爬虫实战一:获取百度贴吧内容

目标分析:

进入百度贴吧,访问: https://tieba.baidu.com/index.html

搜索权利的游戏

定义需要爬取的数据,爬取每个帖子上面的内容

定位到每个帖子,即取 li标签 里面 'class'=' j_thread_list clearfix' 的所有帖子,这个li里面就包含需要的所有内容

title   # 帖子标题

post_author   # 帖子创建作者

post_time   # 帖子创建时间

re_num   # 总回复数

content   # 最后回复内容

last_author   # 最后回复者

last_time   # 最后回复时间

获取下一页的url请求

请求地址: http://tieba.baidu.com/f?kw=%E6%9D%83%E5%88%A9%E7%9A%84%E6%B8%B8%E6%88%8F&ie=utf-8&pn=50

图中,可以很明确的看出,每按一次"下一页",pn将增加50,只需求拼接url地址的时候更改pn的值,就可以得到下一页的请求地址

项目实施:

新建一个get_tieba_info.py文件,代码如下:

#!/usr/bin/env python
# coding: utf-8
import urllib.request
from bs4 import BeautifulSoup
from mylog import MyLog as mylog  # 导入Mylog类,起别名为mylog


class Item(object):  # 定义一个Item类,爬取的字段类
    title = None  # 帖子标题
    post_author = None  # 帖子创建作者
    post_time = None  # 帖子创建时间
    re_num = None  # 总回复数
    content = None  # 最后回复内容
    last_author = None  # 最后回复者
    last_time = None  # 最后回复时间


class GetTieBaInfo(object):
    def __init__(self, url):
        self.url = url  # 接收一个初始的url地址
        self.log = mylog()  # 实例化mylog日志类
        self.pagesum = 5  # 控制爬取的页面数(一页50条数据)
        self.urls = self.geturls(self.pagesum)  # 获取所有下一页的urls列表
        self.items = self.spider(self.urls)  # 处理每一页的数据
        self.pipelines(self.items)  # 数据下载

    '''处理url地址,return urls地址列表'''
    def geturls(self, pagesum):
        urls = []
        pns = [str(i*50) for i in range(pagesum)]  # 得到列表['0','50','100'....]即下一页的数字
        # ['0', '50', '100', '150', '200']

        ul = self.url.split('=')  # 以=号为分隔符,切割url地址,得到下面结果
        # ['http://tieba.baidu.com/f?kw', '权利的游戏&ie', 'utf-8&pn', '0']

        for pn in pns:
            ul[-1] = pn  # ur[-1] = 0 ,50,100,150
            url = '='.join(ul)  # 以=为拼接符,拼接下一页的url地址
            urls.append(url)  # 添加到上面的urls列表中
        self.log.info(u'获取URLS成功')  # 写入日志文件
        return urls  # 返回urls地址列表

    def spider(self, urls):
        items = []
        for url in urls:
            # 调用self.getresponsecontent函数,返回整个html的内容
            HtmlContent = self.getresponsecontent(url) 
            # 使用bs4解析器进行过滤
            soup = BeautifulSoup(HtmlContent, 'lxml')
         
            # 找到所有符合规则的li标签,返回一个list
            tagsli = soup.find_all('li', attrs={'class':' j_thread_list clearfix'})

            for tag in tagsli:
                item = Item()  # 实例化Item类
                # 获取帖子标题
                item.title = tag.find('a', attrs={'class':'j_th_tit '}).get_text().strip()
                # 获取帖子创建作者
                item.post_author = tag.find('span', attrs={'class':'frs-author-name-wrap'}).get_text().
                strip()
                # 获取帖子创建时间
                item.post_time = tag.find('span', attrs={'class':'pull-right is_show_create_time'}).
                get_text().strip()
                # 总回复数
                item.re_num = tag.find('span', attrs={'class':'threadlist_rep_num center_text'}).
                get_text().strip()
                # 最后回复内容
                item.content = tag.find('div', attrs={'class':'threadlist_abs threadlist_abs_onlyline '}).
                get_text().strip()
                # 最后回复者
                item.last_author = tag.find('span', attrs={'class': 'tb_icon_author_rely j_replyer'}).
                get_text().strip()
                # 最后回复时间
                item.last_time = tag.find('span', attrs={'class':'threadlist_reply_date pull_right 
                j_reply_data'}).get_text().strip()
                items.append(item)  # 把所有的item,添加到items列表
                self.log.info(u'获取标题为<<{}>>的项成功...'.format(item.title))
        return items

    def pipelines(self, items):  # 接收一个items列表
        filename = u'百度贴吧_权利游戏.txt'
        with open(filename, 'w', encoding='utf-8') as fp:
            for item in items:
                fp.write('帖子标题:{}\n帖子创建作者:{}\n帖子创建时间:{}\n帖子总回复数:\
                {}\n帖子最后回复内容:{}\n帖子最后回复者:{}\n帖子最后回复时间:{}\n\n\n\n'\
                         .format(item.title,item.post_author,item.post_time,item.re_num,item.content,item.last_author,item.last_time))
                self.log.info(u'标题为<<{}>>的项输入到 {} 成功'.format(item.title, filename))

    def getresponsecontent(self, url):
        try:
            page = urllib.request.urlopen(url)
            html = page.read().decode('utf-8')
        except:
            self.log.error(u'python 返回 URL:{} 数据失败'.format(url))
        else:
            self.log.info(u'python 返回 URL:{} 数据成功'.format(url))
            return html
         


if __name__ == '__main__':
    url = 'http://tieba.baidu.com/f?kw=%E6%9D%83%E5%88%A9%E7%9A%84%E6%B8%B8%E6%88%8F&ie=utf-8&pn=0'
    st = GetTieBaInfo(url)

新建一个mylog.py日志文件,代码如下:

import logging
import getpass
import sys


# 定义MyLog类
class MyLog(object):
    def __init__(self):
        self.user = getpass.getuser()  # 获取用户
        self.logger = logging.getLogger(self.user)
        self.logger.setLevel(logging.DEBUG)

        # 日志文件名
        self.logfile = sys.argv[0][0:-3] + '.log'  # 动态获取调用文件的名字
        self.formatter = logging.Formatter('%(asctime)-12s %(levelname)-8s %(message)-12s\r\n')

        # 日志显示到屏幕上并输出到日志文件内
        self.logHand = logging.FileHandler(self.logfile, encoding='utf-8')
        self.logHand.setFormatter(self.formatter)
        self.logHand.setLevel(logging.DEBUG)

        self.logHandSt = logging.StreamHandler()
        self.logHandSt.setFormatter(self.formatter)
        self.logHandSt.setLevel(logging.DEBUG)

        self.logger.addHandler(self.logHand)
        self.logger.addHandler(self.logHandSt)

    # 日志的5个级别对应以下的5个函数
    def debug(self, msg):
        self.logger.debug(msg)

    def info(self, msg):
        self.logger.info(msg)

    def warn(self, msg):
        self.logger.warn(msg)

    def error(self, msg):
        self.logger.error(msg)

    def critical(self, msg):
        self.logger.critical(msg)


if __name__ == '__main__':
    mylog = MyLog()
    mylog.debug(u"I'm debug 中文测试")
    mylog.info(u"I'm info 中文测试")
    mylog.warn(u"I'm warn 中文测试")
    mylog.error(u"I'm error 中文测试")
    mylog.critical(u"I'm critical 中文测试")

运行get_tieba_info.py:

pycharm截图

get_tieba_info.log日志文件生成截图:

百度贴吧_权利游戏.txt截图:

代码分析:

mylog.py模块,主要是为程序提供log功能

log功能很重要,在大量爬取的时候,没有log帮助定位,很难找到错误点

主程序:

get_tieba_info.py也很简单

Item类定义需要获取的数据

GetTieBaInfo类逻辑处理

geturls方法 获取所有需要爬取的url地址

spider方法 提取每个url地址的详细内容

pipelines方法 处理数据,爬取到的数据储存方式,这里使用的是文本txt,这可以存入mysql,redis,mongo等等

getresponsecontent方法 负责发送请求,拿到影响文件(html)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 实现cache缓存(Python)

    py3study
  • jenkins python 接口封装

                    self.server = Jenkins(self.url)

    py3study
  • 分享两个小程序

      小编也不知道大家能不能用的到,我只是把我学到的知识分享出来,有需要的可以看一下。python本身就是一个不断更新改进的语言,不存在抄袭,有需要就可以拿过来用...

    py3study
  • Python高级进阶#006 pyqt5类封装

    刘金玉编程
  • PyQt5 技巧篇-增加一个类级变量,类级变量的设置方法,类级"常量"设置方法

    如果想增加一个全局变量来用的话,请看这篇文章: Python全局变量引用设置方法

    小蓝枣
  • python pyqt5 QToolBar

    import sys from PyQt5.QtCore import * from PyQt5.QtGui import * from PyQt5.Qt...

    用户5760343
  • Python基于Tkinter编写crc校验工具

    本篇文章,完全是用来记录代码用的,目的是使用Python,基于Tkinter编写crc校验工具。

    砸漏
  • 简单的图片爬取,爬取豆瓣电影图片并保存到本地

    这是本人第一次写博客,如有失误请见谅。 这段时间,由于疫情原因,在家无聊,再加上这学期要学习爬虫这们课程。所以我开始了自学爬虫的“艰苦岁月”。 爬虫,看似...

    不温卜火
  • 第三天:创建型模式--建造者模式

    创建一个由多个部分构成的对象,而且它的构成需要一步接一步地完成,只有当各个部分都创建好后,这个对象才算创建完成。

    喵叔
  • PyQt 5信号与槽的几种高级玩法

    在Qt中,每一个QObject对象和PyQt中所有继承自QWidget的控件(这些都是QObject的子对象)都支持信号与槽机制。当信号发射时,连接的槽函数将会...

    博文视点Broadview

扫码关注云+社区

领取腾讯云代金券