​Python爬虫--- 1.5 爬虫实践: 获取百度贴吧内容

原文链接:https://www.fkomm.cn/article/2018/7/22/21.html

经过前期大量的学习与准备,我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是:百度贴吧,一个非常适合新人练手的地方,那么让我们开始吧。 本次要爬的贴吧是<< 西部世界 >>,西部世界是我一直很喜欢的一部美剧,平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。

贴吧地址 : https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8

Python版本 : 3.6 浏览器版本: Chrome

目标分析:

由于是第一个实验性质爬虫,我们要做的不多,我们需要做的就是:

  1. 从网上爬下特定页码的网页。
  2. 对于爬下的页面内容进行简单的筛选分析。
  3. 找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接。
  4. 将结果保存到文本。

前期准备: 看到贴吧的url地址是不是觉得很乱?有那一大串认不得的字符?

其实这些都是中文字符, %E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C

在编码之后就是: 西部世界。

链接的末尾处:&ie=utf-8 表示该连接采用的是utf-8编码。

windows的默认编码是GBK,在处理这个连接的时候,需要我们在Python里手动设置一下,才能够成功使用。

Python3相对于Python2对于编码的支持有了很大的提升,默认全局采用utf-8编码,所以建议还在学Python2的小伙伴赶紧投入Python3的怀抱,真的省了老大的功夫了。

接着我们翻到贴吧的第二页:

url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50

注意到没有,连接的末尾处多了一个参数&pn=50, 这里我们很容易就能猜到,这个参数的与页码的联系:

  • &pn=0 : 首页
  • &pn=50: 第二页
  • &pn=100:第三页
  • &pn=50*n 第n页
  • 50 表示 每一页都有50篇帖子。

这下我们就能通过简单的url修改,达到翻页的效果了。

chrome开发人员工具的使用:

要写爬虫,我们一定要会使用开发工具,说起来这个工具是给前端开发人员用的,但是我们可以通过它快速定位我们要爬取的信息,并找到相对应的规律。

  • 按cmmand+option+I 打开chrome工具,(win可以看按F12或者手动在chrome工具栏里打开)
pic1.png
  • 使用模拟点击工具快速定位到一个单独帖子的位置。(左上角的鼠标箭头图标)
pic2.png

我们仔细的观察一下,发现每个帖子的内容都包裹在一个li标签内。

这样我们只要快速找出所有的符合规则的标签,在进一步分析里面的内容,最后筛选出数据就可以了。

内容分析

  • 我们先写出抓取页面内容的函数:

这是前面介绍过的爬取框架,以后我们会经常用到。

import requests 
from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数
def get_html(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        #这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用:
        # r.endcodding = r.apparent_endconding 
        r.encoding='utf-8'
        return r.text
    except:
        return " ERROR "
  • 接着我们摘取其中的详细信息:

我们来分一下每一个li标签内部的结构:一个大的li标签内包裹着很多个 div标签,而我们要的信息就在这一个个div标签之内:

# 标题&帖子链接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季,中英字,未❗️删❕减.?任性给" target="_blank" class="j_th_tit ">【高淸】西部世界1-2季,中英字,未❗️删❕减.?任性给</a>

#发帖人:
<span class="tb_icon_author no_icon_author" title="主题作者: 爱学习的萌新_" data-field="{&quot;user_id&quot;:829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="{&quot;user_id&quot;:829797296}" target="_blank" title="贴吧超级会员"></a></span>

#回复数量:

<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回复">822</span>
</div>

#发帖日期:
<span class="pull-right is_show_create_time" title="创建时间">7-20</span>

分析完之后,我们就能很容易的通过soup.find()方法得到我们想要的结果。

具体代码的实现:

'''
抓取百度贴吧---西部世界吧的基本内容
爬虫线路: requests - bs4
Python版本: 3.6
OS: mac os 12.13.6
'''

import requests
import time
from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数


def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        # 这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用:
        # r.endcodding = r.apparent_endconding
        r.encoding = 'utf-8'
        return r.text
    except:
        return " ERROR "


def get_content(url):
    '''
    分析贴吧的网页文件,整理信息,保存在列表变量中
    '''

    # 初始化一个列表来保存所有的帖子信息:
    comments = []
    # 首先,我们把需要爬取信息的网页下载到本地
    html = get_html(url)

    # 我们来做一锅汤
    soup = BeautifulSoup(html, 'lxml')

    # 按照之前的分析,我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。
    liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})

    # 通过循环找到每个帖子里的我们需要的信息:
    for li in liTags:
        # 初始化一个字典来存储文章信息
        comment = {}
        # 这里使用一个try except 防止爬虫找不到信息从而停止运行
        try:
            # 开始筛选信息,并保存到字典中
            comment['title'] = li.find(
                'a', attrs={'class': 'j_th_tit '}).text.strip()
            comment['link'] = "http://tieba.baidu.com/" + \
                li.find('a', attrs={'class': 'j_th_tit '})['href']
            comment['name'] = li.find(
                'span', attrs={'class': 'tb_icon_author '}).text.strip()
            comment['time'] = li.find(
                'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
            comment['replyNum'] = li.find(
                'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
            comments.append(comment)
        except:
            print('出了点小问题')

    return comments


def Out2File(dict):
    '''
    将爬取到的文件写入到本地
    保存到当前目录的 TTBT.txt文件中。

    '''
    with open('TTBT.txt', 'a+') as f:
        for comment in dict:
            f.write('标题: {} \t 链接:{} \t 发帖人:{} \t 发帖时间:{} \t 回复数量: {} \n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))

        print('当前页面爬取完成')


def main(base_url, deep):
    url_list = []
    # 将所有需要爬去的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    print('所有的网页已经下载到本地! 开始筛选信息。。。。')

    #循环写入所有的数据
    for url in url_list:
        content = get_content(url)
        Out2File(content)
    print('所有的信息都已经保存完毕!')


base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 设置需要爬取的页码数量
deep = 3

if __name__ == '__main__':
    main(base_url, deep)

代码里有详细的注释和思路,看不懂的话 多看几遍 下面是爬完的结果:

pic3.png

好了今天的小例子到这里就结束了。


相关文章和视频推荐

圆方圆学院汇集 Python + AI 名师,打造精品的 Python + AI 技术课程。 在各大平台都长期有优质免费公开课,欢迎报名收看。

公开课地址:https://ke.qq.com/course/362788?flowToken=1007319

加入python学习讨论群 78486745 ,获取资料,和广大群友一起学习。

原文链接:https://www.fkomm.cn/article/2018/7/22/21.html

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏知晓程序

教你为小程序起个好名字 | 小程序问答 #33

在上一期的问答中,知晓程序告诉了大家如何注册小程序,在完成注册之后,我们就要为新的小程序设定名称。

1020
来自专栏大数据杂谈

Python 爬虫实战:股票数据定向爬虫

3074
来自专栏SeanCheney的专栏

深入理解Python异步编程(上)

彻底理解异步编程是什么、为什么、怎么样。深入学习asyncio的基本原理和原型,了解生成器、协程在Python异步编程中是如何发展的。

6042
来自专栏大数据挖掘DT机器学习

使用Python编写网络爬虫抓取视频下载资源

Python因为其强大的字符串处理能力,以及urllib2,cookielib,re,threading这些模块的存在,用Python来写爬虫就简直易于反掌了。...

7026
来自专栏python学习指南

Python爬虫(九)_非结构化数据与结构化数据

爬虫的一个重要步骤就是页面解析与数据提取。更多内容请参考:Python学习指南 页面解析与数据提取 实际上爬虫一共就四个主要步骤: 定(要知道你准备在哪个...

2576
来自专栏Timhbw博客

iOS面试中被面试官问到的问题答案(一)

2016-03-1016:30:14 发表评论 1,091℃热度 1.请你谈谈static和宏定义的区别。什么时候用static什么时候用宏定义。 让你声...

6698
来自专栏Python中文社区

用Python实现微信接口(二)

專 欄 ❈爱撒谎的男孩,Python中文社区专栏作者 博客:https://chenjiabing666.github.io ❈ 群消息 增加了三个键值,如下...

1.2K8
来自专栏北京马哥教育

Python 爬虫实战:股票数据定向爬虫

功能简介 目标: 获取上交所和深交所所有股票的名称和交易信息。 输出: 保存到文件中。 技术路线: requests—bs4–re 语言:python3.5 ...

39811
来自专栏大数据

python3.6抓取100知乎用户头像详解(四)

因公众号编辑器对代码不友好 在手机上阅读体验不佳 建议前往文末我的知乎文章链接 目标:抓取知乎最高点赞者的关注者的头像,并下载于本地文件夹。 我们采用:requ...

3077
来自专栏小尘哥的专栏

小程序(1)-入坑

老板想要一个小程序的东西,作为实诚却又没干过小程序开发的程序猿,二话不说,撸起袖子,开整。

1565

扫码关注云+社区

领取腾讯云代金券