专栏首页Python爬虫与数据挖掘一篇文章教会你利用Python网络爬虫实现妖怪信息的分类采集

一篇文章教会你利用Python网络爬虫实现妖怪信息的分类采集

【一、项目背景】

中国妖怪百集( c-china-(中国) baigui-百鬼) 现已更名为知妖。

知妖网是一个开放的在线“妖怪”资料库。致力于收集、整理、介绍、分享古人文献中的“妖怪” , 收录古文献中的“妖怪”资料,让更多的人能够完整,系统地了解中国“妖怪”文化。

今天来教大家如何使用Python来爬取知妖网的妖怪文章,分类保存,写入文档。

【二、项目目标】

创建一个文件夹, 分类保存所有妖怪文章。下载成功结果显示控制台。

【三、涉及的库和网站】

1、网址如下:

http://www.cbaigui.com/?paged={}

2、涉及的库:requestslxml、fake_useragent、time、os

3、软件:PyCharm

【四、项目分析】

1、如何多网页请求?

首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮,观察到网站的变化分别如下所示:

http://www.cbaigui.com/?paged=1

http://www.cbaigui.com/?paged=2

http://www.cbaigui.com/?paged=3

http://www.cbaigui.com/?paged=4

点击下一页时,每增加一页paged自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。

2. 反爬处理

1)获取正常的http请求头,并在requests请求时,设置这些常规的http请求头。

2)使用 fake_useragent ,产生随机的UserAgent进行访问。

【五、项目实施】

1、我们定义一个class类继承object,然后定义init方法继承self,再定义一个主函数main继承self。导入需要的库和网址,创建保存文件夹。

import requests, os
from lxml import etree
from fake_useragent import UserAgent
import time
class goblin(object):
    def __init__(self):
        os.mkdir("妖怪")  # 创建妖怪这个文件夹 记住只有第一次运行加上,如果多次运行请注释掉本行
    def main(self):
          pass
if __name__ == '__main__':
    Siper=goblin()
    Siper.main()

2、随机产生UserAgent,构造请求头。

    ua = UserAgent(verify_ssl=False)
    for i in range(1, 50):
        self.headers = {
            'User-Agent': ua.random,
            'Host': 'www.cbaigui.com',
            'Referer': 'http: // www.cbaigui.com /?paged={}'
        }

3、发送请求 ,获取响应。

   '''发送请求  获取响应'''
    def get_page(self, url):
        res = requests.get(url=url, headers=self.headers)
        html = res.content.decode("utf-8")
        return html

4、定义parse_page函数,获取二级页面地址,for遍历获取需要的字段。创建对应的妖怪文件夹。

    parse_html = etree.HTML(html)
    t = parse_html.xpath('//div[@class="post-inner post-hover"]/h2')
    for i in t:
        goblin_herf = i.xpath('./a/@href')[0].strip()  # 二级页面链接
        name = i.xpath('.//a/text()')[0].strip()  # 对应文件夹的名字
        os.mkdir("././妖怪/{}".format(name))  # 拼接文件夹
        print(name, goblin_herf)

5、对二级页面发生请求,xpath解析数据,获取文章内容。

      print(name, goblin_herf)
      html2 = self.get_page(goblin_herf)  # 第二个发生请求
      parse_html2 = etree.HTML(html2)
      r = parse_html2.xpath('//div[@class="entry"]/p/text()')

6、for遍历文章内容,文章异常处理,写入文档。

    for rte in r:
        # print(rte)w
        try:
            with open("./妖怪/{}/{}.txt".format(name, name), "a", encoding='utf-8') as f:
                f.write(rte)  # 把内容存储到对应名字的文件里
        except OSError:
            pass
        continue

7、调用方法,实现功能。

      url = self.url.format(page)
      print(url)
      html = self.get_page(url)
      self.parse_page(html)

8、time模块,设置时间延迟,(防止ip被封)。

    time.sleep(1) """时间延时"""

【六、效果展示】

1、点击运行,输入起始页,终止页。

2、将下载成功信息显示在控制台。

3、分类列表。

4、文章展示。

【七、总结】

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

2、本文章就python爬取知妖网,在应用中出现的难点和重点,以及如何防止反爬,做出了相对于的解决方案。

3、希望通过这个项目,能够帮助了解xpath,字符串是如何拼接,format函数如何运用。

4、本文基于Python网络爬虫,利用爬虫库,实现分类写入文档。实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。

本文分享自微信公众号 - Python爬虫与数据挖掘(crawler_python)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 世界上最有价值的不是石油,而是数据!

    "The world's most valuable resource is no longer oil,but data"

    Python进阶者
  • 读写锁的死锁问题该如何预测?滴滴高级专家工程师这样解决

    桔妹导读:死锁是多线程和分布式程序中常见的一种严重问题。死锁是毁灭性的,一旦发生,系统很难或者几乎不可能恢复;死锁是随机的,只有满足特定条件才会发生,而如果条件...

    Python进阶者
  • Python开发GUI实战:图片转换素描画工具!

    今天被这句话触动了,所以开篇分享给大家。鸡汤有毒,但有时大家却靠它激励自己继续前行!

    Python进阶者
  • Objective-C UIButton 自定义图片位置

    在项目中经常会遇到一个按钮上放一个图片 位置有可能会是在标题的上,下,左,右 如果一个按钮,可以单独设置titleEdgeInsets和imageEdgeIn...

    赵哥窟
  • 使用WKWebView替换UIWebView

    剑行者
  • iOS开发之UITableView联动实现城市选择器

    在 iOS开发之城市选择器一文中用两列的UIPickerView实现了城市选择器,今天用两个UITableView来实现一下,首先这种联动在很多地方用得上,而且...

    YungFan
  • 【基础详解】手磕实现 CNN卷积神经网络!

    链接:https://blog.csdn.net/Walk_OnTheRoad/article/details/108048101

    zenRRan
  • 实践-小效果 Ⅳ

    设置一个UIImageView为倒立的同等控件,设置这个UIImageView的layer的mask为一个渐变图层,效果就出来了。

    進无尽
  • 线性排序算法-堆排序 (2)

    在学数据结构的时候,链表、堆栈、树三种数据结构印象最深刻。当时理解有误区,堆栈被当成一种结构,可能因为堆栈有同样的特性——只关心堆顶或栈顶的元素。

    birdskyws
  • 深度神经网络在NLP的应用!

    深度学习正在给自然语言处理带来巨大的变革,例如机器翻译,情感分析,问答系统等落地实践。深度学习对NLP的影响主要有如下几点:

    Datawhale

扫码关注云+社区

领取腾讯云代金券