Python3网络爬虫教程简介

网络爬虫有什么用

网络爬虫是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。通俗来说就是用程序自动获取网页的信息。一个网页的信息我们用人力复制粘贴的方式也可以获取下来，但想大量获取同一类型网页信息时就不能靠人力了，这个时候就需要使用网络爬虫。

如何写网络爬虫

这是一个很复杂的问题，在后续教程里我们会学会如何用Python写出一个优秀的网络爬虫程序，下面我们先简单介绍一下教程包含的部分。一个网络爬虫主要分为三个部分：下载数据、解析数据、存储数据。教程也会按照这三个部分分别讲解网络爬虫，其中下载数据最为复杂，会重点进行介绍，包括urllib、网络请求、防反爬、异步加载、模拟登录、selenium和无头浏览器等。教程中使用的编程语言是Python3，对Python3不熟悉的读者建议去学习下廖雪峰老师的Python3教程,良心推荐。下面，让我们一起打开网络爬虫的大门吧。