爬虫课程（一）｜课程介绍和安排

一

人工智能时代的来临，随着互联网数据越来越开放，越来越丰富。基于大数据来做的事也越来越多。数据分析服务、互联网金融、数据建模、医疗病例分析、自然语言处理、信息聚类，这些都是大数据的应用场景，而大数据的来源都是利用网络爬虫来实现。

爬虫采集大数据的应用场景

二

Google、百度，以及新起之秀今日头条的数据也是利用爬虫采集而来，甚至可以说目前的互联网资讯企业爬虫工程师的地位越来越高。随着大数据的来临，数据爬取的需求越来越大，应用也越来越广泛，爬虫工程师的薪资也变得越来越高。同时因为python在网络爬虫方面的优势，python语言的使用热度也越来越高。

编程语言流行指数

三

经过我和我公司HR近几个月的招聘情况来看，现在互联网企业市场上爬虫应用虽然是越来越广泛，但相应的人才却非常少。上次我在爬虫｜利用Python Scrapy进行爬虫开发指南清单文章中约定我要编写一套python爬虫课程，也是基于爬虫开发这块的人才太少的前提下的决心。

我的计划是前期先以文字稿的形式在简书上编写，后期看喜欢的人数情况再录制课程视频，视频上会边敲代码边讲解。

四

大致的课程安排如下。

第一讲：爬虫环境配置和基础知识介绍，这一讲涉及到的主要知识点如下。

1）PyCharm的安装和使用

2）基本的正则表达式编写

3）爬取整个网站时的深度优先和广度优先遍历算法的讲解

第二讲：利用python scrapy框架爬取三个知名网站（知乎、微博、豆瓣）的数据案例讲解，知识点如下。

1）学会使用path和css选择器提取网站html中我们需要的元素

2）在讲解这三个案例的过程中会讲解到scrapy框架中spider、item、item loader、pipeline、CrawlSpider的使用

第三讲：如何突破各大网站的反爬技术。

1）随机更换user-agent

2）设置ip代理池

3）突破图片验证码，文字验证码

4）将selenium和phantoms集成到scrape中获取动态网页的数据

5）自动化模拟输入点击操作（比如模拟人工输入用户名、密码，点击登录等一系列操作）

第四讲：scrape 进阶开发，刨根问底（核心组建源码分析）

1）基于scrapy源码分析，深入理解scrapy的执行原理

2）middleware详解，基于中间件开发

3）信号（Signals）详解

4）email发送

第五讲：scrape高级开发（看时间情况确定讲的细度）

1）如何搭建一套scrape 分布式爬虫系统

2）如何搭建一套适合企业需要的爬虫web系统（服务器管理、任务管理、异常监控和管理），这块我在会结合我们企业的真实案例来讲解，架构｜如何设计一款类“即刻”信息订阅推送的爬虫架构。

第六讲：课程总结和源码共享

1）课程总结和回顾

2）部分有价值的源码开放，微信公众号文章、微博、知乎、今日头条、简书、豆瓣等

人生苦短，我用python。

你的点赞是我坚持的源泉，谢谢。