前端开发爬虫首选puppeteer

很多前端同学可能对于爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 python 、php 等。当然这是在 nodejs 前了，nodejs 的出现，使得 Javascript 也可以用来写爬虫了。但这是大数据时代，数据的需求是不分前端还是后端的，既然由于 nodejs 强大的异步特性，让我们可以轻松以异步高并发去爬取网站。

这里会有一个问题吗，那就是前端程序员如果要开发爬虫是使用python还是使用puppeteer呢？如果想快速开发爬虫，还是驱动浏览器的方式比较好，我推荐用puppeteer，纯js环境，上手快，puppeteer直接驱动无头浏览器速度并不算慢。但是现在目标网站爬虫策略多种多样，即使是使用最简单的方式也要学习反爬策略的应对。如果遇到验证码识别等需要深度学习的，可以用python写这部分，然后nodejs和python进程间通信。