CSDN博客文章阅读量统计

微技术爱好者

小小程序员的学习道路

前言

自己写爬虫算下来多少也有那么些了，但基本上都是爬的小数据完全不用考虑效率。但今天小J的朋友让我帮忙爬下全国XXX酒店信息。这不得去考虑爬虫效率，以及反反爬虫技巧。此时我脑海里第一想到了scrapy框架。今天小试scrapy，爬下自己的博客统计下文章的浏览量。

正文

0x01 scrapy安装

建立虚拟python3.6环境

安装scrapy

0x02 项目

建立scrapy项目

使用pycharm打开项目并创建csdn.py

创建begin.py

运行begin.py

感想

scrapy功能很强大，认识有限。所以目前留下很多问题。

post请求方式如何去爬取

需要登陆scrapy有什么处理方式

如何持久化

反反爬虫怎么实现

参考内容

Scrapy框架

Scrapy 1.5 documentation

Scrapy 0.24 中文文档

scrapy实现递归爬取

scrapy如何迭代爬去？