CSDN博客文章阅读量统计

微技术爱好者

小小程序员的学习道路

前言

自己写爬虫算下来多少也有那么些了,但基本上都是爬的小数据完全不用考虑效率。但今天小J的朋友让我帮忙爬下全国XXX酒店信息。这不得去考虑爬虫效率,以及反反爬虫技巧。此时我脑海里第一想到了scrapy框架。今天小试scrapy,爬下自己的博客统计下文章的浏览量。

正文

0x01 scrapy安装

建立虚拟python3.6环境

安装scrapy

0x02 项目

建立scrapy项目

使用pycharm打开项目并创建csdn.py

创建begin.py

运行begin.py

感想

scrapy功能很强大,认识有限。所以目前留下很多问题。

post请求方式如何去爬取

需要登陆scrapy有什么处理方式

如何持久化

反反爬虫怎么实现

参考内容

Scrapy框架

Scrapy 1.5 documentation

Scrapy 0.24 中文文档

scrapy实现递归爬取

scrapy如何迭代爬去?

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180804G0AWWY00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券