大数据入门：爬虫scrapy

爬虫估计大家都听过，什么是爬虫呢，大家多少都从网络上了解过，但是真正使用过的人估计不多。scrapy是一个爬虫的框架。python估计大家都知道，现在的人工智能、大数据大部分都依赖这个语言，scrapy也是python语言的框架。今天我就来介绍下scrapy的使用：

1.下载及安装

使用pip install scrapy命令会自动下载安装

2.创建项目

scrapy startproject simplespider

3.查看项目目录

4.spiders目录下创建爬虫脚本

5.items中添加字段

6.pipeline中写入文件

7.运行begin.py脚本执行

cmdline.execute('scrapy crawl simplespider'.split())

恭喜！！！最终得到你想要的数据啦

真正地运行起来还是很激动的，不过最后希望大家把技术运用在正途上~