Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
目录
安装
测试
新建工程
创建spider文件(以豆瓣电影为例)
架构(绿线是数据流向)
运作流程(个人理解)
制作步骤
在item中指明爬取字段
编写spider/movie.py
数据存至数据库
其他
最后
安装
pip安装,可能会报错:
pip install Scrapy
anaconda安装,推荐:
conda install -c conda-forge scrapy
测试
scrapy
新建工程
scrapy startproject <工程名>
如
scrapy startproject douban
创建的目录结构
创建spider文件(以豆瓣电影为例)
scrapy genspider <项目名> <爬取域>
如
cd douban
scrapy genspider movie movie.douban.com
将在spiders文件夹下自动创建movie.py,并自动生成内容:
可以看出,要建立一个Spider, 你必须用scrapy.Spider类创建一个子类,并确定了三个强制的属性 和 一个方法。
架构(绿线是数据流向)
运作流程(个人理解)
制作步骤
在item中指明爬取字段
如“名称”、“评分”、“简介”
在item.py中修改为:
class DoubanItem(scrapy.Item):
name = scrapy.Field()
rating_num = scrapy.Field()
quote = scrapy.Field()
编写spider/movie.py
1、选择目标的xpath(也可以css等其他选择器)
2、提取出公共部分
3、由于豆瓣有反爬验证,因此需要加上header
def start_requests(self):
url = 'http://movie.douban.com/top250/'
yield scrapy.Request(url, headers=self.headers)
通过start_requests函数,对于运行后第一次访问请求,就加上了请求头。因此,start_urls其实也可以不加。
4、为了方便调试,新建spider/main.py,并写入
from scrapy.cmdline import execute
execute(["scrapy", "crawl", "movie", "-o", "item.json"])
5、测试一下效果
class MovieSpider(scrapy.Spider):
name = 'movie'
allowed_domains = ['movie.douban.com/top250']
start_urls = ['http://movie.douban.com/top250/']
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
def start_requests(self):
url = 'http://movie.douban.com/top250/'
yield scrapy.Request(url, headers=self.headers)
def parse(self, response):
for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'):
print(each.xpath('./div/div[2]/div[1]/a/span[1]').extract())
运行main.py
要提取中间的文字,则在xpath后面再添加“/text()”
6、类似地,完善parse()函数
from ..items import DoubanItem
def parse(self, response):
# 将得到的数据封装到一个DoubanItem对象,就是在items.py里的
item = DoubanItem()
for each in response.xpath('//*[@id="content"]/div/div[1]/ol/li'):
name = each.xpath('./div/div[2]/div[1]/a/span[1]/text()').extract_first()
rating_num = each.xpath('./div/div[2]/div[2]/div/span[2]/text()').extract_first()
quote = each.xpath('./div/div[2]/div[2]/p[2]/span/text()').extract_first()
item['name'] = name
item['rating_num'] = rating_num
item['quote'] = quote
yield item
7、运行main.py后,在spider/item.json里将看到爬取的数据,以Unicode字符形式。
8、还可以保存为其他形式,如csv、xml,只需将item.json改为item.csv等。
数据存至数据库
1、建库建表
mysql -uroot -p
Enter password:
create database scrapy;
use scrapy;
create table movie(id int auto_increment primary key, name varchar(255),rating varchar(10), quote varchar(255))default charset=utf8;
2、在setting.py中配置数据库连接
mysql_movie = {
'host': "127.0.0.1",
"port": 3306,
"user": "root",
"password": "pwd",
"db": "scrapy"
}
3、在setting.py中将以下内容取消注释
4、在pipelines.py中连接数据库存储数据
pip install pymysql
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
from .settings import mysql_movie
import pymysql
class DoubanPipeline:
def __init__(self):
self.host = mysql_movie["host"]
self.port = mysql_movie["port"]
self.user = mysql_movie["user"]
self.password = mysql_movie["password"]
self.db = mysql_movie["db"]
self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user, password=self.password, db=self.db, charset='utf8')
self.cursor = self.conn.cursor()
def process_item(self, item, spider):
sql ='''insert into movie(name, rating, quote)values('%s','%s','%s')''' % (item["name"], item["rating_num"], item["quote"])
try:
self.cursor.execute(sql)
self.conn.commit()
except:
self.conn.rollback()
return item
5、运行main.py后,查询数据库
select * from movie;
其他
为了做一个乖爬虫,且避免面向监狱编程,建议在setting.py至少开启以下两项:
最后
相信你跟我一样,过完本文,对scrapy已经有了一个大致的了解。