第四次:初识爬虫框架Scrapy

一、前言

今天给大家分享的是,Python里的爬虫框架Scrapy学习,包含python虚拟环境的搭建、虚拟环境的使用、Scrapy安装方法详解、Scrapy基本使用、Scrapy项目目录及内容基本介绍,let's go!

二、Python爬虫框架Scrapy简介

三、看代码,边学边敲边记虚拟环境、Scrapy框架

1.新建一个虚拟环境

下面 操作之前你需要准备好:

(1) 你的版本是3.x,最好系统里只有一个python环境,后面所有学习笔记都基于的。

(2)环境里先安装模块,基本方法 。

(3)选择好虚拟环境的安装目录(我选的是H盘目录下的文件夹,建议你选的目录路径里最好不要有中文)。

安装完成后再自己选择的目录下会多出一个文件夹(虚拟环境),我这里为,后面所有爬虫学习过程中需要的模块、接口都将(安装)在里面。

2.打开虚拟环境,安装Scrapy框架

进入到目录(我的虚拟环境目录),按住+鼠标右键,打开或者(如果是就先输入),再输入,进入虚拟环境,你会发现在路径前面多了一个括号里面是你的虚拟环境名称,表示你进入了虚拟环境。具体看下面:

安装模块(下面操作都是在虚拟环境下):

方法一:直接pip安装(最简单,安装慢,可能出错)

方法二:轮子(wheel)安装(比较简单,安装速度还可以,基本不出错)

点击这里下载scrapy的文件,然后移动到你的虚拟环境目录下(比如我的就移动到),

方法三:豆瓣源安装(比较简单,安装速度快,方便,推荐)

3.快速进入虚拟环境方法

安装模块,用于管理我们所建的虚拟环境

安装完成后,打开 - > -> - > -> -> ,在中输入如下

workon环境变量新建过程

在上面设置完成后,我们在执行下面命令,即可简单快速进入虚拟环境:

4.创建一个基于Scrapy框架的项目

创建成功后文件目录结构:

目录功能基本介绍:

创建一个(伯乐在线)的爬虫项目文件:

执行完成后会在项目的目录下多出一个文件,文件内容如下:

四、后言

    今天讲的东西涵盖面还比较广,特别是虚拟环境管理这块,还有很多命令,很实用,后面会慢慢给大家提及,大家也可以自己百度、谷歌查一下,另外,模块今天也算正式开始,go on!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180818G1KHWS00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券