快速上手——我用scrapy写爬虫(一)

写在前面

用python写爬虫的人很多,python的爬虫框架也很多,诸如pyspider 和 scrapy,笔者还是笔记倾向于scrapy,本文就用python写一个小爬虫demo。

本文适用于有一定python基础的,并且对爬虫有一定了解的开发者。

安装 Scrapy

检查环境,python的版本为3.6.2,pip为9.0.1

安装scrapy框架

如果报错:

安装完成

创建项目

目录结构

创建执行爬取的类ImoocSpider在scrapyDemo/spiders

开始爬取

如果出现,则缺少win32api库,选择相应的版本

下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/

大功告成

看到如下输出,就说明爬取成功啦

保存数据到mysql数据库 https://www.tech1024.cn/original/2959.html

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171227G0CEWN00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区