爬虫框架Scrapy安装

大家好，又见面了，我是你们的朋友全栈君。

免责声明：本文所记录的技术手段及实现过程，仅作为爬虫技术学习使用，不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任。

Scrapy爬虫框架用Python编写的功能强大，应用范围最广，最流行的爬虫框架，框架提供了大量的爬虫相关的组件，能够方便快捷的完成各网站的爬取。

01

Scrapy安装

打开scrapy官方网站【scrapy.org】，目前最新版本为2.5：

爬虫框架Scrapy安装

按照官方提供的脚本，在命令行执行安装：pip install scrapy

爬虫框架Scrapy安装

之后会自动下载依赖的包，并完成安装：

爬虫框架Scrapy安装

02

创建scrapy工程

打开windows命令行，跳转到需要爬虫工程的目录，运行scrapy创建工程脚本：

scrapy startproject test001

爬虫框架Scrapy安装

Scrapy框架自动生成test001工程代码，通过Pycharm打开：

爬虫框架Scrapy安装

03

创建scrapy爬虫

进入工程的根目录，cd test001

运行生成爬虫的命令：scrapy genspider baidu_spider baidu.com

爬虫框架Scrapy安装

爬虫生成成功

爬虫框架Scrapy安装

04

运行scrapy爬虫

进入工程的根目录，cd test001

运行生成爬虫的命令：scrapy crawl baidu_spider

爬虫框架Scrapy安装

爬虫运行成功，由于没有编写爬虫代码，所以没有任何结果。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/192163.html原文链接：https://javaforall.cn