python分布式爬虫打造搜索引擎（一）

第一章 开发环境安装

该系列文章主要是参考慕课网的相关课程“聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎”。算是一部学习笔记了吧。在这边记录一下学习心得，顺便记录一下学习进度。

主要用到的相关技术以及工具等。

技术语言

框架

开发系统

数据库

IDE

工具

1.1 python安装

因为mac本身自带有python，但是版本是2.，所以应该都是需要升级到3.的。具体内容可以自行搜索。

1.2 virtualenv安装

安装完成之后，就可以使用virtualenv安装虚拟环境了

使用参数，这样，已经安装到系统Python环境中的所有第三方包都不会复制过来，我们就得到了一个不带任何第三方包的“干净”的Python运行环境。

激活虚拟环境

在venv环境下，用pip安装的包都被安装到venv这个环境下，系统Python环境不受任何影响。也就是说，venv环境是专门针对myproject这个应用创建的。

退出虚拟环境

1.3安装virtualenvwrapper

1.3.1 安装

1.3.2 配置

修改文件

设置virtualenvwrapper的项目路径

设置python解析器

这个文件应该在bin下面，如果找不到，可以尝试

1.3.3 运行

1.3.4 相关用法