2018.2最新-Scrapy+elasticSearch+Django打造搜索引擎直至部署上线(二)开发环境搭建

最终项目上线演示地址: http://search.mtianyan.cn

  • 第二节:开始做项目搭环境之前,点上面链接看看我们能做一个什么。 这节我们开始搭建环境。 Github地址: https://github.com/mtianyan/ArticleSpider (欢迎先点star后上车)

开发环境搭建

  1. IDE: pycharm
  2. 数据库: mysql, redis, elasticsearch
  3. 开发环境 virtualenv

这次的数据库只介绍mysql,后面两个会放到要用到的章节。

Pycharm的安装和使用

Pycharm在windows和linux下的安装:

  1. Pycharm的安装(linux 和windows)

一定要下载专业版,社区免费版有很多功能缺失

windows下pycharm安装。

PyCharm 2017.3.2

pycharm官方下载链接:https://www.jetbrains.com/pycharm/download/#section=windows

我们要选择专业版(Professional)因为只有专业版才能够新建django项目,免费社区版不能。

为Pycharm添加解释器:

setting - Project Interpreter

一直定位到 python.exe 点击确认。

设置keymap: 设置快捷键。

Linux下pycharm使用。

同样下载专业版。 Linux下的版本实际是一个绿色版本。

cd pycharm
cd bin/
./pycharm.sh

设置通过命令直接启动。

vim ~/.bashrc

alias pycharm="bash /home//pycharm.sh"

source ~./bashrc

mysql和Navicat的安装和使用

Mysql

百度"mysql for windows" 直接在百度软件中心下载即可

如果你的电脑跟我电脑一样空,推荐遵循我的:

  1. 点击接受协议
  2. 选择Custom选项。(如果默认选项,会发生必要条件缺失:如我电脑没有VS和py3.4)
  • 下图页面点击next会显示我们不满足的条件,back后点击绿色箭头移除。
  • 所有条件都达成,点击Execute,等待安装完成。

均为绿色代表安装完成。

  • 一直默认选择直到下图页面。设置密码,添加用户(可选)

注意:记住自己设置的mysql密码

之后全部默认下一步。直到安装完成Finish

这时Navicat已经可以正常连接了。如果想让mysql命令在cmd下可使用。

C:\Program Files\MySQL\MySQL Server 5.7\bin (自行替换为自己的mysql.exe地址)加入环境变量中。

mark

通过mysql -uroot -p命令可以进行登入mysql控制台。

mark

sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

修改bind adress: 0.0.0.0

sudo service mysql restart

授予所有权限其实可以细化,on*.*是一个正则表达式,表示所有的表赋权限。root代表通过root用户连接过来。 % 代表所有外部的ip :当然也可以指明某一个ip.所有ip上只要是通过root 用户 Identity by密码都可以访问我的所有表

grant all privileges on *.* to 'root'@'%' identified by 'ty158917' with grant option;

flush privileges;

Linux 安装 mysql

sudo apt-get install mysql-server
ps aux|grep mysql

mysql-uroot -p

show databases;

通过set py3获取py3安装路径。

Navicat

安装指南:下一步下一步。

下载地址:http://www.navicat.com.cn/download/navicat-for-mysql

我的安装目录: C:\software\Navicat Premium 12

virtualenv和virtualenvwrapper安装和配置

virtualenv介绍

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

virtualenv优点:

mark

它是将全局Python解释器进行私有化复制。 如果不使用虚拟环境,默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录),不同项目使用起来会产生问题

安装virtualenv

进入cmd,(确保自己的pip已经可用)

pip install virtualenv
virtualenv testvir
# 在当前用户目录(win+r %HOMEPATH%可查看)生成
cd %homepath%
cd testvir
cd Scripts
activate.bat #激活
pip list 
deactivate.bat

mark

默认使用virtualenv testvir该命令,会将虚拟环境创建在我们当前用户目录。

注意:我的目录在桌面是我的cmder设置的、还请自行cd %homepath%前往自己的目录

这样直接使用步骤有写过于繁琐。所以我们使用virtualenvwrapper

virtualenvwrapper安装

pip install virtualenvwrapper-win
pip install virtualenvwrapper(Linux)
  • 创建虚拟环境
mkvirtualenv DjangoTest

会创建在C:\Users\mtian\Envs当前用户目录下的Envs目录。

修改mkvirtualenv创建的目录:新增环境变量WORKON_HOME

  • 退出激活状态
deactivate
  • 知道有哪些虚拟环境
workon

Linux下安装:

sudo apt-get install python-virtualenv

virtualenv venv --python=python3.5
virtualenv venv --python=python2.7

安装pip

sudo python get-pip.py

pip install virtualenvwrapper

sudo find / -name virtualenvwrapper.sh
mkvirtualenv articlespider --python=python3.5

rm -rf py3scrapy : 删除目录 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏零基础使用Django2.0.1打造在线教育网站

零基础使用Django2.0.1打造在线教育网站(二):开发环境配置

努力与运动兼备~有任何问题可以加我好友或者关注微信公众号,欢迎交流,我们一起进步!

6005
来自专栏令仔很忙

手把手教你搭建和配置Jenkins环境

  搭建Jenkins,首先得安装Jenkins,安装的问题就不说了,一般第一次安装完成后,服务会直接在浏览器中运行,网址:http://localhost:...

4001
来自专栏雪胖纸的玩蛇日常

django2+uwsgi+nginx上线部署到服务器Ubuntu16.04(最新最详细版)

3406
来自专栏程序员叨叨叨

听说你使用Android Studio遇到了一些小困惑

这个问题通常出现在Android Studio更新失败的时候,原因是download http://services.gradle.org/distributi...

1014
来自专栏文渊之博

SQLServer 延迟事务持久性

SQL Server 2014新功能 -- 延迟事务持久性(Delayed Transaction Durability) SQL Server事务提交默认...

2468
来自专栏乐沙弥的世界

Linux 文件目录特殊权限设定(SUID,SGID,SBIT)

Linux文件及目录的权限设定,除了我们孰知的读写执行(rwx)之外,还有一些特殊的权限设定用来满足特定的目录。这些特殊权限的设定主要是SUID,SGID以及S...

1202
来自专栏openshift持续集成

配置jenkins邮件通知(openshift)

进入“系统管理”>>>“插件管理”安装邮件通知插件Email Ext Recipients Column Plugin,Email Extension Plug...

52713
来自专栏liulun

用Nim语言开发windows GUI图形界面程序

前言 本文得到了“樂師”的大力支持, 我们一起调试程序到深夜,要是没有他的帮忙, 我不知道要多久才能迈过这道坎, 另外“归心”还有其他人也提供了帮助, 他们都来...

3505
来自专栏菩提树下的杨过

vmware安装cent os 6.5 + oracle 11g xe + jboss eap 6.2 + weblogic 12c+ webshpere mq 7.5

mac系统发展速度确实很快,短短数年,mac os上已经能网银支付(中行、招行、工商、支付宝等均已全面支持mac os了),windows上的经典常用软件:qq...

1312
来自专栏xingoo, 一个梦想做发明家的程序员

Beats数据采集---Packetbeat\Filebeat\Topbeat\WinlogBeat使用指南

Beats是elastic公司的一款轻量级数据采集产品,它包含了几个子产品: packetbeat(用于监控网络流量)、 filebeat(用于监听日志数...

55510

扫码关注云+社区

领取腾讯云代金券