专栏首页PPV课数据科学社区工具 | 大数据系列(5)——Hadoop集群MYSQL的安装

工具 | 大数据系列(5)——Hadoop集群MYSQL的安装

文|指尖流淌

前言

有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常安装了。

本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。

在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。

第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。

闲言少叙,进入本篇的内容。

技术准备

VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++

软件下载

我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下:

MySQL下载地址:http://www.mysql.com/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。

下载完成,上传至我们要安装的系统目录。

这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。

将我们下载的MySQL安装介质,上传至该目录下。

安装流程

1、首先解压当前压缩包,进入目录

cd /opt/mysql/
tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar

这样,我们就完成了这个安装包的解压。

2、创建MySql超级管理用户

这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。

groupadd mysql

添加用户组

useradd -g mysql mysql

添加用户

id mysql

查看用户信息。

3、安装mysql RPM安装包,详细的过程如下

rpm -ivh *.rpm

这里报了一个错误,错误明细如下:

之前装的时候应该不会出现这个错误,我查了一下,这个错误的原因是因为我现在装的OS版本为7.0,在CentOS7.0版本中已经嵌入了自带的数据系统mariadb。

以前的linux系统中大部分的数据库采用的都是Mysql,但是MYSQL这货自从被sun收购之后,sun公司叫嚣着要收费服务等措施,所以在以后的CentOS系统中就没有再集成它了,并且又搞出了一个新的数据库mariadb.所以这里我们安装mysql会有冲突,这里我们就需要先卸载这个。

卸载过程如下:

<1>列出所有的被安装的rpm package

 rpm -qa | grep mariadb

就是上面这货,我们需要先卸载它。

<2>卸载mariadb软件

rpm -e mariadb-libs-5.5.37-1.el7_0.x86_64

结果报错,丫的不让你卸载,报错如下:

这里我们忽视掉这个错误信息,采用强制卸载的这个软件

 rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

这里,可以看到我们已经强制卸载了这个软件,下面的步骤就是安装Mysql了。

安装过程要按照如下顺序(必须)进行:

  • mysql-community-common-5.7.9-1.el7.x86_64.rpm
  • mysql-community-libs-5.7.9-1.el7.x86_64.rpm –(依赖于common)
  • mysql-community-client-5.7.9-1.el7.x86_64.rpm –(依赖于libs)
  • mysql-community-server-5.7.9-1.el7.x86_64.rpm –(依赖于client、common)

按照以上顺序进行一个个的安装,脚本如下:

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

但是,安装的过程中有可能出现以下错误

这个错误的提示的是,这里的Server版本需要perl组件进行安装,所以这里我们需要先将这个组件安装上去

yum install perl

可以看到这里已经安装成功了。

下面,我们继续安装MYSQL的Server包。

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

安装完上面的rpm包之后,我们就需要配置相关权限,然后启动serve。 这里需要提示下:

mysql安装软件在/usr/share/mysql目录下

Mysql数据库创建在/var/lib/mysql目录下

我们进入到mysql这个目录中,更改一下权限:

cd /usr/share/mysql/
chown -R mysql:mysql .

下面,我们来启动这个Server,来查看一下。

这里需要提示一下,应该避免以root用户启动,要用我们新建的mysql用户进行启动。

service mysqld restart

这时候我们连接之后需要添加上权限。

在/ect/my.cnf 的最后面加上一行:skip-grant-tables 然后重启服务器就行了。

service mysqld restart

至此,我们完成了MySQL的安装过程。

结语

此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。

关联好文: 大数据系列(1)——Hadoop集群坏境搭建配置 大数据系列(2)——Hadoop集群坏境CentOS安装 大数据系列(3)——Hadoop集群完全分布式坏境搭建 大数据系列(4)——Hadoop集群VSFTP和SecureCRT安装配置

End.

来源:36大数据

本文分享自微信公众号 - PPV课数据科学社区(ppvke123)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-04-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【学习】使用hadoop进行大规模数据的全局排序

    1. Hellow hadoop~~! Hadoop(某人儿子的一只虚拟大象的名字)是一个复杂到极致,又简单到极致的东西。 说它复杂,是因为一个hadoop...

    小莹莹
  • IBM谢国忠:大数据淘金—从大数据发现商业机会

    主讲嘉宾:谢国忠 主持人:中关村大数据产业联盟 副秘书长 陈新河 承 办:中关村大数据产业联盟 嘉宾介绍: 谢国忠先生,目前为IBM大中华区全球企业咨询部副合伙...

    小莹莹
  • 陈凯:大数据解读《爸爸去哪儿》第二季

    这个时代学习能力是最重要的能力,而能够在周末的时间进行学习的人就更有竞争力。同时选择大数据这一方向来学习的人则是当今大数据时代最具有竞争力的人。 今天之所以选择...

    小莹莹
  • 从0学习MySQL系列(二)安装篇

    安装包 ---- https://dev.mysql.com/downloads/ 概述 ---- 本文讲解Windows, Ubuntu, ...

    赵腰静
  • MySQL 的几种进入方式

      对于码农一族来说,新入手电脑后,工具安装,环境搭建是为必备功课。环境搭不好工具装不全,后续的工作开展那就会有相当多的痛点,也会耗去相当多的时间和精力。近日,...

    用户1615728
  • CentOS7安装mysql提示“No package mysql-server available

    吾爱乐享
  • Linux 安装 jdk ( 两种方式 )

    1、下载 JDK,官网:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downlo...

    微风-- 轻许--
  • iOS-UITabBarController的基本使用

    1.初始化UITabBarController 2.设置UIWindow的rootViewController为UITabBarController 3.根...

    Lee坚武
  • 在docker中使用MySQL数据库

    我是一直想把所有的程序都跑在docker里面,这样一方面是为了便于管理,另外一方面也可以增强自己对docker的理解,所以今天我就想学习一下最重要的数据库部分

    bboysoul
  • 使用docker搭建wordpress网站

    使用docker的好处就是尽量减少了环境部署,可靠性强,容易维护,我使用docker搭建wordpress的主要目标有下面几个 首先我重新生成数据库容器可以保...

    bboysoul

扫码关注云+社区

领取腾讯云代金券