Hadoop、Flume、Kafka环境搭建

Hadoop

可下载CDH5版本的Hadoop

下载地址：https://archive.cloudera.com/cdh5/cdh/5/hadoop-latest.tar.gz

具体安装过程可参考官网的单节点的集群安装：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

Flume

下载Flume，这里用CDH5的Flume

下载地址：https://archive.cloudera.com/cdh5/cdh/5/flume-ng-latest.tar.gz

解压：tar -zxvf flume-ng-latest.tar.gz -C /opt/

进入到解压后Flume目录，这里是/opt/flume-ng-latest

进入到conf目录

cd /opt/flume-ng-latest/conf

复制一份配置模板文件

cp flume-env.sh.template flume-env.sh 修改配置文件flume-env.sh

vim flume-env.sh

添加 export JAVA_HOME=$JAVA_HOME 到flume-env.sh

将Flume配置到环境变量中

这里Flume的路径是在/opt/flume-ng-latest

打开bash环境变量

vim ~/.bash_profile

在最后一行加上如下的语句

export FLUME_HOME=/opt/flume-ng-latest
export PATH=$FLUME_HOME/bin:$PATH

使用source 或者 . 命令使环境变量生效

source ~/.bash_profile

至此，Flume环境配置完毕

使用如下的命令测试Flume是否安装成功，如成功显示Flume版本，则表示安装成功

flume-ng version

Kafka

具体安装步骤可参考Kafka官网的QuicktStart

http://kafka.apache.org/quickstart

Sqoop

下载Sqoop，这里用CDH5的Sqoop

下载地址：https://archive.cloudera.com/cdh5/cdh/5/sqoop-latest.tar.gz

解压Sqoop

tar -zxvf sqoop-latest.tar.gz -C /opt/

Sqoop 自身不提供MySQL的驱动，所以我们要想使用Sqoop连接MySQL还需要下载一个MySQL的连接器

下载地址：https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.12.tar.gz

我们只需要里面的mysql-connector-java-8.0.12.jar文件，所以只需要解压里面的这个jar就好,这里我们直接解压这个jar放到Sqoop的lib目录下

tar -zxvf mysql-connector-java-8.0.12.tar.gz ./mysql-connector-java-8.0.12/mysql-connector-java-8.0.12.jar  && mv ./mysql-connector-java-8.0.12/mysql-connector-java-8.0.12.jar   /opt/sqoop-latest/lib/

配置Sqoop到环境变量中

这里Sqoop是在/opt/sqoop-latest

打开bash环境变量文件

vim ~/.bash_profile

在最后一行加上如下的语句

export SQOOP_HOME=/opt/sqoop-latest
export PATH=$SQOOP_HOME/bin:$PATH

使用source 或者 . 命令使环境变量生效

source ~/.bash_profile

测试Sqoop是否配置成功

使用sqoop-version这个命令，如果成功显示Sqoop版本信息，表示成功