专栏首页若是烟花Hadoop Hive Hbase Kylin 环境搭建

Hadoop Hive Hbase Kylin 环境搭建

# 安装版本
| SoftWare      | Version       |
| ------------- |:-------------:|
| JDK           | 1.8           |
| Hadoop        | 2.7.3         |
| Hive          | 2.1.1         |
| Hbase         | 1.3.0         |
| MySQL         | 5.7.17        |
| Kylin         | 1.6.0         |

以上全部运行、大概至少需要2GB内存

一、搭建Hadoop环境

  1. 安装JDK(1.8)

    JAVA_HOME, JRE_HOME, 以及PATH

  2. 下载Hadoop(2.7.3)

    # hadoop-env.sh 配置 export JAVA_HOME=`absolute path` # core-site.xml 配置 <configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/tmp</value> </property> </configuration> # hdfs-site.xml 配置 <configuration> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

二、搭建Hive环境

  1. 安装mysql(5.7.17)
  2. 安装Hive(2.1.1)
    • hive需要创建一个叫“元数据库”的东西,需要一个数据库来支持,比如MySQL
    • 由于使用MySQL. 需要在hive的 lib文件夹中,添加 “mysql-connector-java-xxx.jar”

    # hive-env.sh 配置 HADOOP_HOME=/usr/hadoop-2.7.3 # 创建一个 hive-site.xml 文件 # 其实就是比 hive-default.xml 优先级高一些的子集 # 主要配置 MySQL 数据库连接 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.local</name> <value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration> # 可以~~~ cp hive-default.xml.template hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties

  3. 然后,需要初始化一下 hive的数据库表 schematool -dbType mysql -initSchema

三、搭建Hbase环境

  1. 安装Hbase(1.3.0)

    # 设置环境变量 hbase-env.sh export JAVA_HOME=/usr/jdk1.8.0_121/ # Extra Java CLASSPATH elements. Optional. export HBASE_CLASSPATH=/usr/hadoop-2.7.3/etc/hadoop # 是否使用自带Zookeeper export HBASE_MANAGES_ZK=true # 设置 hbase-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.tmp.dir</name> <value>/home/lpe234/hbase-tmp</value> </property> </configuration>

四、搭建Kylin环境

  1. 安装Kylin(1.6.0)

    # 配置大体无需修改 # 但是需要设置一下环境变量(PATH....) # /etc/profile (source /etc/profile) # 增加如下内容 export JAVA_HOME=/usr/jdk1.8.0_121/ export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export HADOOP_HOME=/usr/hadoop-2.7.3 export HIVE_HOME=/usr/hive-2.1.1 export HIVE_CONF=/usr/hive-2.1.1/conf/ export HCAT_HOME=/usr/hive-2.1.1/hcatalog/ export HBASE_HOME=/usr/hbase-1.3.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH export KYLIN_HOME=/usr/apache-kylin-1.6.0-hbase1.x-bin

五、启动

# MySQL 启动
service mysql restart
# Hadoop 启动
hadoop-2.7.3/sbin/stop-all.sh
hadoop-2.7.3/sbin/start-all.sh
# Hive 启动
# 无需启动 hive-2.1.1/bin/hive
# Hbase 启动
hbase-1.3.0/bin/stop-hbase.sh
hbase-1.3.0/bin/start-hbase.sh
# Kylin 启动
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh stop
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh start
# 然后就可以了~~~
Please visit http://<ip>:7070/kylin 
The username/password is ADMIN/KYLIN

参考资料

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • RabbitMQ 学习

    一个不错的入门教程: http://blog.csdn.net/linvo/article/details/5750987 写的挺好的,只是刚开始看可能不太懂...

    lpe234
  • python基础 -- 简单实现HTTP协议

    lpe234
  • Solr基本搭建及MySQL配置

    启动后访问 http://127.0.0.1:8983/, 理论上即可进入Solr管理界面。具体内容见Solr Admin UI

    lpe234
  • hadoop上搭建hive

    hadoop2.7.1+ubuntu 14.04 hive 2.0.1 集群环境 namenode节点:master (hive服务端) datanode 节点...

    王知无
  • 《Hive使用教程》--- 大数据系列

    1. Hive起源于Facebook,它使得针对Hadoop进行SQL查询成为可能,从而非程序员也可以方便地使用。Hive是基于Hadoop的一...

    用户3467126
  • 让Hive支持行级insert、update、delete

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/...

    用户1148526
  • Hadoop——Hive

    官方地址http://hive.apache.org/ 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管...

    羊羽shine
  • HiveServer2用户名和密码认证

    解压之后将libjpam.s复制到/usr/local/service/hadoop/lib/native中

    shangwen_
  • hive安装部署

    1、 准备环境 1, 软件准备 Java-- jdk-8u121-linux-x64.tar.gz Hadoop--hadoop-2.7.4.tar.gz (j...

    Spark学习技巧
  • Hive元数据服务MetaStore

    MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 Metastore 中。根据系统配置方式,统计信息和授权记录也可以...

    smartsi

扫码关注云+社区

领取腾讯云代金券