前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kylin2.5.2完全分布式安装部署

Kylin2.5.2完全分布式安装部署

作者头像
Java架构师必看
发布2021-08-12 10:06:07
5230
发布2021-08-12 10:06:07
举报
文章被收录于专栏:Java架构师必看

Kylin介绍:      关于Kylin的简介网上资料有很多,就不做过多的赘述了,这里给一个中文链接: http://kylin.apache.org/cn/ 搭建步骤:

1,安装Hadoop,Zookeeper,HBase,Hive       安装Hadoop这些组件的时候需要注意:选择的版本不能太低,根据Kylin官方推荐的版本来,      Hadoop: 2.7+      Hive: 0.13 - 1.2.1+      HBase: 1.1+      Spark (可选) 2.1.1+      Kafka (可选) 0.10.0+      JDK: 1.7+      OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

笔者这里选用的版本如下:      hadoop-2.7.2      hbase-1.2.11       zookeeper-3.4.6       jdk1.8.0_91       hive1.2.1       Kylin-2.5.2

2,Kylin下载与安装      下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。      笔者下载的是这个: https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.5.2/apache-kylin-2.5.2-bin-hbase1x.tar.gz      下载完成后,将tar包上传到linux中,进行解压:

代码语言:javascript
复制
tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz 

     然后对解压后的目录改名:

代码语言:javascript
复制
 mv apache-kylin-2.5.2-bin-hbase1x kylin2.5.2

     解压完成后可以看到查看目录的文件夹有哪些:

代码语言:javascript
复制
[root@mzz11 opt]# cd kylin2.5.2/
[root@mzz11 kylin2.5.2]# ls
bin  commit_SHA1  conf  ext  lib  logs  pid  sample_cube  spark  tomcat  tool

     进入conf下:

代码语言:javascript
复制
[root@mzz11 kylin2.5.2]# cd conf/
[root@mzz11 conf]# ls
kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

     打开 kylin.properties ,这里只展现部分的内容:

代码语言:javascript
复制
[root@mzz11 conf]# vi kylin.properties 
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar



# The below commented values will effect as default settings
# Uncomment and override them if necessary



#
#### METADATA | ENV ###
#
## The metadata store in hbase
#kylin.metadata.url=kylin_metadata@hbase
#
## metadata cache sync retry times
#kylin.metadata.sync-retries=3
#
## Working folder in HDFS, better be qualified absolute path, make sure user has the right permission to this directory
#kylin.env.hdfs-working-dir=/kylin
"kylin.properties" 363L, 13895C

     我们需要修改这些项:

代码语言:javascript
复制
##这里可以将mode设置为all,也可以为job,但是只能设置一个,待会将这个文件copy到其他节点,
##需要将这一项改为query,因为一个集群中只能有一个job!!!
## Kylin server mode, valid value [all, query, job]
kylin.server.mode=all


##这个选项为kylin集群的IP,host,根据自己的主机名写,端口就是7070
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=mzz11:7070,mzz12:7070,mzz13:7070

##在加入以下两个选项, 注意这两个jar包的位置在kylin目下的lib中,这里需要改成你自己的目录。
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar

     注意:这里只是做测试之用,若是在生产环境,可根据自己需要修改一下几个xml文件,已达到生产需要。

代码语言:javascript
复制
kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

3,其他配置      第二部完成后,Kylin的部署工作刚完成一半,因为Kylin的边缘配置还有一些。      首先就是Kylin的环境变量:

代码语言:javascript
复制
vi /etc/profile  

##同样,这里将目录改为自己的目录即可
export KYLIN_HOME=/opt/kylin2.5.2
export PATH=$PATH:$KYLIN_HOME/bin

##更改完成后,记得source一下:

source /etc/profile

     当然,其他的组件,HBase,Hadoop,Zookeeper,Hive也需要配置环境变量,方法和Kylin相同。

还有一点,就是笔者在启动的时候,老是报错:找不到主机。这是因为HBase的一个配置

代码语言:javascript
复制
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>mzz11,mzz12,mzz13</value>
</property>

     没错,就是这个配置项, 因为笔者用的是外置的zookeeper,一开始的时候配置项加上了post,一直报错找不到mzz11:2181这个主机,研究了下就把这个给改掉了,成功解决了问题!

4,启动验证:

     运行Kylin之前,最好先 检查下运行环境,Kylin提供了一个命令,在它的bin目录下有一个命令:

代码语言:javascript
复制
check-env.sh 

     启动之前,先进行检查, 若是没有问题了,在启动Kylin:

代码语言:javascript
复制
kylin.sh  start 

     可以在UI界面查看Kylin是否启动成功:

在这里插入图片描述
在这里插入图片描述

有问题,可以留言。

测试:待续。。。

// Kylin2.6.1安装的时候需要自己下载spark的二进制包,或者运行download-spark.sh, 不然会报错:

代码语言:javascript
复制
spark not found, set SPARK_HOME, or run bin/download-spark.sh

从这个版本开始Kylin不提供spark的二进制包。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
TDSQL MySQL 版
TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档