/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 2.下载 使用命令进行下载 wget http://mirrors.shu.edu.cn.../apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 或者先在本地下载,然后上传服务器 3.解压 tar -zxvf.../start-hbase.sh 2.启动 kylin 进入 kylin 的 bin 目录,执行 ..../kylin.sh start 即可启动kylin 3.访问kylin管理界面 启动kylin之后,浏览器访问:http://your_hostname:7070/kylin。...五、参考资料 1.官方安装向导 : Installation Guide( http://kylin.apache.org/cn/docs23/install/index.html ) 2.HDP下载地址
承接安装系列hadoop,hive hive 与 kylin的搭建 在原有hadoop+hbase+hive+spark基础上搭建 hive 配置环境变量添加如下:/etc/profile和 ~/...配置环境变量/etc/profile和 ~/.bash_profile export KYLIN_HOME=/itcast/kylin PATH=$PATH:$KYLIN_HOME/bin.../*.jar 配置/itcast/kylin/conf 编辑kylin.properties kylin.rest.servers=centos1:7070,centos2:7070,centos3...:7070 kylin.hbase.cluster.fs=hdfs://mycluster/apps/hbase/data kylin.route.hive.enabled=true kylin.route.hive.url...= /tmp/kylin_log1,/tmp/kylin_log2 kylin.monitor.query.log.parse.result.table = kylin_query_log 在/itcast
背景 : 近来公司要做报表,随简单研究一下Kylin。Kylin可谓是我泱泱中华在Apace史上耀眼的一笔。 作用: Kylin是强大的OLAP分析引擎,详见官网。...Kylin 1.6 CDH5.10 安装 Kylin有两种安装方式:单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的,解压即安装。...=/home/syphcdh/kylin/kylin-1.6.0-cdh5.7 export PATH=${PATH}:${KYLIN_HOME}/bin 2.Kylin. ...原因3点: 说白了就是kylin关于hbase的3个参数: kylin.query.scan.threshold kylin.query.mem.budget kylin.query.coprocessor.mem.gb...threshold ,而前端查询kylin是timeout 6.当用kylin做报表时,kylin报错 2017-06-26 14:51:52,523 ERROR [IPC Server handler
需要事先重新编译hadoop源码,使得native库支持snappy 编译hadoop源码,参考: http://blog.csdn.net/wzy0623/article/details/51263041 二、安装...hadoop集群 参考: http://blog.csdn.net/wzy0623/article/details/50681554 三、安装配置基于独立Zookeeper集群的Hbase...blog.csdn.net/wzy0623/article/details/51241641 http://blog.csdn.net/wzy0623/article/details/51276501 四、安装配置...conf:/home/grid/hive/lib/*:/home/grid/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar 六、把hive安装目录拷贝到...HADOOP_MAPRED_HOME hive_dependency 八、安装配置kylin # 在master上执行以下命令 cd /home/grid/ tar -zxvf apache-kylin
公司最近准备引入Kylin做数据分析,原来也听说过 但一直没有接触,现在正好可以验证下Kylin是否是传说中那么NB,今天我们先来看看如何安装部署Kylin。...由于Kylin本身只是一个Server,所以安装部署还是比较简单的,但是它的前提要求是Hadoop,Hive,Hbase必须已经安装而且能正常工作,在这里关于Hadoop生态的一些框架的安装部署就不再重复写了...,可以执行如下脚本启动: 这里需要注意一点,Kylin当前最新的版本只支持spark1.6.0的版本,原来我的机器中,安装了一个spark2.0的版本,导致 启动kylin失败,终端仅仅输出spark...成功登录之后,看到下面的页面,就代表安装部署成功了。...至此,安装kylin已经成功,后续研究下如何使用再做分享。
最近需要将Superset和kylin整合,在Superset中能看到Kylin的数据,自己记录下。 ...在用Docker启动Superset后,发现没有连接Kylin的插件,需要自己安装插件,但是进入容器直接安装则报用户没权限修改目录——默认用的不是root用户,需要我们自己定义镜像,Dockerfile...superset:0.28.1 #参考这里https://github.com/amancevice/docker-superset/pull/108 USER root #为了superset接入kylin...RUN pip install kylinpy USER superset 我们基于superset的镜像安装了kylin插件,如何启动自行看官网https://hub.docker.com
[root@compile src]# cd kylin/ # kylin版本切换 # 本文是基于HDP-3.1.4.0-315安装部署Kylin,HDP-3.1.4.0-315的Hadoop版本是...Kylin 本文基于HDP3.1大数据平台安装部署Kylin,大数据平台的安装部署参考博主的其他文章 2.2 安装部署 # 1.上传编译好的kylin安装包并解压 [admin@hdp01 apps...# 2.安装Spark的两个jar包 # HDP3.1中安装部署的Spark中缺少Kylin需要使用的两个jar包,这里下载开源版spark,获取这两个jar包 [admin@hdp01 apps]$...KYLIN_HOME is set to /opt/apps/kylin # 10.设置HDFS权限,admin是Linux的普通用户 [admin@hdp01 kylin]$ sudo usermod...到这里,Kylin2.6就安装部署成功了! 3.
1 mv /usr/local/service/apps/kylin-2.1.0/ /usr/local/service/kylin chown -R hadoop:hadoop ..../service/kylin/bin/kylin.sh start 执行成功如下: 4 访问kylin页面,需要建立隧道访问: 地址:localhost:7070/kylin 账号:ADMIN/...KYLIN 5 使用测试样例检测 5.1 Run ${KYLIN_HOME}/bin/sample.sh ; Restart kylin server to flush the caches; 5.2...Logon Kylin web with default user ADMIN/KYLIN, select project “learn_kylin” in the project dropdown...group by part_dt order by part_dt 6 HA配置 http://kylin.apache.org/docs23/install/kylin_cluster.html
此篇为大家带来的是Kylin的简单介绍及安装部署。...安装所需要的文件博主已经上传到百度云了,如有需要可自行下载 链接:https://pan.baidu.com/s/1ZAQ1Uns1H4Ph1NTXQU9ZiQ 提取码:nunu 1....安装部署Kylin(下面的所有步骤所有虚拟机均需操作) 1.将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux ? 2....// 结束Kylin [bigdata@hadoop002 kylin]$ bin/kylin.sh stop ?...6. web端查看 http://hadoop002:7070/kylin 用户名为:ADMIN,密码为:KYLIN(系统已填) ? ? 三. 安装时可能会遇见的坑 1.
创建虚拟机 这里使用了服务器proxmox虚拟化,Pc可以使用VMware来安装 系统安装 配置选项 磁盘和设置密码
在Redis官网上找了一下,没有找到怎么在Linux上安装Redis的步骤,所以参考了这个博客: http://blog.fens.me/linux-redis-install/ 步骤如下...: 1、sudo apt-get update (更新软件包) 2、sudo apt-get install redis-server (安装redis)...3、这样安装了redis之后,它会自动启动,输入ps -e |grep redis 之后可以看到下图所示: ?...通过命令行client端访问redis: 注:安装Redis服务器端的时候,就会自动安装了redis的client端。 ...上面那样的安装后,我们登录redis的client时不需要密码,但是我们可以修改redis配置文件来添加密码: 1、sudo gedit /etc/redis/redis.conf
安装 Apache Hbase 1.1.1 ---- 整体步骤: 下载hbase 1.1.1版本 上传到一台服务器,解压缩 修改hbase-env.sh 修改hbase-site.xml 修改regionservers...在hbase conf目录中创建core-site.xml和hdfs-site.xml软连接 配置HBase环境变量 分发安装包到其他节点 分发/etc/profile文件到其他节点 重新加载环境变量...hbase,就不需要这一步,安装了需要去走这一步) # 进入到 zkCli中 /export/servers/zookeeper-3.4.9/bin/zkCli.sh # 执行删除 rmr /hbase...启动 ---- 执行上述操作,执行list命令,如果能显示以下内容,表示安装成功。...kylin必须使用1.1以上的版本。
在Ubuntu Kylin下安装JDK1.8,参考的地址是:http://jingyan.baidu.com/article/647f0115bb26817f2048a871.html,除了参考它之外...,步骤如下: 注:我是将jdk放置在/opt/duan/目录下 以下1~6步骤都是普通用户下操作的 1、先下载JDK for linux,具体下载过程之类的就不说了。...-linux-64...tar.gz -C /opt/duan 3、将shell当前目录切换到/opt/duan下,修改jdk文件夹的名称: mv jdk1.8.0_05 jdk1.8...注意:上面的步骤所做的操作,虽然安装了JDK,但是只能由duan这个用户看到该jdk,好像其他用户看不到,即使是root用户好像也看不到jdk(可以通过这个方式查看: 在root用户下,shell中输入...下面,在root用户下安装JDK: 1、切换到root用户下。 2、执行gedit /etc/profile 之后将下图中的内容写入到该文件中: ?
Kylin介绍: 关于Kylin的简介网上资料有很多,就不做过多的赘述了,这里给一个中文链接: http://kylin.apache.org/cn/ 搭建步骤: 1,安装Hadoop,...Zookeeper,HBase,Hive 安装Hadoop这些组件的时候需要注意:选择的版本不能太低,根据Kylin官方推荐的版本来, Hadoop: 2.7+ Hive...1.2.1+ HBase: 1.1+ Spark (可选) 2.1.1+ Kafka (可选) 0.10.0+ JDK: 1.7+ OS: Linux...-2.5.2 2,Kylin下载与安装 下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。 ... 下载完成后,将tar包上传到linux中,进行解压: tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz 然后对解压后的目录改名:
Kylin构建Cube算法Kylin中Cube的思想是用空间换时间, 通过预先的计算,把索引及结果存储起来,以换取查询时候的高性能。...在Kylin v1.5以前,Kylin中的Cube只有一种算法:layered cubing,也称逐层算法,它是逐层由底向上,把所有组合算完的过程。...Kylin v1.5以后,推出Fast Cubing,也称快速数据立方算法,是一个新的Cube算法。...三、算法选择用户无需担心使用什么算法构建cube,Kylin会自动选择合适的算法。...在对上百个Cube任务的时间做统计分析后,Kylin选择了7做为默认的算法选择阀值(参数kylin.cube.algorithm.auto.threshold):如果各个Mapper的小Cube的行数之和
文章目录 Apache Kylin™ 概览 Kylin 是什么?...Kylin 生态圈 Apache Kylin™ 概览 Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据...Kylin 是什么?...引擎),Kylin 为 Hadoop 提供标准 SQL 支持大部分查询功能 交互式查询能力: 通过 Kylin,用户可以与 Hadoop 数据进行亚秒级交互,在同样的数据集上提供比 Hive 更好的性能...Kylin 生态圈 Kylin 核心: Kylin 基础框架,包括元数据(Metadata)引擎,查询引擎,Job引擎及存储引擎等,同时包括REST服务器以响应客户端请求 扩展: 支持额外功能和特性的插件
此篇为大家带来的是Kylin的快速入门。 一. 数据准备 在Hive中创建数据,分别创建部门和员工外部表,并向表中导入数据。 1. 用到的元素数据 2....Hive和Kylin性能对比 需求:根据部门名称[dname]统计员工薪资总数[sum(sal)] 1....Kylin查询 1.进入Insight页面 2.在New Query中输入查询语句并Submit select dept.dname,sum(emp.sal) from emp join dept
4:已经过时的Cube构建的日志和任务历史 kylin 本身提供了如何清理垃圾数据的操作,在这里要注意一点就是元数据的清理要做好备份准备,同时kylin也提供了元数据备份的操作。...一 :kylin 元数据的清理 元数据主要包括无用的字典,表的快照等无用信息,可以通过下面的命令来查看和清理无用的元数据 1):检查元数据(这个命令只是一个查询,不会对kylin做其它操作,是安全的).../metadata.sh restore $KYLIN_HOME/metadatabackup/metadata_xx_xx_xx 二 :清理存储器数据 kylin在构建Cube过程中会在HDFS上生成中间数据...1):列出kylin 存储在hdfs上面的所有中间数据,也可以认为是可删除数据 ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob...(我这里已经执行删除过了,所以是空的) 2 ):执行删除操作 ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob
本篇文章就概念、工作机制、数据备份、优势与不足4个方面详细介绍了Apache Kylin。 Apache Kylin 简介 1. Apache kylin 是一个开源的海量数据分布式预处理引擎。...Apache Kylin 工作机制 1....如果你查看过 Kylin 的配置文件(kylin.properties),你会发现这样一行: ## The metadata store in hbase kylin.metadata.url=kylin_metadata...在这种情况下,假设你在部署 Kylin 的 hadoop 命令行(或沙盒)里,你可以到 KYLIN_HOME 并运行: ....其实现在能做到的只有 Kylin,在这一点上也没有什么太多其他的选择。 3. 从易用性上来讲,Kylin 也有非常多的特点。
Apache Kylin 介绍 一、什么是 Kylin Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。...as KYLIN_SALES_LEAF_CATEG_ID ,KYLIN_SALES.LSTG_SITE_ID as KYLIN_SALES_LSTG_SITE_ID ,KYLIN_SALES.SLR_SEGMENT_CD...as KYLIN_SALES_SLR_SEGMENT_CD ,KYLIN_SALES.OPS_USER_ID as KYLIN_SALES_OPS_USER_ID ,KYLIN_CAL_DT.CAL_DT...as KYLIN_CAL_DT_CAL_DT ,KYLIN_SALES.ITEM_COUNT as KYLIN_SALES_ITEM_COUNT ,KYLIN_SALES.PRICE...as KYLIN_SALES_PRICE FROM DEFAULT.KYLIN_SALES as KYLIN_SALES INNER JOIN DEFAULT.KYLIN_CAL_DT as KYLIN_CAL_DT
领取专属 10元无门槛券
手把手带您无忧上云