现在越来越多的企业级应用需要运行在国产化环境中,本文介绍下我们产品使用的中间件在国产操作系统银河麒麟的安装(不一定是最优方式,但能用)。
由于工作需要,前段时间对kylin简单入了个门,现在来写写笔记(我的文字或许能帮助到你入门kylin,至少看完这篇应该能知道kylin是干什么的)。
首先要说的是,在国产系统上使用WPS比起Windows上使用Office的体验实在是差了很多,更不用说使用编写JS宏了!
reposync 命令用于将远程的yum存储库同步到本地目录,并使用yum来检索软件包,可以指定外网源(repo id)的软件包同步到本地文件中。
内核模块导出了一个名为/dev/kvm的设备,该设备将虚拟机的的地址空间独立于内核或者任何应用程序的地址空间
ansible是常用的运维工具,可大幅度简化整个部署过程,接下来会使用ansible来完成部署工作,如果您对ansible还不够了解,请参考《ansible2.4安装和体验》,部署操作如下图所示,在一台安装了ansible的电脑上运行脚本,由ansible远程连接到一台CentOS7.7的服务器上,完成部署工作:
Kylin介绍: 关于Kylin的简介网上资料有很多,就不做过多的赘述了,这里给一个中文链接: http://kylin.apache.org/cn/ 搭建步骤:
从ftp,http,nfs启动,如ftp://192.168.10.7/dvd;nfs:192.168.10.7:/dvd
之前一直在CentOS系统进行Hadoop开发,SSH免密登录配置过N次,今天在Ubuntu平台下设置免密登录遇到了坑:
前面的文章介绍了Apache Kylin的安装及数据仓库里面的星型和雪花模型的概念,这篇文章我们来看下,如何构建一个kylin的cube进行查询。这里不得不吐槽一下Kylin的资料,少之又少出现问题网上基本找不到解决方案,所以想要学习kylin,建议大家买一本书系统的学习一下,这里推荐一本入门的书《基于Apache kylin构建大数据分析平台》,介绍的还可以。 下面来看下如何构建一个cube: 首先,我们要明白kylin的数据源主要来自Hive里面的各种表,如果想要进行测试,那么首先我们要在hive中有自
1)将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux 2)解压apache-kylin-2.5.1-bin-hbase1x.tar.gz到/opt/module
Apache Kylin是一个开源的大数据分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力(可以把Kylin定义为OLAP on Hadoop)。Apache Kylin于2015年11月正式毕业成为Apache基金会(ASF) 顶级项目,是第一个由中国团队完整贡献到Apache的顶级项目。
很多朋友对大数据行业心向往之,却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书?今天给大家推荐一位知乎网友挖矿老司机的指导贴,作为参考。
这两天排查一个小问题,需要在服务器上使用tcpdump24小时不间断抓包,这里简单记录下。
写在前面: 博主是一名软件工程系大数据应用开发专业大二的学生,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限,博客中难免会有一些错误,有纰漏之处恳请各位大佬不吝赐教!个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬,但我还是希望自己能够做得更好,因为一
Ubuntu/UbuntuKylin平台下源码编译Ambari 2.4 1、Ubuntu环境配置 1.1 网络配置 kylin@Ubuntu:~$ sudo vim /etc/network/interfaces \# interfaces(5) file used by ifup(8) and ifdown(8) auto ens32 iface ens32 inet static address 192.168.1.166 gateway 192.168.1.1 netmask 255.255.255.
数据流程简单,数据处理流程简单,数据包括日志、DB log等,经Sqoop批量或Kafka实时接入大数据平台HDFS里,在大数据平台进行ETL后,通过大数据调度系统Ooize,每天定时写入到关系型数据库MySQL,再以MySQL中数据为基础产出各种报表。
“带你走进Apache Kylin的世界”
那就是/etc/issue文件,issue文件是登录前的信息和标识文件,里面存放了发行版的版本信息
前言 我们在上一篇 Kylin 的入门级介绍(👉第一个“国产“Apache顶级项目——Kylin,了解一下!)中,就已经谈到了有很多可以与 Kylin 结合使用的可视化工具,例如 ODBC:与Tableau、Excel、Power BI等工具集成。 JDBC:与Saiku、BIRT等Java工具集成 REST API:与JavaScript、Web网页集成。 Kylin开发团队还贡献了 Zepplin 的插件,也可以使用Zepplin来访问Kylin服务 本期
开源软件的重要性就不用多说了,它是IT工业的基础。它和我们每个人、每天的学习、工作、生活都息息相关,我们使用的互联网、物联网、车联网都广泛的依赖于它们。
构建过程是一个MapReduce任务,比较耗时,构建之前确保MapReduce History Server是启动的,否则会报错
可以与Kylin结合使用的可视化工具很多,例如: ODBC:与Tableau、Excel、PowerBI等工具集成 JDBC:与Saiku、BIRT等Java工具集成 RestAPI:与JavaScript、Web网页集成 Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。
安装好Ubuntu Kylin14.04 64位后好像没有中文输入法,怎么切换(Ctrl+Shift或者空格),但是就是输入的都是英文。
本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。
大家好,我是一哥,今天聊一聊OLAP技术,一哥认为好的OLAP引擎应该具备以下三个条件:易开发、易维护、易移植。今天给大家分享一下常见的几种OLAP计算引擎,他们的特性、适用场景,优缺点等,希望对大家在选型应用上有帮助。
爱奇艺发展的大体时间线,2015 年前以离线分析为主,技术上是经典的 Hive + MySQL 方案,但缺点是报表查询比较慢,而且数据时效性差;2016 - 2018 年致力于将查询耗时提升至交互式级别,分为两大类:Kylin 针对固定报表,在维度比较有限的情况下,通过一个预处理,TB 级别数据延时能在秒级,而 Impala 则针对 Ad-hoc 类场景,可以查询任意明细数据;2018 年以后从离线往实时去发力,其中 Kudu 支持实时插入和更新,Druid 支持事件流场景。
欢迎来到本篇博客!在今天的数字化时代,计算机虚拟化技术已经成为我们日常生活和工作中枢的一部分。虚拟机允许我们在单一的物理计算机上运行多个独立的操作系统实例,这对于软件开发、测试、教育以及研究等领域都是非常有用的。
目前Kylin已经可以与superset进行集成,详细的说明可参考kylin官方文档: [ superset ]。
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
一. Zepplin安装与启动 1. 将zeppelin-0.8.0-bin-all.tgz上传至Linux 2. 解压zeppelin-0.8.0-bin-all.tgz之/opt/modu
最近因为毕设重新回归Ubuntu,手头有一台装了Win10的ThinkPad X240s,最终成功完成了Windows 10 教育版和Ubuntu Kylin 15.10 的双系统配置,下文(多图慎入)是我完成整个过程的手记。 安装方式 Ubuntu是很多Linux初学者最理想的选择,如果你恰好对Windows系列审美疲劳或者累觉不爱,那就要听好,有三种方法助你走进Ubuntu新世界。 虚拟机安装 原料:Ubuntu Kylin的ISO、VMware或VirtualBox 优点:一条龙服务,安全简单 缺
今天随着移动互联网、物联网、大数据、AI等技术的快速发展,数据已成为所有这些技术背后最重要,也是最具价值的“资产”,同时数据也是每一个商业决策的基石,越来越多的企业选择数字化转型,但数据驱动增长然充满挑战,企业数据孤岛严重、数据一致性难以保证、数据资产沉淀数据分散难以共用、数据分析项目上线经历数月,报表查询响应慢难以应对瞬息万变的市场环境,成本问题在数据量呈指数增长的前提下难以控制,因此在大数据的背景下,如何从海量的超大规模数据中快速获取有价值的信息,已经成为新时代的挑战。
本文已收录于Github仓库:《大数据成神之路》 地址:https://github.com/wangzhiwubigdata/God-Of-BigData
PXE(Pre-boot Execution Environment,预启动执行环境)是由Intel公司开发的网络启动技术,工作于Client/Server的网络模式,支持工作站通过网络从远端服务器下载映像,并由此支持通过网络启动操作系统,在启动过程中,终端要求服务器分配IP地址,再用TFTP(trivialfile transfer protocol)或MTFTP(multicasttrivial file transfer protocol)协议下载一个启动软件包到本机内存中执行,由这个启动软件包完成终端基本软件设置,从而引导预先安装在服务器中的终端操作系统。
一说到 Linux,就不得不提目前最红火的 Ubuntu 发行版了!它拥有绚丽的界面,甚至跟以时尚为卖点的 Mac OSX 相比也有过之而无不及,相信当你试过这款操作系统之后,你会对?Linux?的印
本文主要参考了:https://blog.csdn.net/abcdef0966/article/details/7607545,感谢原作者abcdef0966。本文主要是根据原文的介绍,进行了相应的测试验证,希望帮助大家更好的理解,同时也作为自己的一个学习记录。
从2016年开始,美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎,但是随着业务的高速发展,在构建和查询层面都出现了效率问题。于是,技术团队从原理解读开始,然后对过程进行层层拆解,并制定了由点及面的实施路线。本文总结了一些经验和心得,希望能够帮助业界更多的技术团队提高数据的产出效率。
在这篇博客中,我们将深入探讨Apache Kylin的工作原理、优势以及如何高效使用它来处理大数据。这篇文章是为了帮助那些对大数据分析、数据立方体、OLAP技术感兴趣的读者,无论是初学者还是行业专家。我们将探讨Kylin的关键特性,如预计算数据立方体、多维分析和海量数据支持,以及如何在实际项目中应用这些特性。
突发看到一篇文章说OLAP已死的,心想这又是谁在语不惊人死不休。顺手点进去看了眼发现某名奇妙的Apache Druid 就被Diss了。我说大哥,Apache Druid和Apache Kylin都是搞OLAP的,我以为你这文章是给OLAP站台的,科普一下啥叫空间换时间和数据立方体的意义和学术原理。怎么就突然风向大变把你同行Druid兄弟冷不丁一脚踢下去了呢。就那么大个圈子那么多点事。这么赤裸裸的冷不丁冒一句,作为Druid的爱好者,不喘口气都以为全是哑巴。
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。
不熟悉Apache软件基金会的朋友也不用担心,大家可以去Apache官网,下拉到最下边的页面,查看Apache有哪些开源项目。
本文根据2016年4月北京Apache Kylin Meetup上的分享讲稿整理,略有删节。
最近在使用kylin_v10系统,发现当在此系统下运行的容器内执行#ansible localhost -m setup 命令会卡住不动,于是和同事一起经过如下排查最终找到解决问题的办法。
导语 |为了满足贝壳日益复杂、多样化业务场景下的多维数据分析需求,贝壳 OLAP 平台经历了从早期基 于Hive+MySQL 原始阶段,到基于 Kylin单一引擎的平台化建设,再到支持多种不同OLAP引擎的灵活架构的发展历程。本文是对贝壳找房数据智能中心资深研发工程师——肖赞在云+社区沙龙online的分享整理,希望与大家一同交流。
大家都知道,CentOS 8 Linux 已于 2021 年底停止更新服务了(CentOS 8 将于年底终止!)。取而代之的是滚动版本 CentOS Stream 作为 RHEL 的下游分支于 2019 年推出,将持续排查漏洞,让上游版本更加稳定和安全。
2015年12月8日,Apache Kylin 从 Apache 孵化器项目毕业,正式升级为顶级项目,也是第一个由中国团队完整贡献到 Apache 的顶级项目。kylin的诞生,为大数据高效的olap查询提供解决方案,主要由以下特点:
1.关闭死程序 [root@node3 ~]# ps -aux | grep fire root 2105 0.0 0.0 112660 964 pts/0 S+ 15:10 0:00 grep
领取专属 10元无门槛券
手把手带您无忧上云