大家好,又见面了,我是你们的朋友全栈君。
做大数据有几年了,这些年耳濡目染了一些大数据管理平台的使用,但是或多或少使用起来,都不怎么方便,所以决定自己来实现一个简单的大数据平台
大数据应用组件往往很多,可能几百台服务器组成一个Hadoop集群,当部署这些节点时,需要一个节点一个节点的操作,简直不敢想象。同时在这些服务器上可能还部署着Spark、Flink、Hive、Hbase、ES等很多很多的组件,有时一个节点出问题,如果不即使发现处理/可能会引起一系列问题,而如果想关闭一些节点,或迁移某些节点,则需要运维人员手动去操作,当需要操作的节点很多的时候,就很耗费人力资源。为解决此类问题,大数据管理平台就出现了。
一个比较完善的大数据平台,应该包含有如下功能:
具体包括:
前4个是基本的功能,第五个待后续更新
已目前业内比较通用的大数据产品,包括zk,hdfs,yarn,hive,hbase,es等,各个产品的部署方式不同,需要的配置文件操作步骤都不相同,所以必须抽象出一个通用的组件来达到可以满足任何新组件的要求。
大数据平台,应当可以对组件进行如下操作:
应当提供基础的用户登录/权限控制
需提供组件安装包的上传/版本控制/hotfix修复/镜像包构建
如果使用传统的安装方式,不方便应用的隔离,所以我们采用kubernetes + docker的方式,构建一个简单的操作系统,组件的安装/迁移等,都通过k8s的接口来实现
本篇文章主要介绍了大数据平台的基本作用和一个必要的功能,通过此概述,我们大概可以了解到一个比较完善的大数据平台,会在工作、学习中大大提高效率
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/132787.html原文链接:https://javaforall.cn