DKhadoop大数据平台基础框架方案概述

大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!

现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也不是特别长。仅以我熟悉的DKhadoop为例给大家分享一些小知识,往对初学者有点小帮助就可以了。

大数据平台基础框架是很多初学者必然要掌握的内容,大数据太过抽象,有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。

在此之前还是对DKhadoop做一个简单的说明:DKhadoop大快大数据平台,由大快开发的为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级大数据通用计算平台。对于有大量数据需要处理的传统型企业而言,通过DKhadoop这样的大数据处理平台可以很轻松的跨越大数据技术鸿沟,实现搜索引擎级的大数据平台性能。既然有如此大的优势,那么样的大数据平台的基础框架又是如何的呢?

我们先来看一张图片:这张图是DKH标准平台技术架构图

DKhadoop大数据平台基础框架设计方案概述:

1、如果你对原生hadoop较为熟悉的,你就会发现dkhadoop是集成了整个hadoop生态系统的全部组建,当然不仅仅是集成这么简单,而是做了深度的优化,重新编写成的一个完整的更高性能的大数据通过计算平台。这一点跟其他国产发行本大数据平台还是有着非常的区别的,DKH是做的原生态开发,其他的国产发行版仅仅是简单的二次开发。

2、DKhadoop通过中间件技术,将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),很大程度上简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。(数据中间件是大快DKH数据交换层的核心)

3、DKH在原生态的基础上开发,并且保持了开源系统的全部优点,与开源系统100%兼容。这样,那些基于开源平台开发的大数据应用就不要经过任何改动,就可以在DKH上高效运行了。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我是攻城师

如何成为一名优秀的全栈工程师

4126
来自专栏京东技术

【对话】京东基础架构部服务治理组负责人张晋军:解读微服务最佳实践,快速定位分布式服务问题

? 张晋军 京东商城基础架构部服务治理组负责人 京东技术11.11基础架构峰会讲师 ? 十六年一线研发经验,十六年软件开发经验,作为京东商城基础架构部服务治...

4475

选择多平台云遵循的5条安全原则

在云平台市场中,亚马逊云(AWS)早就处于领先地位。但是今天,依然开始有越来越多的公司‘另寻他路’选择其他云提供商的产品。这种选择通常不只是为了选择多平台云服务...

2638
来自专栏ytkah

微信小程序与传统APP十大优劣对比

        随着微信公众平台的开放,微信端小程序涌现市场,带来很很多便利和简单的原生操作,询:微信端小程序是否会替代传统的APP应用?两者的优劣如何?我们一...

2.2K5
来自专栏zzzz

DKhadoop大数据平台基础框架的简单介绍

大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,...

1292
来自专栏CDA数据分析师

干货|微信公众号运营必须学会这些数据分析!

很多微信公众号运营者,对数据分析都没什么概念,更不用说建立自己的数据分析方法了。 一般人只会看微信公众号的粉丝数,只会看单篇文章的总阅读数。总粉丝数衡量不了粉丝...

6198
来自专栏马哥教育

怎么用最短时间高效而踏实地学习Linux?

在技术行业里,人才的唯一衡量标准就是技术能力,而技术能力,就代表着你的薪资、职位、话语权。很多人都经历过,跟自己同时入行甚至入行还晚的人,成长速度却远超自己,短...

4626
来自专栏云计算D1net

下一代超融合基础设施解锁混合云的潜力

超融合基础设施(HCI)通过提供一种打破计算和存储之间的传统孤岛的新方法而引起人们的关注。尽管越来越多的组织正在采用它,但大部分部署都是在数据中心的外围,或虚拟...

3315
来自专栏BestSDK

从SDK到应用,一文读懂指纹识别的“前世今生”

在互联网发展初期,人们发现商业的边疆可以被极大的拓展,我们可以跟某个素不相识的人在一秒以内完成一笔真实交易。但是,更多的机会也带来了更多的风险。很多在人们看来理...

5556
来自专栏互联网数据官iCDO

大数据项目产品选型的五个建议

原创作者:曾勇,Elastic工程师。 数据如今对企业来说可谓是头等大事。使用欺诈检测来降低财务风险或是建设推荐系统来改善用户体验,都需要数据来为企业解决这些日...

2916

扫码关注云+社区

领取腾讯云代金券