hadoop大数据平台架构之DKhadoop详解

hadoop大数据平台架构之DKhadoop详解

大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台,以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。

目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同,但在平台架构上相似,这里就以我比较熟悉的dkhadoop来介绍。

1、大快Dkhadoop,可以说是集成了整个HADOOP生态系统的全部组件,并对其进行了深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了非常高的提升。这一点也是个人觉得dkhadoop比我之前使用的另外一个商业发行版的要好的,国内的大部分商业发行版hadoop可以说都是二次包装,dkhadoop做的好的就是敢在原生态的基础上进行开发。

2、大快DKhadoop中间件技术把大数据集群配置简化成三种节点,这样不仅简化了集群的管理运维,还增强了集群的可用性和稳定性。Dkhadoop中间件集成了apache的很多组件包含了从文件、SQL、日志、消息到爬虫和流数据以及异构数据的支持;集成了大快的压缩算法,和数据同步分发技术,实现了数据的导入和减少调动的同时实现,对于有实时数据要求的项目具有不可替代的技术优势。

3、大快DKhadoop商业发行版还是保持了开源系统的优点的,可以与开源系统100%兼容。对于那些基于开源平台开发的大数据应用并不需要经过改动同样可以在dkhadoop上高效运行。

4、DKhadoop一体化开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类,总计一百余种方法,实现了开发效率的大幅提升。DK.HADOOP整合集成了NOSQL数据库,简化了文件系统与非关系数据库之间的编程;DK.HADOOP改进了集群同步系统,使得HADOOP的数据处理更加高效。

5、DKhadoop的SQL版本,还提供了分布式MySQL的集成,传统的信息系统,可无缝的实现面向大数据和分布式的跨越。

6、ES:快递DKhadoop的搜索系统是在开源ES系统上二次开发的,支持完成的全文搜索。整合了对中文搜索的有效支持以及对大快数据同步技术的支持后的高性能版本,DK.ES是DKH的核心组件之一,仅随DKH集成整合了对中文搜索的有效支持以及对大快数据同步技术的支持后的高性能版本,DK.ES是DKhadoop的核心组件之一。

7、汉语言处理组件:大快的汉语言处理是目前国内使用率最高的开源自然语言处理开发包。

简单的就介绍这些了吧,想要进一步了解的可以搜索查询下或者下载一下dkhadoop学习版本了解。以下是关于dkhadoop版本的问题:

DKH标准版   DKH-分布式SQL版   DK.HADOOP发行版

DKH标准版有三个不同的子版本:用于开发调试的单机版;支持三节点的学习版;支持5节点以上的标准服务器版

DKH-分布式SQL版有两个子版本:学习版、服务器版

��8\�

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT大咖说

经历了研发困局、运维之痛,同程微服务从1到1w的旅程

内容来源:2017 年 9 月 9 日,前同程艺龙架构师谢康在“ArchData技术大会上海站”进行《同程微服务从1到1w的旅程》演讲分享。IT 大咖说(微信i...

18430
来自专栏云加头条

如何使用腾讯云开发一款 AR 应用介绍

我们是一个深圳的创业团队,最近做了一款图书的 AR 应用,利用了腾讯云的相关平台和 Native 功能。本篇文章给大家聊聊做一款手机或 pad 运行的 AR 应...

4.6K10
来自专栏云计算D1net

为企业内部部署的应用程序创建一个云开发环境

借助来自许多成熟的公有云服务的精心策划部署策略的内置工具,企业组织机构的IT团队可以——而且也应该将他们的测试/开发迁移到公共云服务了。 即使您企业在短期内不会...

29140
来自专栏WeTest质量开放平台团队的专栏

双十一临近,怎样让买家流畅地秒杀? ——腾讯 WeTest 独家开放电商产品压测服务

从拍脑袋到场景化压测,双十一的现象级大促从来不是一蹴而就。

30200
来自专栏web前端教室

【流行】现在前端流行的技术是哪几种?

其实从根本上来讲,前端开发过去、现在、将来,至少在可能预见的将来,有且只有三种技术,就是html、css、js,其它的都是围绕着这三种技术在打转。

17030
来自专栏云计算D1net

混合云会成为新的IT服务平台吗?

TechTarget是这样描述混合云的:混合云是一个云计算的环境,在这个环境中混合了本地部署的私有云和来自第三方的公有云服务,并且能够在这两个平台上自由切换。我...

30340
来自专栏杨建荣的学习笔记

自问自答的一些运维开发问题

CMDB完成了80%的基础开发工作,后续需要对元数据信息进行确认和完善,还有部分的接入。

12330
来自专栏hadoop学习笔记

DKHadoop大数据平台架构详解

大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台,以其高拓展、高效率、高...

31600
来自专栏云计算D1net

一份更好的云灾难恢复计划指南

现如今,灾难恢复即服务已然正在迅速成为企业利用云服务来解决灾难恢复挑战的一种理想的方式。 对于存储专业人员来说,灾难恢复仍然是一项持续性的挑战。因为与许多其他I...

426110
来自专栏杨建荣的学习笔记

运维开发里程碑的小结

说实话,截止目前,五个功能实现了四个,所以算是基本达标了。后续的改进点依旧有很多,突然发现这样的设计和贯穿,有了一种豁然开朗的感觉。只要行得通,改进也有...

15850

扫码关注云+社区

领取腾讯云代金券