DKHadoop大数据开发框架的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门、火爆!而这要得益于互联网信息技术的快速发展,网络改变世界、改变生活,大数据技术的应用让这样的改变更为深刻。

关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度。可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题——数据安全问题就非常突出。解决数据安全问题,必然要回归到大数据开发所使用的框架!

国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准和规则都是采用国外的那一套。国内做大数据开发的企业或者机构组织所推出的大部分商业发行版本都是对开源程序的二次包装,从事大数据底层开发的少之又少。做大数据原生态开发且又推出商业发行版的,行业也就只有大快搜索,可能在未来的三五年内也许还会有做大数据原生态开发的出现。

为何大数据的普及度不高,主要是由于大数据的应用开发太过偏向于底层,学习的难度不是一般的大,所涉及到的技术面广太大,不是一般人所能够驾驭得了的。市场上大部分打着hadoop国产发行版,也只是把国外的拿过来重新修改了一下而已。大快DKhadoop把大数据开发中的一些通用的,重复使用的基础代码、算法封装为类库,在很大程度上降低了开发的难度。相信这个对于从事开发的人员看了就更容易懂了。

下面,就给大家介绍看一下大快的大数据开发框架的模块构成都有哪些:

大快大数据一体化开发框架主要由六部分组成:数据源与SQL引擎、数据采集(自定义爬虫)模块、数据处理模块、机器学习算法、自然语言处理模块、搜索引擎模块。

如果在开源大数据框架上部署大快的开发框架,需要平台的组件支持如下:

数据源与SQL引擎:DK.Hadoop、spark、hive、sqoop、flume、kafka

数据采集:DK.hadoop

数据处理模块:DK.Hadoop、spark、storm、hive

机器学习和AI:DK.Hadoop、spark

NLP模块:上传服务器端JAR包,直接支持

搜索引擎模块:不独立发布

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云技术沙龙

大咖说:如何借助腾讯云简单、高效移动开发

一直以来,如何能够更快速地构建高性能,高扩展的移动应用一直是移动行业的热点。在传统模式下,开发者通过手动集成所需的各种移动服务,和后台紧密配合去打造精品移动应用...

95416
来自专栏云计算D1net

通信服务提供商在选择混合云之前要问的四个问题

如今,似乎云计算服务提供商与天空中的云朵一样多,那么你如何知道哪个云适合您的通信业务呢?毕竟,不同的业务应用对于可扩展性,性能和延迟有不同的要求。例如,适用于客...

3676
来自专栏非著名程序员

@所有程序员:是时候都来玩玩它了

到底是什么功能呢?昨天晚上已经刷爆了朋友圈,看过的朋友可能知道了,那就是:「云开发」功能。

1161
来自专栏VRPinea

VR广告平台ADVR推出发现性市场营销引擎

2966
来自专栏SDNLAB

Amdocs通过ONAP获得微软的订单

2053
来自专栏云计算D1net

云计算是否会扼杀数据备份技术?

随着企业迅速采用混合云和多云基础架构,并将传统工作负载迁移到云端,分布式架构已经成为事实上的标准,但是传统的备份和灾难恢复策略并没有跟上技术前进的步伐。企业需要...

3906
来自专栏云计算D1net

管理云数据的专家提示

对于IT人员来说,安全是重要的,而网络、治理、数据格式化和其他技术问题同样也很重要。 ? 当卡罗林纳斯医疗保健系统(CHS)的肿瘤学家在肿瘤委员会审查之前讨论...

3419
来自专栏云计算D1net

选择混合云厂商需注意的四个问题

私有云与公有云基础设施同时并存,结合使用就形成的了混合云模型。这种云模型允许企业使用并管理内部的一些资源,同时也使用外部供应商所提供的资源。 自2013年混合云...

3373
来自专栏腾讯大讲堂的专栏

浅谈用户体验的可视化

记得初学设计时就常常听到这么句话,设计不单单是做出一个极具美感的躯壳,更重要的是它背后的实用价值——所谓设计的实用性。而在互联网里,这种实用性更多的体现在用户体...

1986
来自专栏机器人网

重新思考物联网环境下的制造业

下一次工业革命现已开始 物联网 (IoT) 将在工业领域(尤其是在制造商中)掀起热潮。一些专家甚至宣称,我们可能会看到下一场工业革命的开始。有一点是确定的: 物...

3266

扫码关注云+社区

领取腾讯云代金券