大快大数据开发框架的构成模块

大快大数据开发框架的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门、火爆!而这要得益于互联网信息技术的快速发展,网络改变世界、改变生活,大数据技术的应用让这样的改变更为深刻。

关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度。可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题——数据安全问题就非常突出。解决数据安全问题,必然要回归到大数据开发所使用的框架!

国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准和规则都是采用国外的那一套。国内做大数据开发的企业或者机构组织所推出的大部分商业发行版本都是对开源程序的二次包装,从事大数据底层开发的少之又少。做大数据原生态开发且又推出商业发行版的,行业也就只有大快搜索,可能在未来的三五年内也许还会有做大数据原生态开发的出现。

为何大数据的普及度不高,主要是由于大数据的应用开发太过偏向于底层,学习的难度不是一般的大,所涉及到的技术面广太大,不是一般人所能够驾驭得了的。市场上大部分打着hadoop国产发行版,也只是把国外的拿过来重新修改了一下而已。大快DKhadoop把大数据开发中的一些通用的,重复使用的基础代码、算法封装为类库,在很大程度上降低了开发的难度。相信这个对于从事开发的人员看了就更容易懂了。

下面,就给大家介绍看一下大快的大数据开发框架的模块构成都有哪些:

大快大数据一体化开发框架主要由六部分组成:数据源与SQL引擎、数据采集(自定义爬虫)模块、数据处理模块、机器学习算法、自然语言处理模块、搜索引擎模块。

如果在开源大数据框架上部署大快的开发框架,需要平台的组件支持如下:

数据源与SQL引擎:DK.Hadoop、spark、hive、sqoop、flume、kafka

数据采集:DK.hadoop

数据处理模块:DK.Hadoop、spark、storm、hive

机器学习和AI:DK.Hadoop、spark

NLP模块:上传服务器端JAR包,直接支持

搜索引擎模块:不独立发布

��G@�

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏非著名程序员

@所有程序员:是时候都来玩玩它了

到底是什么功能呢?昨天晚上已经刷爆了朋友圈,看过的朋友可能知道了,那就是:「云开发」功能。

1151
来自专栏云计算D1net

从物理环境迁移到云环境的几个关键步骤

随着公司企业加快向云计算迁移的步伐,许多公司发现自己面临这种境地:不得不弥补物理基础设施和云基础设施之间的差距,这就带来了新的挑战。IT部门拥有它认为很重要的应...

2989
来自专栏云计算D1net

展望2015:提高云计算效率的10个途径

不管你信不信,我们正处于云计算领域一个非常关键的节点。尽管增长已趋于稳定,但是注定我们将会迎来一个繁荣的景象。根据最近的Cisco Global Cloud I...

3359
来自专栏圣杰的专栏

DDD理论学习系列(2)-- 领域

1. 引言 领域一词,主要有以下两个意思: 一国主权所达之地。 学术思想或社会活动的范围。 不管是指国家的主权范围也好还是学术活动范围,都是在讲一个范围,一个界...

3379
来自专栏云计算D1net

管理云数据的专家提示

对于IT人员来说,安全是重要的,而网络、治理、数据格式化和其他技术问题同样也很重要。 ? 当卡罗林纳斯医疗保健系统(CHS)的肿瘤学家在肿瘤委员会审查之前讨论...

3369
来自专栏企鹅号快讯

小程序来了,APP将成为历史?

自2017年1月9日,微信推出小程序以来,小程序就话题不断。至今小程序已经迎来蓬勃的发展。这, 只是一个开始,因为小程序的使命不仅限于此。微信创始人张小龙说,任...

1979
来自专栏hadoop学习笔记

DKHadoop大数据开发框架的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门、火爆!而这要得益于互联网信息技术的快速发展,网络改变世界、改变生活,大数据技术的应用让这样的...

680
来自专栏腾讯大讲堂的专栏

浅谈用户体验的可视化

记得初学设计时就常常听到这么句话,设计不单单是做出一个极具美感的躯壳,更重要的是它背后的实用价值——所谓设计的实用性。而在互联网里,这种实用性更多的体现在用户体...

1976
来自专栏IT大咖说

API崛起,移动互联网时代企业战略的转变

摘要 在API经济崛起后,企业的移动战略应该做哪些方向的转变? ? API经济 在未来,所有的功能、数据和服务都应该以API的形式提供出来。基于各种API,我们...

33210
来自专栏云计算D1net

通信服务提供商在选择混合云之前要问的四个问题

如今,似乎云计算服务提供商与天空中的云朵一样多,那么你如何知道哪个云适合您的通信业务呢?毕竟,不同的业务应用对于可扩展性,性能和延迟有不同的要求。例如,适用于客...

3646

扫码关注云+社区

领取腾讯云代金券