专栏首页hadoop学习什么是大数据技术架构
原创

什么是大数据技术架构

大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及。现在需要一种技术,把大数据开发中一些通用的,重复使用的基础代码、算法封装为类库,降低大数据的学习门槛,降低开发难度,提高大数据项目的开发效率。

大数据在工作中的应用有三种:与业务相关,比如用户画像、风险控制等;

与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴;与工程相关,如何实施、如何实现、解决什么业务问题,这是数据工程师的工作。

数据源的特点决定数据采集与数据存储的技术选型,我根据数据源的特点将其分为四大类:

第一类:从来源来看分为内部数据和外部数据;

第二类:从结构来看分为非结构化数据和结构化数据;

第三类:从可变性来看分为不可变可添加数据和可修改删除数据;

第四类,从规模来看分为大量数据和小量数据

大数据平台第一个要素就是数据源,我们要处理的数据源往往是在业务系统上,数据分析的时候可能不会直接对业务的数据源进行处理,而是先经过数据采集、数据存储,之后才是数据分析和数据处理。

从整个大的生态圈可以看出,要完成数据工程需要大量的资源;数据量很大需要集群;要控制和协调这些资源需要监控和协调分派;面对大规模的数据怎样部署更方便更容易;还牵扯到日志、安全、还可能要和云端结合起来,这些都是大数据圈的边缘,同样都很重要。

大快大数据平台(DKH),是大快公司为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级,大数据通用计算平台。传统公司通过使用DKH,可以轻松的跨越大数据的技术鸿沟,实现搜索引擎级的大数据平台性能。

l    DKH,有效的集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。

l    DKH,更是通过大快独有的中间件技术,将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。

l    DKH,虽然进行了高度的整合,但是仍然保持了开源系统的全部优点,并与开源系统100%兼容,基于开源平台开发的大数据应用,无需经过任何改动,即可在DKH上高效运行,并且性能会有最高5倍的提升。

l    DKH,更是集成了大快的大数据一体化开发框架(FreeRCH), FreeRCH开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类,通过总计一百余种方法,实现了10倍以上的开发效率的提升。

l    DKH的SQL版本,还提供了分布式MySQL的集成,传统的信息系统,可无缝的实现面向大数据和分布式的跨越。

DKH标准平台技术构架图

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据平台开发公司有哪些?

    大数据、区块链可以说近几年互联网非常火爆的风口了,发展真可谓是蓬勃向上。围绕大数据进行的行业变革、创新已经不仅仅是趋势,而是真实在进行中。大数据技术对各行业的重...

    用户3392176
  • 人力资源大数据解决方案

    大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式,很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”。大数据可能在国内的起步较晚,但我们可能...

    用户3392176
  • 大数据hadoop入门之hadoop家族详解

    大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从事hadoop开发或者是正在学习ha...

    用户3392176
  • 大数据架构你懂?

    IT故事会
  • 助力“新基建”,打造数据中台——数据宝政务大数据解决方案发布!

    政府是数字城市建设的牵头者,也是城市运行的“基石”。在打造“数字政务”对数字城市建设而言格外重要。同时,在国家“新基建”的浪潮下,政务服务也将进一步向数字化和智...

    船长会拐弯
  • [数据思维]数据师的道德

    职业道德,其本质是职业群体的定位,同时反映大众对这个职业群体期望的标准。那么"数据小兵"结合数据师职业特点,认为"数据师的道德"反映的是数据师这一职业群体在公众...

    CDO首席数据官
  • 数据化和意义提炼将如何推动生活与商业?

    ? 我们已经毫无疑问地进入大数据时代,借助我们所有彼此互联的设备,计算机正实时捕捉并处理我们的所有细节。商家视之为“圣杯”,因为他们终于可以预测,哪些消费者将...

    机器学习AI算法工程
  • 如何从小白成长为数据科学家

    本文是作者在赤兔APP“数据挖掘”小组内在线分享的记录的第【2】部分。 本次分享第【1】部分:什么是数据科学。 分享主题:Data Science学习分享会 分...

    叶锦鲤
  • 聂聪:数据科学让我为城市规划注入创新价值 | 优秀毕业生专访

    [导读] 清华-青岛数据科学研究院(以下简称“数据院”)自2014年4月成立以来,秉承“学校统筹,问题引导,社科突破,商科优势,工科整合,业界联盟”24字指导方...

    数据派THU
  • 洞察|看行业观察家和技术专家对大数据在2017年的发展预测

    又到了年终岁尾时,业界权威市场研究和咨询机构Ovum公司日前估计,大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长,企业的挑...

    灯塔大数据

扫码关注云+社区

领取腾讯云代金券