大数据的五大关键技术

大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。

一、大数据接入

1、大数据接入

已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入

2、大数据接入技术

Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp

二、大数据存储

1、大数据存储

结构化数据存储、半结构化数据存储、非结构化数据存储

2、大数据存储技术

Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch

三、数据分析挖掘

1、大数据分析与挖掘

离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习

2、大数据分析与挖掘技术

MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib

四、大数据共享交换

1、大数据共享交换

数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出

2、大数据共享交换技术

Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

五、大数据展现

1、大数据展现

图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘),文字展示;

2、大数据展现技术

Echarts、Tableau

国家规划大数据产业发展战略,各行各业需要大数据技术支撑指数级的数据增量服务,越来越多的企业逐渐转型于大数据,大数据方面市场需求呈爆发式增长。为了应对大数据人才的缺乏,加米谷大数据培训中心制定了全流程的大数据课程,主要包括Linux、java、CentOS、mysql、HDFS、Hadoop、Hbase、Hive、Kafka、Spark、Storm等。除了在理论方面深入讲解外,还有对应代码实战,全流程学完之后会有实战大数据项目,整体把控学习效果,教学目的旨在提高学员实战能力, 真实提升自身大数据能力。

原文发布于微信公众号 - 加米谷大数据(DtinoneBD)

原文发表时间:2018-02-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我是攻城师

Hadoop生态系统在壮大:十大炫酷大数据项目

42170
来自专栏北京马哥教育

15种最佳方式帮你顺利掌握Hadoop技术

在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前,让我们首先搞清楚另一个问题:大数据Hadoop到底是什么?简单来 讲,Hadoop是一套用于...

30970
来自专栏纯洁的微笑

一次惊险的跳槽面试经历(阿里/美团/头条/网易/有赞...)

24860
来自专栏ThoughtWorks

线上分享 | 优质课程:DevOps从入门到精通

如今『DevOps』在许多企业里早已不是什么稀奇之物。这个由『Dev』和『Ops』共同组成的词究竟有什么特别之处?为此,来自ThoughtWorks的DevOp...

13010
来自专栏大数据架构师专家

七字诀,不再憋屈的运维

25830
来自专栏CSDN技术头条

常见的Hadoop十大应用误解

1. (误解)Hadoop什么都可以做 (正解)当一个新技术出来时,我们都会去思考它在各个不同产业的应用,而对于平台的新技术来说,我们思考之后常会出现这样的结论...

20950
来自专栏CSDN技术头条

微服务与单一整体式架构的优劣浅析

责编/钱曙光,关注架构和算法领域 开发者要么出于本能,要么很快就能在痛苦中发觉:即便一个很小的变化也能改变一切。就像攀岩那样,每次挪移都会影响到未来的抉择,因此...

23870
来自专栏钱塘大数据

【盘点】十大最受欢迎的开源大数据技术

导读:大数据已然成为当今最热门的技术之一,正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是,开源让越来越多的项目可以直接采用大数据技术,下面就来盘...

30090
来自专栏互联网数据官iCDO

请收藏,4种提高电商转化率的文案实用技巧!

译者:池金锐 审校:朱玉雪 本文长度为3699字,预估阅读时间10分钟。 摘要:本篇文章主要阐述了文案和会话率之间的巧妙关系及介绍了四种实用的方法提高电商的转...

37570
来自专栏企鹅号快讯

未来已来,跟上云时代的步伐吧!

我们今天实际上所面对的一切都是未来将发生的一切,我用了一个词叫未来已来。比如说我们今天讲非常多的云计算,实际生活中你可能看不到它,但是它已经在今天发生,其实是未...

35040

扫码关注云+社区

领取腾讯云代金券