专栏首页加米谷大数据大数据的五大关键技术

大数据的五大关键技术

大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。

一、大数据接入

1、大数据接入

已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入

2、大数据接入技术

Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp

二、大数据存储

1、大数据存储

结构化数据存储、半结构化数据存储、非结构化数据存储

2、大数据存储技术

Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch

三、数据分析挖掘

1、大数据分析与挖掘

离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习

2、大数据分析与挖掘技术

MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib

四、大数据共享交换

1、大数据共享交换

数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出

2、大数据共享交换技术

Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

五、大数据展现

1、大数据展现

图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘),文字展示;

2、大数据展现技术

Echarts、Tableau

国家规划大数据产业发展战略,各行各业需要大数据技术支撑指数级的数据增量服务,越来越多的企业逐渐转型于大数据,大数据方面市场需求呈爆发式增长。为了应对大数据人才的缺乏,加米谷大数据培训中心制定了全流程的大数据课程,主要包括Linux、java、CentOS、mysql、HDFS、Hadoop、Hbase、Hive、Kafka、Spark、Storm等。除了在理论方面深入讲解外,还有对应代码实战,全流程学完之后会有实战大数据项目,整体把控学习效果,教学目的旨在提高学员实战能力, 真实提升自身大数据能力。

本文分享自微信公众号 - 加米谷大数据(DtinoneBD),作者:加米谷

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 我国大数据发展具有独特优势及政策支持解读

    大数据是信息化发展到一定阶段的产物。随着信息技术和人类生产生活深度融合,互联网快速普及,全球数据呈现爆发增长、海量集聚的特点,对经济发展、社会进步、...

    加米谷大数据
  • 大数据培训出来后就业前景及工资怎么样?

    作为新一轮的技术热点,大数据所受到得到关注是空前的,并且在这两年的发展当中,企业对于大数据的重视程度还在进一步上升,企业基于大数据业务开展所需要的相关岗位人才,...

    加米谷大数据
  • 大数据驱动营销14条营销法则

    “大多数公司的明智决策是数据分析和人类判断平衡后的结果。”以下14条经验法则,可以保证数据透明,有效进行数据驱动营销。

    加米谷大数据
  • 2月26日数据动态早报 |大数据贯穿农业产业链

    数据动态,让您了解数据新变化、新创造和新价值。 ? ---- 一、通信行业数据动态 1 浙江省与华为公司签订战略合作协议。根据双方签订的协议,华为公司将在浙江投...

    陆勤_数据人网
  • 创业者如何抓住大数据行业的风潮?

    大数据不仅仅是一个营销词汇,大数据是一种思维,一种技术。一言以蔽之,大数据最直接的意义就是让“随机性”的事情变得可提前预测,从而提高效率和行动价值。下文主要是...

    灯塔大数据
  • 不仅要清楚如何收集数据,还要清楚如何创造数据

    业界估计数据每年的增长率在30%到50%之间,对于许多企业来说,每年将增长上PB的数据量。问题显然不是缺少数据,而是缺少“正确”的数据。 根据埃森哲近期的调查显...

    CDA数据分析师
  • 大数据的未来发展前景:大数据人才需求现状

    大数据已经成为我们生活当中习以为常的一个名词,基于大数据分析下的精准推荐,已然覆盖到我们生活的方方面面。在这样的背景下,大数据的未来发展前景,也受到更多的关注。

    成都加米谷大数据
  • 如何打造高质量的机器学习数据集?这份超详指南不可错过

    针对以上的问题,本篇文章就如何选择适合自己算法的数据集以及如何创建机器学习数据集作一些讨论,希望能为各位同学提供帮助。

    AI科技大本营
  • 大数据新手的0基础学习路线,从菜鸟到高手的成长之路

    大数据作为一个新兴的热门行业,吸引了很多人,但是对于大数据新手来说,按照什么路线去学习,才能够学习好大数据,实现从大数据菜鸟到高手的转变。这是很多想要学习大数据...

    用户2292346
  • 大数据平台架构+ETL

    ETL,Extraction-Trasformation-Loading,即数据读取,转换,装载的过程,是构建数据仓库的重要环节。

    可爱见见

扫码关注云+社区

领取腾讯云代金券