专栏首页大数据成神之路大数据开发体系,进来了解一下?

大数据开发体系,进来了解一下?

1. 大数据基础及工具

掌握Linux必备知识,熟悉Python的使用与爬虫程序的编写,搭建Hadoop(CDH)集群,为大数据技术学习打好基础。

l Linux必备知识

l Docker安装与使用

l Python基础及网络爬虫讲解

l 分布式协调基石框架:Zookeeper

l 大数据集群搭建

2. HADOOP专题

掌握离线数据处理的流程、架构及相关技术的运用。掌握大数据核心基础组件:HDFS,MapReduce及YARN。

l 大数据基石框架:Hadoop

l 离线批处理:Hive

l 数据采集:flume

3. SPARK专题

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,大数据的学习需要从理论到核心源码全面掌握主流通用大数据处理框架:Spark

l Scala语言精讲

l Spark概要

l Spark core

l Spark SQL

l SparkStreaming

l Spark存储系统及调度系统

l Spark计算引擎

4. 实时计算专题

熟悉实时处理的应用场景,掌握实时数据处理的流程、架构及相关技术的运用。掌握实时通用处理框架、Flink及实时主流技术组件:Kafka、Hbase。

l 分布式消息系统:Kafka

l 新一代通用处理框架:Flink

l 高性能分布式数据库:Hbase

5. 数仓专题

讲解数据仓库背景知识,常用数仓模型,ETL主流工具Sqoop,Kettle,Oozie和Azkaban。掌握数据仓库搭建过程及具体技术的应用。

l 数仓概要知识、建模理论、数据治理

l 数仓ETL工具:Sqoop、Kettle

l 数仓任务调度工具:Azkaban

6. 搜索与推荐专题

了解了搜索和推荐两大互联网公司必有的大数据应用系统的通用架构,常用算法和相关技术。

l 全文搜索引擎ElasticSearch

l 推荐理论

7. 机器学习算法专题

机器学习为现阶段大数据重要处理方式,这一部分我们要掌握常用机器学习算法思想、过程和在实际问题中的应用

l 机器学习概要

l 分类问题常用算法

l 预测问题常用算法

8. 其他组件与场景运用

l 生产应用相关

l 交互式查询

本文分享自微信公众号 - 大数据技术与架构(import_bigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kafka设计-恰好一次和事务消息

    为了解决重试导致的消息重复、乱序问题,kafka引入了幂等消息。幂等消息保证producer在一次会话内写入一个partition内的消息具有幂等性,可以通过重...

    王知无
  • 独孤九剑-Spark面试80连击(下)

    场景描述:这是一个Spark的面试题合集。是我自己作为面试者和作为面试官都会被问到或者问到别人的问题,这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文...

    王知无
  • Spark源码阅读的正确打开方式

    Spark发展至今,应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面,吊打其他的大数据处理框架。

    王知无
  • 撮合引擎开发:流程的代码实现

    我们要开始聊代码实现逻辑了,如果不记得之前讲的目录结构,请回去翻看前文。聊代码实现的第一步自然从程序入口开始,核心就两个函数:init() 和 main(),其...

    Keegan小钢
  • 【大牛经验】给新人程序员一些经验

    给新人程序员一些经验 熟业务,精一块,在扩展 最近总有些断断续续的思考,想想从我入行以来,我到底学会了什么,做成过什么,以后要做什么,如何提升自己·······...

    奋斗蒙
  • Segment Routing 在大规模数据中的应用(上)

    在写《BGP在大规模数据中心中的应用》里当时就有了讨论Segment Routing(SR)的想法,因为当时我还在参与MPLS+SR的白皮书测试,得到了不少真实...

    SDNLAB
  • 新手学JAVA(二)----String类与StringBuffer类的区别

    在Java中有两种字符串的操作:String类和StringBuffer类(缓冲字符串处理类)。 下面先简单的说一下两者的区别。 String类和St...

    令仔很忙
  • 从数据角度探究《前任3》为什么这么火爆

    豆瓣上8万多人只打出了5.8的评分,其中1星-3星占比72.6%,那么问题来了,在绝大多数豆瓣粉丝都认为是“烂片”的情况下,究竟是什么让《前任3》票房意外火爆呢...

    意气相许的许
  • cssjshtml boostrap+echart 轮播报错解决

    boostrap 轮播组件中的active样式有display属性问题,当没有active样式时 display为none。

    葫芦
  • 聊聊dubbo的LogbackContainer

    dubbo-2.7.2/dubbo-container/dubbo-container-logback/src/main/java/org/apache/dub...

    codecraft

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动