腾讯云大学

腾讯云大数据开发工程师培训

适用于需要从事大数据开发的工程师;期望了解和使用腾讯云EMR产品的个人。

腾讯云大数据开发工程师培训

进阶
开发
面授
10天
立即报名

培训概述

腾讯云大数据开发工程师培训将通过理论精讲与上机实验相结合的方式,系统性地介绍如何使用大数据技术进行大数据程序开发,以及如何基于腾讯云EMR产品在腾讯云平台上开通、部署和使用Hadoop大数据系统。

培训大纲

腾讯云大数据开发工程师培训课程涵盖以下内容:

知识模块简介
大数据技术与生态圈概述

1. 大数据与Hadoop概述

2. 腾讯大数据应用案例

3. 大数据行业现状

4. Hadoop设计思想

5. Hadoop与Spark生态圈

EMR产品使用与运维

1. 腾讯云EMR产品介绍

2. EMR入门操作与使用说明

3. EMR客户案例

4. EMR权限控制

5. EMR监控

6. EMR扩容

7. EMR硬件管理

8. EMR参数配置

9. EMR数据迁移

HDFS使用

1. HDFS概述

2. HDFS架构与组成

3. HDFS操作与API

4. HDFS高可靠保证

5. HDFS与腾讯云COS

MapReduce编程

1. MapReduce框架

2. MapReduce编程模型

3. MapReduce工作原理

4. 资源管理框架YARN

Hive基础与操作

1. Hive概述与基本架构

2. Hive环境与基础操作

3. DDL与DML操作

4. Hive系统函数与自定义函数

5. Hive与Sqoop工具

HBase使用

1. Hbase基础与架构

2. Hbase数据结构

3. Hbase内置表与读写流程

4. Hbase使用与API

Presto架构与使用

1. Presto概述

2. Presto整体架构与运行原理

3. Presto Connector

4. Presto常用函数

SparkCore基础与开发

1. Spark概述

2. Spark程序与RDD操作

3. 普通型RDD Transformation操作

4. 键值型RDD Transformation操作

5. RDD Action操作

6. RDD共享变量、持久化与依赖

7. Spark架构与运行

8. Tez、Spark与MR对比

9. Spark WordCount演示

SparkSQL开发

1. SparkSQL概述与架构

2. DataFrame与DataSet

3. SparkSQL数据源操作

4. SparkSQL自定义函数

SparkStreaming开发

1. SparkStreaming概述

2. SparkStreaming运行流程

3. SparkStreaming基础算子

4. SparkStreaming高级算子

5. SparkStreaming案例

6. Spark与Storm区别

Kafka基础与开发

1. Kafka概述

2. Kafka架构与关键机制

3. Ckafka API与实战

4. SparkStreaming与Kafka整合

数据挖掘与机器学习基础

1. 大数据分析介绍

2. 机器学习概念

3. 机器学习分类

4. 常见分析模型与算法

5. 用户画像应用基础与构建

课程实验

1. 实验1-Hadoop实验环境准备

2. 实验2-HDFS分布式文件系统

3. 实验3-COS存储系统

4. 实验4-MapReduce分布式计算框架

5. 实验5-Hive数据库表创建和数据加载

6. 实验6-分布式列式数据库Hbase

7. 实验7-Presto数据库表创建和数据加载

8. 实验8-离线日志分析

9. 实验9-Spark内存计算框架

10. 实验10-Spark实战

11. 实验11-Ckafka生产者消费者实践

12. 实验12-EMR集群的运维

13. 实验13-互联网电商日志分析系统实战

14. 实验14-基于用户画像的推荐实战

参加腾讯云认证考试,为培训赋予更大价值

参加腾讯云认证考试

为培训赋予更大价值

由腾讯云资深工程师为您的就业认可与自我提升而特别定制,考试知识点与培训内容匹配,能更有效地利用您在面授培训中获得的知识。

培训目标

  • 掌握大数据基本概念、特征、设计思想和应用场景
  • 掌握腾讯云EMR产品的概念、特征、核心组件和适用场景,以及基于EMR产品的Hadoop集群创建、配置、使用和基本运维操作
  • 掌握大数据关键技术和机制,包括HDFS,MapReduce,Hive,HBase,Presto,Spark,SparkSQL,SparkStreaming,Storm,Kafka以及机器学习的基本算法
  • 了解典型的大数据应用案例和对应的大数据技术,以及腾讯云EMR产品中对应的组件
  • 实践大数据关键技术的上机实验与操作,基于项目案例练习完整的大数据开发过程