登录后再学习,可使用学习中心、个人中心等更完善的课程服务。立即登录>
关闭

1. 课程介绍

基于腾讯云CVM搭建Hadoop环境

  • 53 课时
  • 64 学过
  • 10 分
Hadoop云服务器对象存储

课程概述

entityMap|blocks|key|5dik5|text|entityMap%7Cblocks%7Ckey%7Cd2654%7Ctext%7CentityMap%257Cblocks%257Ckey%257Cdrhdm%257Ctext%257CentityMap%25257Cblocks%25257Ckey%25257C7omv0%25257Ctext%25257CHadoop是由Apache基金会所开发的分布式系统基础架构,常用于大数据处理。Hadoop的框架最核心的设计是HDFS和MapReduce。HDFS是一个分布式文件系统,它提供高吞吐量来访问应用程序的数据。MapReduce则为海量的数据提供了计算。%25257Ctype%25257Cunstyled%25257Cdepth%25257CinlineStyleRanges%25257CentityRanges%25257Cdata%25257Cadn84%25257C本课程将介绍Hadoop的基础知识,并在腾讯云CVM上快速部署Hadoop单机版和集群版。首先,课程将通过介绍大数据的特点和挑战以及Hadoop的组件,为后续实战做好铺垫。在部署单机版Hadoop中,课程将介绍Hadoop的安装与配置,并讲解HDFS和YARN的部署。随后,课程将基于Hadoop的API进行MapReduce应用的开发。在熟悉了Hadoop的基本操作之后,课程将讲解如何部署集群版的Hadoop。最后,课程将简单介绍腾讯云上的大数据组件,如对象存储COS、弹性MapReduce和大数据处理套件TBDS。%25257Ceus2k%25257C【课程目标】%25257Coffset%25257Clength%25257Cstyle%25257CBOLD%25257C8q37t%25257C了解大数据的特点和挑战%25257Caccfr%25257C掌握Hadoop的安装和单机版Hadoop的部署%25257Cbjrdb%25257C掌握HDFS的基本操作%25257C2tlva%25257C在YARN上提交作业并成功运行%25257Cbeise%25257C使用MapReduce进行词频统计%25257Cf86co%25257C在腾讯云CVM上部署Hadoop集群%25257Cf4hrj%25257C了解腾讯云大数据组件%25257Cco8o%25257C【适用对象】%25257Cbegsq%25257C架构、运维、开发、学生、个人开发者%25257Cdrbtl%25257C【课程大纲】%25257Cam0po%25257C%25252B%25252B%25252B%25252B%25252B%25252B%25252B知识模块 %25252B%25252B%25252B简介 %25252B%25252B%25252B%25252B%25252B课程介绍 %25252B%25252B%25252B课程导读 %25252B%25252B%25252B%25252B%25252B初识Hadoop %25252B%25252B%25252B课时章节、千人千面、大数据的特点、大数据带来的技术挑战、Google三驾马车、Hadoop概述及核心组件、Hadoop发行版的选择、课时总结 %25252B%25252B%25252B%25252B%25252B基于CVM大家按单机版Hadoop %25252B%25252B%25252B课时章节、软件部署前的准备工作、JDK部署、ssh免密码登录、Hadoop解压及Hadoop-env配置、HDFS配置文件、启停HDFS、HDFS命令行操作、YARN部署及启停、提交Hadoop自带的案例到YARN上运行、课时总结、基于腾讯云CVM搭建Hadoop环境 %25252B%25252B%25252B%25252B%25252B基于Hadoop的API应用开发 %25252B%25252B%25252B课时章节、开发环境准备、创建文件夹、上传数据到HDFS及客户端参数修改、重构代码完成初始化以及关闭操作、下载HDFS数据到本地、移动、文件列表信息、删除操作、使用IO完成数据的读写操作、MapReduce概述、词频统计需求分析、词频统计案例之Mapper开发、词频统计之Reducer开发、词频统计之Driver开发、词频统计之完成本地执行及代码重构、词频统计之重构打包并提交到服务器上运行、课时总结 %25252B%25252B%25252B%25252B%25252B基于CVM搭建集群版Hadoop %25252B%25252B%25252B课时章节、集群规划、ssh免密码登录配置、部署一台Hadoop和JDk以及分发到另外两台及其、Hadoop集群的启停、Hadoop集群功能测试、课时总结 %25252B%25252B%25252B%25252B%252

适用人群

  • 对大数据技术感兴趣的在职人员,希望从事大数据工作的学生或其他用户

机构简介

腾讯云大学

腾讯云旗下面向云生态用户的一站式学习成长平台

课程评价(2)

感谢你参加本课程,请你作出评价:
0/300

以下选自学员评价

用户6***895
2020-01-14
讲课小哥可以的
用户6***783
2020-01-03
笔记在哪里?