慕课网Spark SQL日志分析 - 1.Hadoop概述

1.Hadoop架构

• 官方网址

http://hadoop.apache.org/

对于Apache项目来说，projectname.apache.org

Hadoop:hadoop.apache.org

Hive:hive.apache.org

Spark:spark.apache.org

HBase:hbase.apache.org

• 为什么很多公司选择Hadoop作为大数据的解决方案

1. 源码开发
2. 社区活跃
3. 设计到分布式存储和计算的方方面面 Flume进行数据采集 Spark/MR/Hive等进行数据处理 HDFS/HBase进行数据存储 4）已得到企业界的认证

2.HDFS架构

官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

1 master（NameNode/NN） 带 n个 slaves(DataNode/DN)

一个文件会被拆分成多个Block

blocksize：128M

130M -> 2个block：128M+2M

NN的作用：

1. 负责客户端请求的相应
2. 负责元数据（文件的名称，副本系数，Block存放的DN）的管理

DN的作用：

1. 存储用户的文件对应的数据块（Block）
2. 要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况

A typical deployment has a dedicated machine that runs only the NameNode software .Each of the other machines in the cluster runs one instance of the DataNode Software. The architecture does not preclude running multiple DataNode on the same machine but in a real deployment that is rarely in case

NameNode + N个DataNode

建议NN和DN是部署在不同的机器上

3.HDFS 副本机制：

replication factor：副本因子

All blocks in a file except the last block are the same size

4.Hadoop 下载 ：https://cloud.tencent.com/developer/article/1336047

5.Yarn 简介: https://cloud.tencent.com/developer/article/1336064

6.Hive概述

https://cloud.tencent.com/developer/article/1336109