首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

hadoop必知必会的基本知识

这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。   (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储;   (2)与NameNode交互,获取文件的位置信息;   (3)与DataNode交互,读取或者写入数据;   (4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS;   (5)Client可以通过一些命令来访问HDFS; 2)NameNode:就是Master,它是一个主管、管理者。   (1)管理HDFS的名称空间;   (2)管理数据块(Block)映射信息;   (3)配置副本策略;   (4)处理客户端读写请求。 3)DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。   (1)存储实际的数据块;   (2)执行数据块的读/写操作。 4)Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。   (1)辅助NameNode,分担其工作量;   (2)定期合并Fsimage和Edits,并推送给NameNode;   (3)在紧急情况下,可辅助恢复NameNode。

01

hadoop必知必会的基本知识

这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。   (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储;   (2)与NameNode交互,获取文件的位置信息;   (3)与DataNode交互,读取或者写入数据;   (4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS;   (5)Client可以通过一些命令来访问HDFS; 2)NameNode:就是Master,它是一个主管、管理者。   (1)管理HDFS的名称空间;   (2)管理数据块(Block)映射信息;   (3)配置副本策略;   (4)处理客户端读写请求。 3)DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。   (1)存储实际的数据块;   (2)执行数据块的读/写操作。 4)Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。   (1)辅助NameNode,分担其工作量;   (2)定期合并Fsimage和Edits,并推送给NameNode;   (3)在紧急情况下,可辅助恢复NameNode。

02

数据结构面试经典问题汇总及答案_数据结构基础面试题

1.数组和链表的区别,请详细解释。 从逻辑结构来看: a) 数组必须事先定义固定的长度(元素个数),不能适应数据动态地增减的情况。当数据增加时,可能超出原先定义的元素个数;当数据减少时,造成内存浪费;数组可以根据下标直接存取。 b) 链表动态地进行存储分配,可以适应数据动态地增减的情况,且可以方便地插入、删除数据项。(数组中插入、删除数据项时,需要移动其它数据项,非常繁琐)链表必须根据next指针找到下一个元素 从内存存储来看: a) (静态)数组从栈中分配空间, 对于程序员方便快速,但是自由度小 b) 链表从堆中分配空间, 自由度大但是申请管理比较麻烦 从上面的比较可以看出,如果需要快速访问数据,很少或不插入和删除元素,就应该用数组;相反, 如果需要经常插入和删除元素就需要用链表数据结构了。

02
领券