专栏首页加米谷大数据大数据常见面试知识点(二)

大数据常见面试知识点(二)

不少同学在面试大数据岗位时,都会问到常见的面试知识点有哪些。加米谷就为各位同学整理了大数据常见的面试知识点。

为了保证效率和质量,每篇文章发布6个知识点,由简单及难,今天我们继续HDFS:

一、hdfs原理,以及各个模块的职责

Client:切分文件;访问或通过命令行管理HDFS;与NameNode交互,获取文件位置信息;与DataNode交互,读取和写入数据。

NameNode:Master节点,只有一个,管理HDFS的名称空间和数据块映射信息;配置副本策略;处理客户端请求。

DataNode:Slave节点,存储实际的数据;执行数据块的读写;汇报存储信息给NameNode。

Secondary NameNode:辅助NameNode,分担其工作量;定期合并fsimage和fsedits,推送给NameNode;紧急情况下,可辅助恢复NameNode,但Secondary NameNode并非NameNode的热备。

二、Hdfs文件读取

1.首先调用FileSystem对象的open方法,其实是一个DistributedFileSystem的实例

2.DistributedFileSystem通过rpc获得文件的第一批个block的locations,同一block按照重复数会返回多个locations,这些locations按照hadoop拓扑结构排序,距离客户端近的排在前面.

3.前两步会返回一个FSDataInputStream对象,该对象会被封装成DFSInputStream对象,DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法,DFSInputStream最会找出离客户端最近的datanode并连接。

4.数据从datanode源源不断的流向客户端。

5.如果第一块的数据读完了,就会关闭指向第一块的datanode连接,接着读取下一块。这些操作对客户端来说是透明的,客户端的角度看来只是读一个持续不断的流。

6.如果第一批block都读完了,DFSInputStream就会去namenode拿下一批blocks的location,然后继续读,如果所有的块都读完,这时就会关闭掉所有的流。

三、Hdfs的文件写入

1.客户端通过调用DistributedFileSystem的create方法创建新文件

2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件,创建前,namenode会做各种校验,比如文件是否存在,客户端有无权限去创建等。如果校验通过,namenode就会记录下新文件,否则就会抛出IO异常.

3.前两步结束后会返回FSDataOutputStream的对象,和读文件的时候相似,FSDataOutputStream被封装成DFSOutputStream,DFSOutputStream可以协调namenode和datanode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet,然后排成队列data quene。

4.DataStreamer会去处理接受data quene,他先问询namenode这个新的block最适合存储的在哪几个datanode里,比如重复数是3,那么就找到3个最适合的datanode,把他们排成一个pipeline.DataStreamer把packet按队列输出到管道的第一个datanode中,第一个datanode又把packet输出到第二个datanode中,以此类推。

5.DFSOutputStream还有一个对列叫ack quene,也是有packet组成,等待datanode的收到响应,当pipeline中的所有datanode都表示已经收到的时候,这时akc quene才会把对应的packet包移除掉。

6.客户端完成写数据后调用close方法关闭写入流

7.DataStreamer把剩余得包都刷到pipeline里然后等待ack信息,收到最后一个ack后,通知datanode把文件标示为已完成。

四、hdfs的体系结构

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作,比如打开、关闭、重命名文件或目录等,它也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建、删除和复制工作。NameNode和DataNode都被设计成可以在普通商用计算机上运行。这些计算机通常运行的是GNU/Linux操作系统。HDFS采用Java语言开发,因此任何支持Java的机器都可以部署NameNode和DataNode。一个典型的部署场景是集群中的一台机器运行一个NameNode实例,其他机器分别运行一个DataNode实例。当然,并不排除一台机器运行多个DataNode实例的情况。集群中单一的NameNode的设计则大大简化了系统的架构。NameNode是所有HDFS元数据的管理者,用户数据永远不会经过NameNode。

五、Datanode在什么情况下不会备份?

Datanode会定时上报block块的信息给namenode ,namenode就会得知副本缺失,然后namenode就会启动副本复制流程以保证数据块的备份!Client向NameNode发起文件写入的请求。NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

六、hdfs,replica如何定位

public static void getFileLocal() throws IOException{       //返回FileSystem对象          FileSystem fs = getFileSystem();   //文件路径  Path path =  new Path("hdfs://single.hadoop.dajiangtai.com:9000/middle/weibo/weibo.txt");
//获取文件目录          FileStatus filestatus = fs.getFileStatus(path);  //获取文件块位置列表          BlockLocation[] blkLocations =  fs.getFileBlockLocations(filestatus, 0, filestatus.getLen()); //循环输出块信息 for(int i=0;i< blkLocations.length;i++)            {                   String[] hosts = blkLocations[i].getHosts();             }         System.out.println("block_"+i+"_location:"+hosts[0]);          }

1st replica.如果写请求方所在机器是其中一个datanode,则直接存放在本地,否则随机在集群中选择一个datanode.

2nd replica.第二个副本存放于不同第一个副本的所在的机架.

3rd replica.第三个副本存放于第二个副本所在的机架,但是属于不同的节点.

本文分享自微信公众号 - 加米谷大数据(DtinoneBD),作者:一颗米

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据学习:HDFS是个啥?

    HDFS集群包含单个NameNode(主服务器),它管理文件系统命名空间并控制客户端对文件的访问权限。它维护和管理文件系统元数据;例如由哪些块构成文件,以及存储...

    加米谷大数据
  • HDFS的7个设计特点

    1.Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的...

    加米谷大数据
  • HDFS如何读取文件以及写入文件

    成都加米谷大数据科技有限公司是一家专注于大数据人才培养的机构。由来自阿里、华为、京东、星环等国内知名企业的多位技术大牛联合创办,技术底蕴丰厚,勤奋创新,精通主流...

    加米谷大数据
  • 【趣学程序】HDFS读写流程

    趣学程序-shaofeer
  • 软件开发升级打怪之路

    周末两天收到很多鼓励和赞同的留言,程序君感到非常开心。虽然有不少呼声希望能够天天看到连载,但程序君真得没法一周七天写同一件事,那样,写出来的东西无法保证质量。虽...

    tyrchen
  • 从SAP最佳业务实践看企业管理(172)-CO-生产成本核算

    生产订单 生产定单定义了什么产品将在什么时候在什么地点被生产。同时,多少工作、多少资源将被使用,以及定单的成本将被如何结算。 生产计划部门运行MRP等计划工具,...

    SAP最佳业务实践
  • 程序员面试金典 - 面试题 03.05. 栈排序(两栈)

    栈排序。 编写程序,对栈进行排序使最小元素位于栈顶。 最多只能使用一个其他的临时栈存放数据,但不得将元素复制到别的数据结构(如数组)中。 该栈支持如下操作:...

    Michael阿明
  • 软件性能测试(连载8)

    CPU依次处理上述任务的调度方法是切换。切换分为“进程切换”“线程切换”和“中断切换”。中断切换即在本节“软中断与硬中断”中提及的,当系统中有非常重要的请求来临...

    小老鼠
  • ROS(indigo)RRT路径规划

    源码地址:https://github.com/nalin1096/path_planning

    zhangrelay
  • 9,函数定义

    Python的函数具有非常灵活的参数形态,既可以实现简单的调用,又可以传入非常复杂的参数。

    lyhue1991

扫码关注云+社区

领取腾讯云代金券