NameNode工作机制和DataNode副本工作机制原理

这篇文章主要讲解了“NameNode工作机制和DataNode副本工作机制原理”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“NameNode工作机制和DataNode副本工作机制原理”吧!

成都网站制作、成都网站设计、外贸营销网站建设服务团队是一支充满着热情的团队,执着、敏锐、追求更好,是创新互联的标准与要求,同时竭诚为客户提供服务是我们的理念。创新互联建站把每个网站当做一个产品来开发,精雕细琢,追求一名工匠心中的细致,我们更用心!

    NameNode工作机制和DataNode副本工作机制原理

    NameNode(以下简称NN)的工作机制:

    1、用户上传数据的操作保存内存缓存中,同时往edits.log文件写入

    2、edits.log文件是一个临时的日志文件,且随着edits.log文件达到一定大小之后会将数据写入到另一个edits.log2文件,因此会产生多个edits.log小文件

    3、多个edits.log小文件通过SecondaryNameNode(以下简称SN)节点最终保存在本地的fsimage文件中的

    4、NN每隔一段时间向SN发送checkpoint请求(fsimage和edits.log的合并)

    5、SN从NN上下载fsimage和edits.log文件,然后请求edits.log文件更改文件名为edits.new

    6、SN将fsimage和edits.log在内存合并运算、整合,生成新的fsimage.checkpoint,通知NN

    7、NN接到通知后从SN下载fsimage.checkpoint

    8、NN将fsimage.checkpoint和edits.new文件改回原来的名字


    DataNode(以下简称DN)的副本生成机制:

    DN采用pipeline(管道)机制对数据进行副本的复制,客户端从提交到DN时只有一个副本,DN根据NN传来的各个主机形成一个管道,一旦有数据往DN的第一个节点传输数据时,DN就会往管道内的其他DN节点异步通过网络复制数据,只有当所有节点拷贝完成,这个管道才算成功,否则DN会向NN通知复制副本失败,NN接收到DN失败请求,会根据拷贝好的成功的节点和失败的节点做一个调整,重新形成新的管道(例如:有3个节点在传输,假如3个节点传输失败,这个管道就失败了,NN在重新选择的时候会将传输成功的第2个节点与其他非原来第3个节点的节点再次形成管理进行副本的复制)

感谢各位的阅读,以上就是“NameNode工作机制和DataNode副本工作机制原理”的内容了,经过本文的学习后,相信大家对NameNode工作机制和DataNode副本工作机制原理这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


网站栏目:NameNode工作机制和DataNode副本工作机制原理
当前网址:http://myzitong.com/article/iijddh.html