初学HDFS的读过程和写过程的分析-创新互联

刚刚接触HDFS,感觉HDFS的数据可靠性非常高,记录一下..

成都创新互联公司网站建设公司,提供成都网站设计、做网站、成都外贸网站建设公司,网页设计,建网站,PHP网站建设等专业做网站服务;可快速的进行网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,是专业的做网站团队,希望更多企业前来合作!

一HDFS的基本原理

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群包括一个名称节点(NameNode)和若干个数据节点(DataNode)。名称节点作为中心服务器,负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程,负责处理文件系统客户端的读/写请求,在名称节点的统一调度下进行数据块的创建、删除和复制等操作。每个数据节点的数据实际上是保存在本地Linux文件系统中的。

初学HDFS的读过程和写过程的分析

二HDFS写操作

写文件的过程:是一种流水线复制

初学HDFS的读过程和写过程的分析

三HDFS读操作

初学HDFS的读过程和写过程的分析

        HDFS 的文件块多副本分散存储机制保障了数据存储的可靠性,当读取文件时 DataNode 挂了只需要失败转移到其他副本所在的 DataNode 继续读取,而对于发生副本块错误,读取到的文件数据块若校验失败可认定为损坏,依然可以转移到读取其他完好的副本,并向 NameNode 汇报该文件 block 损坏,后续处理由 NameNode 通知 DataNode 删除损坏文件 block,并根据完好的副本来复制一份新的文件 block 副本。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


本文标题:初学HDFS的读过程和写过程的分析-创新互联
地址分享:http://myzitong.com/article/djossh.html