十一、hdfs的datanode工作机制-创新互联

十一、hdfs的datanode工作机制

成都创新互联公司2013年至今,先为林甸等服务建站,林甸等地企业,进行企业商务咨询服务。为林甸企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

data
├── current
│   ├── BP-473222668-192.168.50.121-1558262787574 以poolID作为目录命名
│   │   ├── current
│   │   │   ├── dfsUsed
│   │   │   ├── finalized
│   │   │   │   └── subdir0
│   │   │   │       └── subdir0
│   │   │   │           ├── blk_1073741825
│   │   │   │           ├── blk_1073741825_1001.meta
│   │   │   │           ├── blk_1073741826
│   │   │   │           ├── blk_1073741826_1002.meta
│   │   │   │           ├── blk_1073741827
│   │   │   │           ├── blk_1073741827_1003.meta
│   │   │   ├── rbw
│   │   │   └── VERSION
│   │   ├── scanner.cursor
│   │   └── tmp
│   └── VERSION
└── in_use.lock

# datanode的id,非全局唯一,没什么用
storageID=DS-0cb8a268-16c9-452b-b1d1-3323a4b0df60
# 集群ID,全局唯一
clusterID=CID-c12b7022-0c51-49c5-942f-edc889d37fee
# 创建时间,没什么用
cTime=0
# datanode 的唯一标识码,全局唯一
datanodeUuid=085a9428-9732-4486-a0ba-d75e6ff28400
# 存储类型为datanode
storageType=DATA_NODE
layoutVersion=-57

# 对接的namenode 的ID
namespaceID=983105879
# 创建时间戳
cTime=1558262787574
# 使用的pool id
blockpoolID=BP-473222668-192.168.50.121-1558262787574
layoutVersion=-57

blk_${BLOCK-ID}
blk_${BLOCK-ID}_xxx.meta

blk_${BLOCK-ID} :
是一个xml格式的文件,上面记录了了类似edits文件的操作日志,如:


 -63
 
   OP_START_LOG_SEGMENT
   
     22
   

 

 
   OP_MKDIR
   
     23
     0
     16386
     /input
     1558105166840
     
       root
       supergroup
       493
     

   

 



blk_${BLOCK-ID}_xxx.meta:
是一个raw G3 data, byte-padded格式的文件,主要存储目录下的inode记录

blk_${BLOCK-ID} :
记录的是block中的实际数据

blk_${BLOCK-ID}_xxx.meta:
CRC32校验文件,保存数据块的校验信息

timeout  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

dfs.namenode.heartbeat.recheck-interval:是namenode检查datanode是否存活的时间间隔,默认是为 5分钟,单位是毫秒
dfs.heartbeat.interval:datanode上传心跳信息的时间间隔,默认是3秒,单位是秒

两者都在 hdfs-site.xml中进行设置

//hdfs-site.xml

       dfs.datanode.data.dir
     file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享名称:十一、hdfs的datanode工作机制-创新互联
文章出自:http://myzitong.com/article/cdgpgh.html