十一、hdfs的datanode工作机制-创新互联
成都创新互联公司2013年至今,先为林甸等服务建站,林甸等地企业,进行企业商务咨询服务。为林甸企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
分享名称:十一、hdfs的datanode工作机制-创新互联
文章出自:http://myzitong.com/article/cdgpgh.html
data
├── current
│ ├── BP-473222668-192.168.50.121-1558262787574 以poolID作为目录命名
│ │ ├── current
│ │ │ ├── dfsUsed
│ │ │ ├── finalized
│ │ │ │ └── subdir0
│ │ │ │ └── subdir0
│ │ │ │ ├── blk_1073741825
│ │ │ │ ├── blk_1073741825_1001.meta
│ │ │ │ ├── blk_1073741826
│ │ │ │ ├── blk_1073741826_1002.meta
│ │ │ │ ├── blk_1073741827
│ │ │ │ ├── blk_1073741827_1003.meta
│ │ │ ├── rbw
│ │ │ └── VERSION
│ │ ├── scanner.cursor
│ │ └── tmp
│ └── VERSION
└── in_use.lock
# datanode的id,非全局唯一,没什么用
storageID=DS-0cb8a268-16c9-452b-b1d1-3323a4b0df60
# 集群ID,全局唯一
clusterID=CID-c12b7022-0c51-49c5-942f-edc889d37fee
# 创建时间,没什么用
cTime=0
# datanode 的唯一标识码,全局唯一
datanodeUuid=085a9428-9732-4486-a0ba-d75e6ff28400
# 存储类型为datanode
storageType=DATA_NODE
layoutVersion=-57
# 对接的namenode 的ID
namespaceID=983105879
# 创建时间戳
cTime=1558262787574
# 使用的pool id
blockpoolID=BP-473222668-192.168.50.121-1558262787574
layoutVersion=-57
blk_${BLOCK-ID}
blk_${BLOCK-ID}_xxx.meta
blk_${BLOCK-ID} :
是一个xml格式的文件,上面记录了了类似edits文件的操作日志,如:
-63
OP_START_LOG_SEGMENT
22
OP_MKDIR
23
0
16386
/input
1558105166840
root
supergroup
493
blk_${BLOCK-ID}_xxx.meta:
是一个raw G3 data, byte-padded格式的文件,主要存储目录下的inode记录
blk_${BLOCK-ID} :
记录的是block中的实际数据
blk_${BLOCK-ID}_xxx.meta:
CRC32校验文件,保存数据块的校验信息
timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval
dfs.namenode.heartbeat.recheck-interval:是namenode检查datanode是否存活的时间间隔,默认是为 5分钟,单位是毫秒
dfs.heartbeat.interval:datanode上传心跳信息的时间间隔,默认是3秒,单位是秒
两者都在 hdfs-site.xml中进行设置
//hdfs-site.xml
dfs.datanode.data.dir
file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享名称:十一、hdfs的datanode工作机制-创新互联
文章出自:http://myzitong.com/article/cdgpgh.html