Hadoopdistcp命令如何跨集群复制文件
本篇文章为大家展示了Hadoop distcp命令如何跨集群复制文件,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
彭水苗族土家族网站建设公司成都创新互联公司,彭水苗族土家族网站设计制作,有大型网站制作公司丰富经验。已为彭水苗族土家族近1000家提供企业网站建设服务。企业网站搭建\外贸营销网站建设要多少钱,请找那个售后服务好的彭水苗族土家族做网站的公司定做!
hadoop提供了Hadoop distcp命令在Hadoop不同集群之间进行数据复制和copy。
使用格式为:hadoop distcp -pbc hdfs://namenode1/test hdfs://namenode2/test
distcp copy只有Map没有Reduce
usage: distcp OPTIONS [source_path...]
OPTIONS
-append Reuse existing data in target files and append new
data to them if possible
-async Should distcp execution be blocking
-atomic Commit all changes or none
-bandwidth
-delete Delete from target, files missing in source
-diff
difference between source and target
-f
-filelimit
-i Ignore failures during copy
-log
saved
-m
-mapredSslConf
hftps://
-overwrite Choose to overwrite target files unconditionally,
even if they exist.
-p
block-size, user, group, permission,
checksum-type, ACL, XATTR, timestamps). If -p is
specified with no
replication, block size, user, group, permission,
checksum type and timestamps. raw.* xattrs are
preserved when both the source and destination
paths are in the /.reserved/raw hierarchy (HDFS
only). raw.* xattrpreservation is independent of
the -p flag. Refer to the DistCp documentation for
more details.
-sizelimit
bytes
-skipcrccheck Whether to skip CRC checks between source and
target paths.
-strategy
based on file sizes
-tmp
commit
-update Update target, copying only missingfiles or
directories
不同版本的Hadoop集群由于RPC协议版本不一样不能直接使用命令 hadoop distcp hdfs://namenode1/test hdfs://namenode2/test
对于不同Hadoop版本间的拷贝,用户应该使用HftpFileSystem。 这是一个只读文件系统,所以DistCp必须运行在目标端集群上(更确切的说是在能够写入目标集群的TaskTracker上)。 源的格式是hftp://
上述内容就是Hadoop distcp命令如何跨集群复制文件,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
分享标题:Hadoopdistcp命令如何跨集群复制文件
标题链接:http://myzitong.com/article/gdccos.html