HBase中怎么把数据写到HDFS文件中
这篇文章主要讲解了“HBase中怎么把数据写到HDFS文件中”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“HBase中怎么把数据写到HDFS文件中”吧!
河南网站制作公司哪家好,找创新互联!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。创新互联公司2013年成立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联。从HBase中选定某张表,比如blog,然后限定表中的某些列,比如昵称nickname,标签tags,将这些列的数据内容写入到HDFS文件中去。
/***选定HBase中的某张表,限定列,然后将其内容数据写入到HDFS文件中。**/publicclassHBaseAndMapReduce2{publicstaticvoidmain(String[]args)throwsException{System.exit(run());}publicstaticintrun()throwsException{Configurationconf=newConfiguration();conf=HBaseConfiguration.create(conf);conf.set("hbase.zookeeper.quorum","192.168.226.129");Jobjob=Job.getInstance(conf,"findFriend");job.setJarByClass(HBaseAndMapReduce2.class);Scanscan=newScan();//取对业务有用的数据tags,nicknamescan.addColumn(Bytes.toBytes("article"),Bytes.toBytes("tags"));scan.addColumn(Bytes.toBytes("author"),Bytes.toBytes("nickname"));//ImmutableBytesWritable来自hbase数据的类型/***publicstaticvoidinitTableMapperJob(Stringtable,Scanscan,*Classmapper,*Class>outputKeyClass,*Class>outputValueClass,Jobjob)**///确保blog表存在,且表结构与本文一样。TableMapReduceUtil.initTableMapperJob("blog",scan,FindFriendMapper.class,Text.class,Text.class,job);DateFormatdf=newSimpleDateFormat("yyyyMMddHHmmssS");FileOutputFormat.setOutputPath(job,newPath("hdfs://192.168.226.129:9000/hbasemapreduce1/"+df.format(newDate())));job.setReducerClass(FindFriendReducer.class);returnjob.waitForCompletion(true)?0:1;}//输入输出的键值publicstaticclassFindFriendMapperextendsTableMapper输出结构:
hadoopBerg-OSChina,BergBerghbaseOSChina,BergBergzookeeperOSChina,BergBerg感谢各位的阅读,以上就是“HBase中怎么把数据写到HDFS文件中”的内容了,经过本文的学习后,相信大家对HBase中怎么把数据写到HDFS文件中这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是箭头云,小编将为大家推送更多相关知识点的文章,欢迎关注!
分享名称:HBase中怎么把数据写到HDFS文件中
当前路径:http://myzitong.com/article/chsehe.html