如何解决Hadoop文件系统多次关闭的问题
小编给大家分享一下如何解决Hadoop文件系统多次关闭的问题,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
为绥棱等地区用户提供了全套网页设计制作服务,及绥棱网站建设行业解决方案。主营业务为成都网站设计、网站制作、绥棱网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
今天我犯了一个BUG。在我读写文件的时候,Hadoop抛异常说文件系统已经关闭。
2013-05-20 17:39:00,153 ERROR com.sunchangming.searchlog.CopyAppLogs: err on 2013051918_api_access_65.gz java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:319) at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1026) at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:524) at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:768) at com.sunchangming.searchlog.CopyAppLogs.copyFile(CopyAppLogs.java:51) at com.sunchangming.searchlog.CopyAppLogs.access$000(CopyAppLogs.java:18) at com.sunchangming.searchlog.CopyAppLogs$1.run(CopyAppLogs.java:194) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) at java.util.concurrent.FutureTask.run(FutureTask.java:166) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:722)
然后我就查,为什么呢。我刚刚用final FileSystem dfs = FileSystem.get(getConf()); 得到它啊。
后来发现,我是一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果,它并不是每次都创建一个新的实例。这就意味着,如果每个线程都自己去get一个文件系统,然后使用,然后关闭,就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它!
所以***是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…finally关闭它。
多线程程序中,如果你确保在你的get和close之间不会有别人调用get,也没问题。
以上是“如何解决Hadoop文件系统多次关闭的问题”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
当前名称:如何解决Hadoop文件系统多次关闭的问题
链接URL:http://myzitong.com/article/pgpigo.html