怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

本篇内容主要讲解“怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序”吧!

主要从事网页设计、PC网站建设(电脑版网站建设)、wap网站建设(手机版网站建设)、自适应网站建设、程序开发、微网站、重庆小程序开发等,凭借多年来在互联网的打拼,我们在互联网网站建设行业积累了丰富的网站设计制作、成都网站建设、网络营销经验,集策划、开发、设计、营销、管理等多方位专业化运作于一体,具备承接不同规模与类型的建设项目的能力。

前提:

1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar

2.以下是我的hadoop核心配置文件的配置:

core-site.xml



                

                                fs.defaultFS

                                hdfs://master:9000

                

       

                                io.file.buffer.size

                                131072

       

       

                                hadoop.tmp.dir

                                file:/home/yinkaipeng/tmp

                                Abase for other temporary directories.

                

        

               hadoop.proxyuser.hduser.hosts

               *

       

                 

               hadoop.proxyuser.hduser.groups

               *

       

hdfs-site.xml



       

                dfs.namenode.secondary.http-address

               master:9001

        

         

                  dfs.namenode.name.dir

                 file:/usr/local/data/dfs/name

            

           

                    dfs.datanode.data.dir

                    file:/usr/local/data/dfs/data

            

            

                     dfs.replication

                     3

             

             

                     dfs.webhdfs.enabled

                     true

         

mapred-site.xml



                

                                mapreduce.framework.name

                                yarn

                

                

                                mapreduce.jobhistory.address

                                master:10020

                

                

               mapreduce.jobhistory.webapp.address

               master:19888

       

yarn-site.xml



                 

               yarn.nodemanager.aux-services

               mapreduce_shuffle

        

                 

               yarn.nodemanager.aux-services.mapreduce.shuffle.class

               org.apache.hadoop.mapred.ShuffleHandler

        

        

               yarn.resourcemanager.address

               master:8032

       

                

               yarn.resourcemanager.scheduler.address

               master:8030

               

               

                       yarn.resourcemanager.resource-tracker.address

                        master:8031

               

               

                       yarn.resourcemanager.admin.address

                        master:8033

               

                

               yarn.resourcemanager.webapp.address

               master:8088

       

在hadoop2.0 中如果不配置zookeeper,只需将你将你的datanode加入slaves文件中即可。

hadoop集群配置好后,然后就是使用eclipse进行连接啦!

好的,我使用的是:hadoop-eclipse-plugin-2.2.0,从网上下载的。

下面开始我们开始工作。

  1. 启动hadoop集群

  2. 将hadoop-eclipse-plugin-2.2.0拷贝到eclipse的plugins 目录下,启动eclipse。

  3. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

  4. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

  5. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

如现在就进行连接的话不会成功的。因为我们用的是Windows所以还需要进行以下步骤:

  1. 将电脑当前用户名改为hadoop的启动用户名

  2. eclipse连接hadoop源码目录,将hadoop-common-2.2.0-bin-master的bin目录考到eclipse的workspace

  3. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

  4. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

  5. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

  6. 怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

    注:上面hadoop目录为我从Linux系统上下载的解压后的hadoop。

    到这里操作hdfs就没问题了,如果要运行mapreduce还会报错,进行以下两步:

    1.将hadoop源码中的org.apache.hadoop.io.nativeio加到项目中,并进行以下修改:

    怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

2.在我们的mapreduce的main函数中注入hadoop本地目录地址环境变量。

怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序

ok!这下就可以在Windows上进行hadoop集群的mapreduce在线调试了!

到此,相信大家对“怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


本文名称:怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序
当前路径:http://myzitong.com/article/gedehp.html