ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

这篇文章主要介绍“ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建”,在日常操作中,相信很多人在ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

十多年的北京网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网整合营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整北京建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联从事“北京网站设计”,“北京网站推广”以来,每个客户项目都认真落实执行。

1.添加hadoop组(专门用来进行hadoop测试)到系统用户:


  sudo addgroup hadoop

2.在hadoop中添加hadoop用户:


sudo adduser --ingroup hadoop hadoop

3.赋予hadoop管理员权限


sudo usermod -aG sudo hadoop

( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步) 4切换用户!! 5.安装ssh远程登录协议:


sudo apt-get install openssh-server

6.启动ssh


sudo /etc/init.d/ssh start

7.免密码登录,并生成公钥与私钥:


ssh-keygen -t rsa -P ""

第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥. 8.现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容)


cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

9登录ssh


 ssh localhost

10退出


exit

11再登录退出一次,之后登录就不用输入密码了。 12安装java 13安装hadoop,hadoop官网下载这里选择的是hadoop-1.2.1.tar.gz ,解压并放到你想放的地方


 sudo mv /Downloads/hadoop-1.2.1.tar.gz /usr/local/hadoop

14确保所有操作均在hadoop用户下


 sudo chown -R hadoop:hadoop /usr/local/hadoop

15配置hadoop-env.sh,所在目录:/usr/local/hadoop/conf,添加如下代码


export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386 (视你机器的java安装路径而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export HADOOP_HOME_WARN_SUPPRESS="TRUE"

16让环境变量配置生效


source /usr/local/hadoop/conf/hadoop-env.sh

17单机配置成功:


hadoop version

伪分布模式继续: 18配置conf目录下三个文件:core-site.xml,hdfs-site.xml,mapred-site.xml core-site.xml:


  
      
        fs.default.name  
        hdfs://localhost:9000  
      
      
        hadoop.tmp.dir  
        /usr/local/hadoop/tmp  
      

hdfs-site.xml:


     
          
            dfs.replication  
            1  
          
          
            dfs.name.dir  
            /usr/local/hadoop/hdfs/name  
          
          
            dfs.data.dir  
            /usr/local/hadoop/hdfs/data  
          
    

mapred-site.xml:


  
      
        mapred.job.tracker  
        localhost:9001  
      

19 在hadoop目录下新建几个目录:


 ~/hadoop$ mkdir tmp  
    ~/hadoop$ mkdir hdfs  
    ~/hadoop$ mkdir hdfs/name  
    ~/hadoop$ mkdir hdfs/data

20 修改data文件夹的权限:


sudo chmod g-w /usr/local/hadoop/hdfs/data

21 让配置文件生效:


source /usr/local/hadoop/conf/hadoop-env.sh

22.确认hadoop没有运行:


usr/local/hadoop  bin/stop-all.sh

23 格式化namenode


usr/local/hadoop bin/hadoop namenode -format

24运行


/usr/local/hadoop bin/start-all.sh

25 jps 如果出现下图表示成功 ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

26测试程序: 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:

首先在dfs中创建input目录


hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -mkdir input

将conf中的文件拷贝到dfs中的input


 hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal conf/* input

在伪分布式模式下运行WordCount


 hadoop@lcj:/usr/local/hadoop$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output

显示输出结果


hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -cat output/*

ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建

当Hadoop结束时,可以通过stop-all.sh脚本来关闭Hadoop的守护进程


hadoop@lcj:/usr/local/hadoop$ bin/stop-all.sh

到此,关于“ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


当前题目:ubuntu12.04下hadoop单机模式和伪分布模式的环境搭建
网页地址:http://myzitong.com/article/jgegog.html