hadoop中入门配置知识点有哪些

这篇文章给大家分享的是有关hadoop中入门配置知识点有哪些的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

成都创新互联公司是专业的安达网站建设公司,安达接单;提供网站设计、成都网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行安达网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

环境

    本人使用的是 XUbuntu14.04 64位,在虚拟机下搭建的

  • 安装 JDK,配置环境变量

        配置 classpath,修改所有用户的环境变量

sudo vim /etc/profile
#在文件最后添加 
#set java environment
export JAVA_HOME={path}
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
source/etc/profile  ##使环境变量生效
  • 配置SSH无密码吗登陆

            在用户根目录创建隐藏文件夹 .ssh  (没有的需要创建)

mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

            验证下 ssh ,

 shh localhost
  • 安装hadoop (我用的是2.7)

    • 解压文件夹

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目录,可根据自己的喜好选择放在哪
    • 创建 hadooop 工作所需要的文件目录

    • 设置环境变量 (进入$HADOOP_HOME/etc/hadoop)

    sudo vim /etc/profile
    export HADOOP_HOME={path}
    #path 后面继续跟
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    • 配置文件

      • 配置 hadoop-env.sh

    export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路径
      • 配置 core-site.xml (关于Hadoop配置项的一点说明虽然只需要配置fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。shay为主机名,如果不知道自己的主机名可以 cat 一下 /etc/hostname)

    
        
            hadoop.tmp.dir
            file:/usr/local/hadoop/tmp
        
        
            fs.defaultFS
            hdfs://shay:9000
        
    
      • 配置hdfs-site.xml

    
        
            dfs.replication
            1
        
        
            dfs.namenode.name.dir
            file:/usr/local/hadoop/tmp/dfs/name
        
        
            dfs.datanode.data.dir
            file:/usr/local/hadoop/tmp/dfs/data
        
        
    
      • 配置 mapred-site.xml 

    
                
            mapreduce.framework.name
             yarn
        
    
      • 配置 yarn-site.xml

    
                
            yarn.nodemanager.aux-services        
            mapreduce_shuffle
        
        
            yarn.resourcemanager.hostname
            shay
        
    
      • 配置 yarn-env.sh

    export JAVA_HOME=${JAVA_HOME}
    • Hadoop 启动

      • 执行 namenode 格式化

    hdfs namenode -format
      • 开启守护进程

    start-dfs.sh        # NameNode 和 DataNode 守护进程
    start-yarn.sh       # ResourceManager 和 NodeManager 守护进程
      • 验证

    jps

感谢各位的阅读!关于“hadoop中入门配置知识点有哪些”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!


分享标题:hadoop中入门配置知识点有哪些
新闻来源:http://myzitong.com/article/pipiig.html