HDFS(NameNode)的联盟:Federation

HDFS(NameNode)的联盟:Federation,配置HDFS联盟,多个NameNode节点同时存活,根据代理配置的路由规则处理客户端不同的请求,实现负载均衡,同时也可以缓存更多的元信息,它与HA的区别在于,联盟是多个NameNode都是active,可以存储更多的元信息。

成都创新互联公司长期为上千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为玉田企业提供专业的成都网站设计、成都网站建设玉田网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。

一、联盟与HA的联系和区别

1、也有多个NameNode
2、跟HA的区别:这些NameNode都是active状态
3、作用:
(1)缓存更多的元信息
(2)实现负载均衡

二、搭建HDFS的联盟

(1)规划
NameNode:bigdata112 bigdata113
DataNode:bigdata114 bigdata115
(2)在bigdata112上配置安装hadoop
(2.1)解压
(2.2)配置hadoop-env.sh中的java环境
export JAVA_HOME=/training/jdk1.8.0_144
(2.3)配置core-site.xml

            
            
                hadoop.tmp.dir
                /training/hadoop-2.7.3/tmp
            

(2.4)配置mapred-site.xml

    
            mapreduce.framework.name
            yarn
        

(2.5)配置yarn-site.xml


yarn.resourcemanager.hostname
bigdata12


yarn.nodemanager.aux-services
mapreduce_shuffle

(2.6)配置slaves

        bigdata14
        bigdata15

(2.7)配置hdfs-site.xml

 
                
                        dfs.nameservices
                        ns1,ns2
                

    
                
                        dfs.namenode.rpc-address.ns1
                        bigdata112:9000
                
                
                
                        dfs.namenode.http-address.ns1
                        bigdata112:50070
                
          
                        dfs.namenode.secondaryhttp-address.ns1
                        bigdata112:50090
                

                
                
                        dfs.namenode.rpc-address.ns2
                        bigdata113:9000
                
                
                
                        dfs.namenode.http-address.ns2
                        bigdata113:50070
                
          
                        dfs.namenode.secondaryhttp-address.ns2
                        bigdata113:50090
                
    <!--副本-->
    
        dfs.replication
        2
    

    
        dfs.webhdfs.enabled
        true
    

    <!--权限-->
    
        dfs.permissions
        false
    

(2.8)配置core-site.xml,增加路由规则

       
            fs.viewfs.mounttable.xdl1.homedir
            /home
        

        
            fs.viewfs.mounttable.xdl1.link./movies
            hdfs://bigdata114:9000/movies
        

        
            fs.viewfs.mounttable.xdl1.link./mp3
            hdfs://bigdata115:9000/mp3
        

        
            fs.default.name
            viewfs://xdl1
        

注意:如果路由规则太多,可以单独创建一个xml文件(mounTable.xml)
(3)将112上的hadoop拷贝到113、114、115上

(4)对NameNode进行格式化

在112和113两个namenode节点上格式化
hdfs namenode -format -clusterId xdl1

(5)启动
在112上启动Hadoop
start-all.sh
(6)在DataNode节点上创建响应的目录


本文标题:HDFS(NameNode)的联盟:Federation
标题来源:http://myzitong.com/article/jpepeg.html