基于zookeeper的高可用集群-创新互联
1.准备zookeeper服务器
#node1,node2,node3 #安装请参考http://suyanzhu.blog.51cto.com/8050189/1946580创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:做网站、网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的温州网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
2.准备NameNode节点
#node1,node4
3.准备JournalNode节点
#node2,node3,node4
4.准备DataNode节点
#node2,node3,node4 #启动DataNode节点命令hadoop-daemon.sh start datanode
5.修改hadoop的hdfs-site.xml配置文件
dfs.nameservices yunshuocluster dfs.ha.namenodes.yunshuocluster nn1,nn2 dfs.namenode.rpc-address.yunshuocluster.nn1 node1:8020 dfs.namenode.rpc-address.yunshuocluster.nn2 node4:8020 dfs.namenode.http-address.yunshuocluster.nn1 node1:50070 dfs.namenode.http-address.yunshuocluster.nn2 node4:50070 dfs.namenode.shared.edits.dir qjournal://node2:8485;node3:8485;node4:8485/yunshuocluste r dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailo verProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_dsa dfs.journalnode.edits.dir /opt/journalnode/ dfs.ha.automatic-failover.enabled true
6.修改hadoop的core-site.xml配置文件
fs.defaultFS hdfs://yunshuocluster hadoop.tmp.dir /opt/hadoop-2.5 ha.zookeeper.quorum node1:2181,node2:2181,node3:2181
7.配置slaves配置文件
node2 node3 node4
8.启动zookeeper(node1,node2,node3)
zkServer.sh start
9.启动Journalnode(node2,node3,node4上分别执行下面的命令)
#启动命令 停止命令hadoop-daemon.sh stop journalnode hadoop-daemon.sh start journalnode
10.检查Journalnode,通过查看日志
cd /home/hadoop-2.5.1/logs ls tail -200 hadoop-root-journalnode-node2.log
11.格式化NameNode(两台中的一台,这里格式化node4这台NameNode节点)
hdfs namenode -format cd /opt/hadoop-2.5 #两台NameNode同步完成 scp -r /opt/hadoop-2.5/* root@node1:/opt/hadoop-2.5/
12.初始化zkfc
hdfs zkfc -formatZK
13.启动服务
start-dfs.sh #stop-dfs.sh表示停止服务
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
本文题目:基于zookeeper的高可用集群-创新互联
URL标题:http://myzitong.com/article/cshjod.html