hadoop分布式集群的搭建过程-创新互联
这篇文章主要讲解了“hadoop分布式集群的搭建过程”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hadoop分布式集群的搭建过程”吧!
目前创新互联公司已为成百上千家的企业提供了网站建设、域名、虚拟空间、网站运营、企业网站设计、连平网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。hadoop分布式集群搭建:
1. 集群规划:
2.具体步骤:
(1)上传安装包,并解压到相关目录:
[hadoop@hadoop01 home]$ put c:/hadoop-2.6.5-centos-6.7.tar.gz
[hadoop@hadoop01 home]$tar -zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps
(2)修改配置文件:
[hadoop@hadoop01 home]$ cd /home/hadoop/apps/hadoop-2.6.5/hadoop/etc
这里需要修改6个配置文件:
hadoop-env.sh:
加入:export JAVA_HOME=/usr/java/jdk1.8.0_73
core-site.xml:
fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /home/hadoop/hadoopdata
hdfs-site.xml:
dfs.namenode.name.dir /home/hadoop/hadoopdata/name 为了保证元数据的安全一般配置多个不同目录 dfs.datanode.data.dir /home/hadoop/hadoopdata/data datanode 的数据存储目录 dfs.replication 2 HDFS 的数据块的副本存储个数 dfs.secondary.http.address hadoop02:50090 secondarynamenode 运行节点的信息,和 namenode 不同节点
mapred-site.xml:
mapreduce.framework.name yarn
yarn-site.xml:
yarn.resourcemanager.hostname hadoop03 yarn.nodemanager.aux-services mapreduce_shuffle YARN 集群为 MapReduce 程序提供的 shuffle 服务
slaves:
hadoop01 hadoop02 hadoop03
(3)分发安装包到各个节点,Hadoop 集群的每个节点都需要安装 Hadoop 安装包:
[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop02:$PWD
[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop03:$PWD
(4)配置hadoop的环境变量
[hadoop@hadoop01 etc]$sudo vim /etc/profile:
加入:
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@hadoop01 etc]$source /etc/profile
(5)在 HDFS 主节点上执行命令进行初始化 namenode
[hadoop@hadoop01 etc]$hadoop namenode -format
(6)在 HDFS 上的主节点启动 HDFS
[hadoop@hadoop01 etc]$start-dfs.sh
(7)在 HDFS 上的主节点启动 YARN
[hadoop@hadoop01 etc]$sbin/start-yarn.sh
补充:
hdfs的web界面是: http://hadoop01:50070
yarn的web界面是: http://hadoop03:8088
查看集群的状态:hdfs dfsadmin -report
1、启动 namenode 或者 datenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start secondarynamenode
2、启动 yarn nodemanager
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager
感谢各位的阅读,以上就是“hadoop分布式集群的搭建过程”的内容了,经过本文的学习后,相信大家对hadoop分布式集群的搭建过程这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
名称栏目:hadoop分布式集群的搭建过程-创新互联
分享网址:http://myzitong.com/article/dddede.html