Hadoop集群该怎么搭建-创新互联
本篇内容主要讲解“Hadoop集群该怎么搭建”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Hadoop集群该怎么搭建”吧!
一、Hadoop集群的基本概念。
Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下：
1、独立模式即本地运行模式（standalone或local mode）无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
2、伪分布运行模式伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布运行模式。
3、集群模式如果Hadoop对应的Java进程运行在多台物理机器上,称为集群模式。
二、Hadoop集群搭建步骤。
1.服务器准备
本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：
Vmware 14.0
Centos 6.7 64bit
2.配置网卡
终端输入 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0
输入IP地址，子网掩码，网卡，域名服务器
3.测试网卡配置是否正确
重启网络服务 输入 service network restart
输入 ping www.baidu.com 如果能ping通，则网卡配置成功
4.修改主机名
输入 vi /etc/sysconfig/network ,修改主机名
5.关闭防火墙
service iptables stop 仅仅关闭一次
chkconfig iptables off 永久关闭
6.安装ssh客户端
执行yum install -y openssh-clients
7.克隆服务器
关闭虚拟机，右键 > 管理 > 克隆，选择完整克隆
为克隆好的机子配置网卡，执行 vi /etc/udev/rules.d/70-persistent-net.rules
执行 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0，修改IP地址即可
执行 vi /etc/sysconfig/network ,修改主机名为hadoop02
重复上述步骤，建立hadoop03服务器
重启每部机子，使网卡生效
8.hosts映射
执行 vi /etc/hosts,输入以下内容，在Windows的 C:\Windows\System32\drivers\etc\hosts下也输入以下内容
9.ssh链接及免密登录
在hadoop01服务器上输入 ssh hadoop02,测试ssh连接是否成功，
在hadoop01服务器上新建 vi Auto.sh文件，文件中写入免密脚本
执行脚本即可实现免密登录(只是单项免密)
10.安装JDK
1：把JDK安装包上传到linux
2 : 解压文件到安装目录 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/
3 : 配置环境变量 vi /etc/profile,在末尾输入
export PATH=$PATH:$JAVA_HOME/bin
11.安装Hadoop
1 : 上传hadoop安装包
2 : 解压文件到安装目录 tar -zxvf /root/hadoop-2.8.3.tar.gz -C /usr/local/
3 : 进入hadoop安装目录下，cd hadoop-2.8.3/etc/hadoop下开始配置文件
4 : 执行vi /etc/hadoop/hadoop-env.sh JAVA_HOME在哪里
The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.7.0_51
export JAVAHOME改为绝对路径
5 : 执行vi core-site.xml
6 : vi hdfs-site.xml
7 : 执行改名cp mapred-site.xml.tmp* mapred-site.xml
vi mapred-site.xml
8 : vi yarn-site.xml
9 : vi salves
10 : 配置环境变量 vi /etc/profile
12.另外两台服务器的JDK和hadoop安装
把第一台安装好的jdk和hadoop以及配置文件发送给另外两台
hosts文件 scp -r /etc/hosts/ hadoop02:/etc/
jdk安装后的文件夹 scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/
Hadoop安装后的文件夹scp -r /usr/local/hadoop-2.8.3 hadoop02:/usr/local/
/etc/profile 配置文件 scp -r /etc/profile hadoop02:/etc/
hadoop03做同样操作
13.启动Hadoop集群
初始化HDFS(在hadoop01进行操作)
bin/hadoop namenode -format
启动HDFS
启动YARN
hadoop集群搭建成功！
三、Hadoop集群搭建注意事项。
在初次搭建hadoop的过程难免会出现一些问题。诸如集群突然显示虚拟机出现了问题，导致某一个DataNode数据丢失 并且无法通过Xshell远程访问其他的DataNode 主机和虚拟机无法互相ping通，如果网上能找的解决办法基本都找了，却依然无法解决，就可以删除虚拟机，重新克隆一台机器。
到此，相信大家对“Hadoop集群该怎么搭建”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
网站标题：Hadoop集群该怎么搭建-创新互联
当前路径：http://myzitong.com/article/jgsge.html