简单搭建hadoop运行环境-创新互联
简单搭建hadoop运行环境
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务
一、安装前的准备
已安装"SoftwareDevelopment Workstation"软件包的linux虚拟机3台
jdk-6u45-linux-x64.bin安装包、hadoop-1.0.0.tar.gz安装包
1、设定linux虚拟机IP地址及主机名如下：
主机名 IP地址 master 192.168.232.129 salve1 192.168.232.130 salve2 192.168.232.131
2、向/etc/hosts文件添加内容，使虚拟机之间使用主机名能够互ping(非常重要!!!)
# 可以只修改一个主机的/etc/hosts文件，然后用scp命令远程传输覆盖其他主机的hosts文件 [root@master ~]# vim /etc/hosts master 192.168.232.129 salve1 192.168.232.130 salve2 192.168.232.131 [root@master ~]# scp /etc/hosts root@salve1:/etc/hosts [root@master ~]# scp /etc/hosts root@salve2:/etc/hosts # 测试 [root@master ~]# ping master [root@master ~]# ping salve1 [root@master ~]# ping salve2
3、设置三台主机ssh无密码验证配置
# 在master主机上生成密码对 [root@master ~]# ssh-keygen -t rsa # 敲两次回车，便会在/root/.ssh目录下生成id_rsa.pub(公钥文件)、id_rsa(私钥文件) # 将公钥文件追加到/root/.ssh/authorized_keys文件中，并测试是否可以实现无密码登录 [root@master ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys [root@master ~]# ssh master # 将公钥文件远程传输到salve1、salve2主机上 [root@master ~]# scp .ssh/id_rsa.pub root@salve1:/root/.ssh/ [root@master ~]# scp .ssh/id_rsa.pub root@salve2:/root/.ssh/ # 将传输过来的公钥文件追加到authorized_keys，实现master主机ssh无密码登陆salve1、salve2主机 [root@salve1 ~]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys [root@salve2 ~]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys # 测试 [root@master ~]# ssh salve1 [root@master ~]# ssh salve2 # 需要注意的是，以上操作还需要在其他主机上操作一次，以实现三台主机均可以相互无密码登录 # 如果在以上操作完成后，出现登录失败的情况，请修改三个主机的ssh配置文件，修改以下参数，并重启ssh服务 [root@master ~]# vim /etc/ssh/ssh_config RSAAuthentication yes # 启用RSA认证 PubkeyAuthentication yes # 启用公钥、私钥配对认证 [root@master ~]# service sshd restart
二、开始安装配置
1、Java环境安装(如果在安装linux时安装了SoftwareDevelopment Workstation软件包，这一步可跳过)
1.1、安装JDK
所有机器上都要安装JDK，现在就在master主机安装，然后其他主机按照步骤重复进行即可
# 创建/usr/java目录,将jdk-6u45-linux-x64.bin复制到此目录下，赋予执行权限，并执行 [root@master ~]# mkdir /usr/java [root@master ~]# cp jdk-6u45-linux-x64.bin /usr/java/ [root@master ~]# cd /usr/java/ [root@master java]# chmod +x jdk-6u45-linux-x64.bin [root@master java]# ./jdk-6u45-linux-x64.bin [root@master java]# lsjdk1.6.0_45 jdk-6u45-linux-x64.bin # 安装完成后发现当前目录下多了 jdk1.6.0_45 文件夹，安装结束
1.2、配置环境变量
# 编辑/etc/profile文件，在尾部追加以下内容 [root@master ~]# vim /etc/profile # set java environment export JAVA_HOME=/usr/java/jdk1.6.0_45 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$$JAVA_HOME/jre/bin # 执行下面命令使其配置立即生效,并进行测试 [root@master ~]# source /etc/profile [root@master ~]# java -version java version "1.6.0_45" OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15) OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)
1.3、安装配置其他主机（同上，略）
2、hadoop集群安装配置
2.1、hadoop集群安装
所有机器上都要安装JDK，现在就在master主机安装，然后其他主机按照步骤重复进行即可
# 将软件包解压到/usr/目录下，并重命名 [root@master ~]# tar –zxvf hadoop-1.0.0.tar.gz -C /usr/ [root@master ~]# cd /usr/ [root@master usr]# mv hadoop-1.0.0 hadoop # 在hadoop目录下创建tmp文件夹 [root@master usr]# cd hadoop [root@master hadoop]# mkdir tmp
2.2、配置环境变量
# 编辑/etc/profile文件，在尾部追加以下内容 [root@master ~]# vim /etc/profile # set hadoop path export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/bin # 执行下面命令使其配置立即生效 [root@master ~]# source /etc/profile
2.3、配置hadoop
1)配置hadoop-env.sh
该文件位于/usr/hadoop/conf目录下
[root@master conf]# vim hadoop-env.sh # 如果是自己配置的JDK，则添加以下内容 # set java enviroment export JAVA_HOME=/usr/java/jdk1.6.0_45 # 如果是安装SoftwareDevelopment Workstation软件包，则添加以下内容 # set java enviromentexport JAVA_HOME=/usr
2)配置core-site.xml文件
[root@master conf]# vim core-site.xmlhadoop.tmp.dir /usr/hadoop/tmp A base for other temporary directories fs.default.name hdfs://192.168.232.129:9000
3)配置hdfs-site.xml文件
[root@master conf]# vim hdfs-site.xmldfs.replication 1
4)配置mapred-site.xml文件
[root@master conf]# vim mapred-site.xmlmapred.job.tracker http://192.168.232.129:9001
5)配置masters文件
# 将原来的localhost去掉 [root@master conf]# vim masters 192.168.232.129 # master主机的IP地址 # master # master主机名(要保证hosts文件已修改)
6)配置salves文件
[root@master conf]# vim slaves 192.168.232.130 # salve1的IP地址 192.168.232.131 # salve2的IP地址 # salve1 # salve1主机名(要保证hosts文件已修改) # salve1 # salve2主机名(要保证hosts文件已修改)
master主机配置完成
2.4、配置salve1主机、salve2主机
# 只需要将配置好的hadoop文件夹远程传输到salve1和salve2上即可 [root@master ~]# scp -r /usr/hadoop root@salve1:/usr/ [root@master ~]# scp -r /usr/hadoop root@salve2:/usr/ # 并且修改salve1主机、salve2主机的/etc/profile文件 [root@salve1 ~]# vim /etc/profile # set hadoop pathexport HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/bin # 执行下面命令使其配置立即生效 [root@salve1 ~]# source /etc/profile
配置完成
三、启动及验证
1、格式化HDFS文件系统(只需一次，下次启动不再需要格式化)
[root@master ~]# hadoop namenode -format
2、启动hadoop
[root@master ~]# start-all.sh
3、验证hadoop
3.1、用java自带的jps查看进程
# 在master上查看 [root@master ~]# jps 5434 JobTracker 4447 SecondaryNameNode 5221 NameNode 5535 Jps # 在salve1上查看 [root@salve1 ~]# jps 4313 Jps 4260 TaskTracker 4171 DataNode
3.2、用"hadoop dfsadmin -report"查看Hadoop集群的状态
[root@master ~]# hadoop dfsadmin -report
3.3、用网页查看集群
1)访问http://192.168.232.129:50030
2)访问http://192.168.232.129:50070
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享名称：简单搭建hadoop运行环境-创新互联
当前地址：http://myzitong.com/article/ddeeis.html