小编给大家分享一下怎么搭建Hadoop集群，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

创新互联公司是一家专业提供高港企业网站建设,专注与成都网站设计、做网站、成都h5网站建设、小程序制作等业务。10年已为高港众多企业、政府机构等服务。创新互联专业网站设计公司优惠进行中。

1、发行版本说明

Hadoop 发行版本分为开源社区版和商业版。社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系。 商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有 cloudera的 CDH、mapR、hortonWorks 等。

我们等会要学习的是商业版：cloudera 的 CDH。如未说明都指 CDH版本。Hadoop 的版本很特殊，是由多条分支并行的发展着。大的来看分为3个大的系列版本：1.x、2.x、3.x。Hadoop1.0 由一个分布式文件系统 HDFS和一个离线计算框架 MapReduce 组成。

Hadoop 2.0 则包含一个支持 NameNode 横向扩展的 HDFS，一个资源管理系统YARN 和一个运行在 YARN 上的离线计算框架 MapReduce。相比于 Hadoop1.0， Hadoop 2.0 功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增强。目前已经趋于稳定，但是整个生态圈体系升级整合还未完毕，所以商用还值得商榷。 我们要讲的Hadoop集群搭建过程，使用的是当前 2 系列最稳定版本：CDH 2.6.0-CDH14.0。

2、Hadoop集群简介

Hadoop集群具体来说包含两个集群：HDFS 集群和 YARN 集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode 、 DataNode 、 SecondaryNameNode。YARN 集群负责海量数据运算时的资源调度，集群中的角色主要有： ResourceManager、NodeManager。

那 mapreduce是什么呢?它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在 HDFS 集群上，并且受到 YARN 集群的资源调度管理。Hadoop 部署方式分三种，Standalone mode(独立模式)、Pseudo-Distributed mode(伪分布式模式)、Cluster mode(群集模式)，其中前两种都是在单机部署。独立模式又称为单机模式，仅 1 个机器运行 1 个 java 进程，主要用于调试。伪分布模式也是在 1 个机器上运行 HDFS 的 NameNode 和 DataNode、YARN 的ResourceManger 和 NodeManager，但分别启动单独的 java 进程，主要用于调试。集群模式主要用于生产环境部署。会使用 N 台主机组成一个 Hadoop 集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。我们以 3 节点为例进行搭建，角色分配如下：

node-01 NameNode DataNode ResourceManager

node-02 DataNode NodeManager SecondaryNameNode

node-03 DataNode NodeManager

3、服务器准备

本案例使用 VMware Workstation Pro 虚拟机创建虚拟服务器来搭建 HADOOP 集群，所用软件及版本如下：

VMware Workstation Pro 12.0

Centos 6.9 64bit

4、网络环境准备

采用 NAT 方式联网。如果创建的是桌面版的 Centos 系统，可以在安装完毕后通过图形页面进行编辑。如果是 mini 版本的，可通过编辑 ifcfg-eth*配置文件进行配置。 注意 BOOTPROTO、GATEWAY、NETMASK。

5、服务器系统设置

同步时间

#同步集群各机器时间

date -s "2019-03-03 03:03:03" yum install ntpdate

#网络同步时间

ntpdate cn.pool.ntp.org

设置主机名

vi /etc/sysconfig/network NETWORKING=yes

HOSTNAME=node-1

配置 IP、主机名映射vi /etc/hosts

192.168.33.101 node-1

192.168.33.102 node-2

192.168.33.103 node-3

配置 ssh 免密登陆

#生成 ssh 免登陆密钥

ssh-keygen -t rsa (四个回车)

执行完这个命令后，会生成 id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免密登陆的目标机器上

ssh-copy-id node-2

配置防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

6、JDK 环境安装

#上传 jdk 安装包

jdk-8u65-linux-x64.tar.gz

#解压安装包

tar zxvf jdk-8u65-linux-x64.tar.gz

#配置环境变量 /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置

source /etc/profile

以上是“怎么搭建Hadoop集群”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

当前标题：怎么搭建Hadoop集群
当前URL：http://myzitong.com/article/jdijdj.html