Hadoop环境如何实现离线安装
这篇文章主要为大家展示了“Hadoop环境如何实现离线安装”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop环境如何实现离线安装”这篇文章吧。
创新互联公司专注于五华企业网站建设,成都响应式网站建设公司,电子商务商城网站建设。五华网站建设公司,为五华等地区提供建站服务。全流程定制网站制作，专业设计，全程项目跟踪，创新互联公司专业和态度为您提供的服务
1. 软件下载
在离线安装服务器前，需要在内网搭建一台HTTP服务器，以供安装相应的软件。软件需要提前下载到本地，这里不再赘述如何下载。
1.1. Linux安装包
CentOS下载地址：http://isoredirect.centos.org/centos/6/isos/x86_64/
如果您有DVD安装包（CentOS-6.5-x86_64-bin-DVD1to2），无需下载。
1.2. Hadoop安装包
CDH: http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/
CM: http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/
Impala: http://archive.cloudera.com/impala/redhat/6/x86_64/impala/
官网地址: http://www.cloudera.com/
注：在下载RPM包是请将noarch目录下面的包一并下载。
2. Yum源配置
2.1. 搭建HTTP服务器
默认安装的CentOS系统自带了Apache的HTTP服务，将其启动即可。
# service httpd start
在浏览器中输入：http://localhost 验证
1.1. Linux源
在安装Hadoop前，可能会需要除安装系统时带的组件外，还需要其它一些未安装的组件，这时就需要Linux安装包。再创建yum软件源前，请先删除或者备份系统自带的源。
# cd /etc/yum.repos.d/
# rm –rf *.repo
1.1.1. 虚拟机镜像源
请将镜像加载到虚拟光驱中，在服务器的文件夹中建立软连接，连接到虚拟光驱。CentOS bin安装包包括两个ISO镜像，建议建立两个虚拟光驱，将两个镜像全部加载进来。
# cd /var/www/html
# ln –s /media/CentOS_6.5_Final centos
# ln –s /media/CentOS_6.5_Final_ centos2
创建系统软件源
# cd /etc/yum.repos.d/
在此目录下面创建 centos.repo的源，内容如下：
1.1.2. 硬盘源
直接将系统安装盘的内容拷贝到硬盘上，在http服务器目录的文件夹中建立软连接，连接到系统安装盘所在的文件夹上。
# cd /var/www/html
# ln –s /tmp/CentOS_6.5_Final centos
# ln –s /tmp/CentOS_6.5_Final_ centos2
创建系统软件源
# cd /etc/yum.repos.d/
在此目录下面创建 centos.repo的源，内容如下：
1.2. Hadoop源
Hadoop源有三部分CDH、CM、Impala，我们借助CM在所有节点上进行安装批量安装Hadoop，并在日后进行管理。
Cloudera Manager （CM） 是业内第一家使用图形化界面管理Hadoop集群的工具。使用CM可将部署时间从几天缩短到几小时， 它提供一个集群范围内的、实时的运行节点及服务视图，它能够用来改变跨集群内的配置。它还包括了报告和诊断工具来观察集群的性能和利用率。
将下载下来的CDH、CM、Impala等上传到HTTP服务器，暂定放在 tmp文件夹下面，并生成rpm包的系统校验文件repodata文件夹，同时在http目录下面创建软链接。如果没有安装ftp服务，请先安装ftp服务。
创建CM源，如果是用CM进行安装Hadoop，只需要创建CM源，安装CM，当用CM进行批量安装时，选择系统本地源时，CM会创建相应的数据源。
1.安装ftp服务（可选）
# yum install vsftp
2.创建repo源校验，如果系统没有安装组件createrepo，请先安装。
# yum install createrepo
# cd /tmp
# createrepo CDH
# createrepo CM
# createrepo Impala
3.创建软链接
# cd /var/www/html
# ln –s /tmp/CDH cdh5
# ln –s /tmp/CM manager
# ln –s /tmp/Impala impala
4.创建系统源
# cd /etc/yum.repos.d
# vi myrepo.repo
2. Linux环境配置
2.1. 创建用户
在所有的结点服务器上建立相同的用户名ai和密码asiainfo。添加此设置为了cm批量安装时输入相同的用户名和密码。
# useradd ai
# passwd ai
2.2. 网络配置
为每台机器配置固定IP，并设置开机自动连接。
安装完cm后尽量不要修改IP, cm在安装时会绑定IP, 修改IP会造成cm不能正确识别主机.
2.3. 修改主机名(hostname)
用root用户打开network，修改为你想要的名字
# vi /etc/sysconfig/network
2.4. 关闭selinux
# vi /etc/selinux/config
2.5. 子节点互通配置
# vi /etc/hosts
2.6. 用户sudo功能设置
添加此设置为了cm批量安装时输入相同的用户名和密码。
安装下图红框里面内容格式修改为
ai ALL=(ALL) NOPASSWD:ALL
# vi /etc/sudoers
2.7. 关闭防火墙
关闭防火墙，并加入到开机自启动里面，即开机就关闭防火墙。
# service iptables stop
# service iptables status
# vi /etc/rc.local
2.8. 配置ssh免key(可选)
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# ssh-copy-id 10.0.7.238 (10.0.7.238是你具体要和谁免key，自己也要和自己设置免key)
2.9. 配置时间同步(需重写)
2.9.1. 修改时区:
2.9.2. 使用pdsh同步
上传pdsh并解压
# tar -xvf pdsh-2.26.tar
进入pdsh目录，执行如下命令
# ./configure -with-ssh --without-rsh
# make
# make install
在156主节点上执行下面命令，目的是将ip为 157、158的机器的时间和10.0.7.156这台机器同步，同步的时间是 13:51:19，
# pdsh -w ssh:10.0.7.[156,157,158] date -s 13:51:19
使用这种同步必须配置ssh免key
2.9.3. 使用NTP server同步
主节点需要设置的部分
3. Hadoop安装
3.1. 安装cm
借助cm的bin包安装校验cm。通常用bin包离线安装时会报错找不到数据源，其实只需安装bin中设定的rpm安装顺序安装即可。如果不放心最后可以用bin包在执行一遍验证。
下载地址：http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
RPM包安装顺序：
# rpm -i jdk-6u31-linux-amd64.rpm
# rpm -i cloudera-manager-daemons-4.8.2-1.cm482.p0.101.el6.x86_64.rpm
# rpm -i cloudera-manager-server-4.8.2-1.cm482.p0.101.el6.x86_64.rpm
# rpm -i cloudera-manager-agent-4.8.2-1.cm482.p0.101.el6.x86_64.rpm
# rpm -i cloudera-manager-server-db-4.8.2-1.cm482.p0.101.el6.x86_64.rpm
# rpm -i enterprise-debuginfo-4.8.2-1.cm482.p0.101.el6.x86_64.rpm
# ./cloudera-manager-installer.bin --skip_repo_package=1
在浏览器中输入网址 http://10.1.195.60:7180/cmf/login
用户名/密码：admin/admin
3.2. 安装CDH
选择Free版
输入集群中所有的IP或者host, 每行一个，回车换行。
这步需要选的很多，比照下面的来选（做）就OK。
确保输入的路径和HTTP服务器配置的路径一致, 在浏览器中可以访问。
如：
http://10.1.195.60/manager/
http://10.1.195.60/impala/
http://10.1.195.60/cdh5/
用户使用ai，所有主机接受相同密码，密码统一为asiainfo
请确保一致, 后续有脚本需要使用.
按下图勾选服务, 点击”检查角色分配”, 因各省机器数量不一致, 分配方案不一样. 各省详见单独设置文档.
查看”DataNode数据目录”, 分配路径在”/opt”下, 安装时确保所有硬盘已挂载. Cm会自动选择最大的分区.
以上是“Hadoop环境如何实现离线安装”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
名称栏目：Hadoop环境如何实现离线安装
网页链接：http://myzitong.com/article/gjhspg.html