Hadoop安装1.0(简版)-创新互联
前提:
成都创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于成都网站制作、做网站、茶陵网络推广、小程序定制开发、茶陵网络营销、茶陵企业策划、茶陵品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们大的嘉奖;成都创新互联公司为所有大学生创业者提供茶陵建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com一定要保证iptables是关闭的并且selinux是disabled
1、准备硬件
1台namenode和3台datanode
namenode 192.168.137.100
datanode1 192.168.137.101
datanode2 192.168.137.102
datanode3 192.168.137.103
2、在4台机器上建立hadoop用户(也可以是别的用户名)
useradd hadoop
3、在4台机器上安装JDK 1.6
安装后的JAVA_HOME放在/jdk
配置环境变量
vim /etc/bashrc
export JAVA_HOME=/jdk
scp -r /jdk* datanode1:/
scp -r /jdk* datanode2:/
scp -r /jdk* datanode3:/
4、配置4台机器的多机互信
一定记得将各个节点的
/home/hadoop/.ssh
和其以下的所有文件都设成700权限位
5、安装hadoop
tar zxvf hadoop-1.0.4.tar
安装在/hadoop
将/hadoop权限位置为755
vim /hadoop/conf/hadoop-env.sh
export JAVA_HOME=/jdk
vim /hadoop/conf/core-site.xml
vim /hadoop/conf/mapred-site.xml
vim /hadoop/conf/hdfs-site.xml
vim /hadoop/conf/masters
192.168.137.100
vim /hadoop/conf/slaves
192.168.137.101
192.168.137.102
192.168.137.103
把配置好的HADOOP拷贝到datanode上去
cd /
scp -r hadoop datanode1:/hadoop
scp -r hadoop datanode2:/hadoop
scp -r hadoop datanode3:/hadoop
6、安装zookeeper
tar zxvf zookeeper-3.3.4.tar
安装在/zookeeper
cd /zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
加入
dataDir=/zookeeper-data
dataLogDir=/zookeeper-log
server.1=namenode:2888:3888
server.2=datanode1:2888:3888
server.3=datanode2:2888:3888
server.4=datanode3:2888:3888
建立/zookeeper-data
mkdir /zookeeper-data
建立/zookeeper-log
建立文件/zookeeper-data/myid
vim /zookeeper-data/myid
1
(datanode1里对应写入2)
(datanode2里对应写入3)
(datanode3里对应写入4)
10、安装hive
tarzxvf hive-0.8.0.tar
到/hive
vim /hive/bin/hive-config.sh
export HADOOP_HOME=/hadoop
export PATH=.$HADOOP_HOME/bin:$PATH
export HIVE_HOME=/hive
export PATH=$HIVE_HOME/bin:$PATH
export JAVA_HOME=/jdk
export JRE_HOME=/jdk/jre
export CLASSPATH=.$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=.$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
vim /etc/bashrc
export HIVE_HOME=/hive
11、启动hadoop
格式化并启动系统
su hadoop
cd /usr/local/hadoop/bin
./hadoop namenode -format
./start-dfs.sh
./start-mapred.sh
http://192.168.137.100:50070查看HDFS namenode
http://192.168.137.100:50030 查看MAPREDUCE JOB TRACKERS
http://192.168.137.101:5006查看datanode1上的TASK TRACKER
12、相关命令
hadoop fs -mkdir direc
hadoop fs -ls
hadoop fs -cp file:///tmp/test.file /user/hadoop/direc
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前名称:Hadoop安装1.0(简版)-创新互联
本文链接:http://myzitong.com/article/degojh.html