hadoop1.1.2集群安装的示例分析
小编给大家分享一下hadoop1.1.2集群安装的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
公司主营业务:成都网站制作、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出井陉免费做网站回馈大家。
构建hadoop集群
a>vmbox复制 或者vmware克隆 得到新的虚拟机
b>新建一个ip--Connection修改,然后固定一个ip值
c>修改主机名
1 修改hostname
(1)执行命令hostname cloud4 修改会话中的hostname
(2)验证:执行命令hostname
(3)执行命令vi /etc/sysconfig/network 修改文件中的hostname
(4)验证:执行命令reboot -h now 重启机器
2 设置ip与hostname绑定
(1)执行命令vi /etc/hosts
在文本最后增加一行192.168.80.101 cloud41
(2)验证:ping cloud4
(3)在window中配置:主机名对应的ip
C:\Windows\System32\drivers\etc\hosts
d> ssh免密码登陆
新建就要配置
//(1)执行命令ssh-keygen -t rsa (然后一路Enter) 产生秘钥位于/root/.ssh/
//(2)执行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 产生授权文件
//(3)验证:ssh localhost
如果克隆的直接下一步:
判断本系统是否密码配置成功:
ssh cloud4 (ssh 主机名)
(主节点把密码传到从节点)
ssh-copy-id -i cloud41
转到从节点
ssh cloud41
(从节点把密码传到主节点)
ssh-copy-id -i cloud4
e>复制主节点的jdk和hadoop到对方
(-r递归)
scp -r /usr/local/jdk cloud41:/usr/local
scp -r /usr/local/hadoop cloud41:/usr/local
scp /etc/profile cloud41:/etc
source /etc/profile 配置文件生效
f>修改 hadoop/conf/slaves来添加从节点
子节点可以是--------Slaves内容如下:
localhost(可要可不要,判断要不要主节点存放数据,一般dataNode放在从节点中)
cloud41,cloud42
g>在主节点启动,从节点不执行以下命令
格式化hadoop的namenode
hadoop namenode –format
start-all.sh
h>如果配置成功
主节点:
[root@cloud41 ~]# jps
4020 NameNode
4353 JobTracker
4466 TaskTracker
4508 Jps
4275 SecondaryNameNode
4154 DataNode
从节点:
[root@cloud41 ~]# jps
3286 TaskTracker
3352 Jps
3194 DataNode
i>新节点的加入:
1. 启动新节点:(datanode,tasktracker)
hadoop/bin
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
2. 在主节点重新获取从节点
hadoop dfsadmin –refreshNodes
3. 主节点设置负载均衡
hadoop/bin
(可选)在主节点上执行负载均衡命令 start-balance.sh
4.修改副本数
hadoop fs -setrep 2 /hello
5.修改安全模式状态
hadoop dfsadmin -safemode leave|enter|get (leave表示关闭安全模式)
以上是“hadoop1.1.2集群安装的示例分析”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网页标题:hadoop1.1.2集群安装的示例分析
当前URL:http://myzitong.com/article/psoegd.html