linux中如何搭建hadoop单机模式
这篇文章将为大家详细讲解有关linux中如何搭建hadoop单机模式,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
成都一家集口碑和实力的网站建设服务商,拥有专业的企业建站团队和靠谱的建站技术,10余年企业及个人网站建设经验 ,为成都数千家客户提供网页设计制作,网站开发,企业网站制作建设等服务,包括成都营销型网站建设,品牌网站建设,同时也为不同行业的客户提供成都网站设计、网站制作的服务,包括成都电商型网站制作建设,装修行业网站制作建设,传统机械行业网站建设,传统农业行业网站制作建设。在成都做网站,选网站制作建设服务商就选创新互联公司。
运行环境
ubuntu版本------ubuntukylin-14.04.2 64位版本
Hadoop版本------Hadoop2.6.4-release
虚拟机版本-------VMware Workstation Pro 12.0
Jvm版本---------Jdk1.7以上
安装步骤
1.安装ubuntu
虚拟机安装ubuntu时安装完一个虚拟机后可选择clone直接复制出来相同的克隆版本省去安装时间
安装ubuntu并建立hadoop用户,为后续集群ssh通道做预备,不建议使用root用户进行一系列操作,具体原因百度,root远程可对系统资源进行任意修改,切记,具体shell脚本如下
groupadd hadoop useradd -mg hadoop hadoop #-m指的是在/home/目录下新建一个与用户名相同的文件夹 #-g指的是添加用户组 passwd hadoop #回车后将密码设置成123456 ps:密码限于开发调试,生产环境切勿大意,设立复杂度高密码保障安全
1.安装jvm
下载Java对应版本的tar.gz包如下图所示
Ps:centos下 下载rpm包可直接使用RPM命令进行安装,ubuntu下建议使用gz包进行安装,笔者尝试安装rpm插件进行rpm安装,把系统搞残了 有经验的大神欢迎留言指导,谢过了
在/usr/lib目录下新建jvm目录,将gz包解压到/usr/lib/jvm目录下,并将java-***包重命名为java 重命名命令
Mv java-***** java
打开环境变量预执行文件 gedit /etc/profile
添加这几行环境变量
export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
输入命令后重启系统或者直接执行source /etc/profile 执行预加载脚本变量
输入命令java -version 打印出现如上图所示版本信息,代表jdk安装成功
2.调试hadoop单机运行
进入hadoop脚本环境配置文件
gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh
将JAVA_HOME修改为绝对路径.
Ps:至于为什么默认配置的${JAVA_HOME}不起作用,笔者暂时未找到原因欢迎大神们进行补充
#配置hadoop ssh 无密码登录 --需求背景,由于hadoop集群动辙几十上百台机器进行集群计算
假如进行密钥输入认证会增加许多运维的工作量,所以社区内普遍进行公有密钥进行交换比对登录
进入hadoop用户home目录 /home/hadoop/ 找到 .ssh 目录没有则新建,注意将文件夹所有权修改为hadoop用户所有
安装ssh服务
sudo apt-get install openssh-server sudo apt-get install openssh-client
尝试输入命令ssh localhost 出现输入密码界面则代表ssh服务端与客户端安装成功
l 配置免密码登录
进入hadoop用户home目录下
cd /home/hadoop
能看见.sshwe文件夹,进入.ssh文件夹
执行一下命令生成ssh免登录的公钥和私钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
这个命令会在.ssh文件夹下创建id_dsa和id_dsa.pub两个文件,这是SSH的一对私钥和公钥
现在把id_dsa.pub追加到公钥中去,执行以下命令
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
现在切换到hadoop用户登录,在尝试用ssh进行远程连接
ssh localhost是不是得到以下画面
代表免登录配置成功
进入hadoop目录/opt/hadoop/hadoop/
执行./sbin/start-all.sh 脚本启动hadoop
由于是单机运行hadoop,nameNode 和 Jobtracker都没有启动如何查看hadoop是否启动呢?
查看HDFS文件系统
./bin/hadoop fs -ls /
出现以上信息,恭喜,代表你单机安装hadoop成功。Hdfs文件结构就是如linux一样
关于“linux中如何搭建hadoop单机模式”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
文章题目:linux中如何搭建hadoop单机模式
URL网址:http://myzitong.com/article/pogiop.html