hadoopinstall

1.Hadoop安装步骤
将Hadoop文件拷贝到/usr/local目录下并解压Tar -zxvf hadoop-3.0.0.tar.gz
将解压后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射关系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相关,在/usr/local/hadoop/etc/hadoop目录下配置
vim hadoop-env.sh 运行环境依赖Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode节点(Hadoop可以启动啦)
2.1、vim core-site.xml 每个节点都需要配置才可
------配置通信节点url,所有节点都需要该配置
hadoop.tmp.dir 配置Hadoop文件存储默认目录(若未配置,默认保存临时目录/tmp下的)


fs.defaultFS
hdfs://master:9000

成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站建设、网站设计、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的播州网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!


hadoop.tmp.dir
/var/hadoop

3.Hadoop默认4个基本配置文件
hadoop默认配置
Core-default.xml ------对应 core-site.xml
Hdfs-default.xml-------对应 hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆盖默认配置(Hdfs-site.xml仅在Namenode配置即可)
----配置hadoop复制的保存份数(只在namenode节点配置即可)
dfs.replication HDFS保存文件保存的份数(默认是3份)
dfs.namenode.heartbeat.recheck-interval DataNode健康检查的间隔时间(毫秒)
dfs.permissions.enabled 测试时,可以关闭权限检查(否则没有权限访问)


dfs.replication
3


dfs.namenode.heartbeat.recheck-interval
20000


dfs.permissions.enabled
false


3.2、mapred-site.xml仅在Namenode配置即可),
mapreduce.framework.name 将mapreduce与yarn资源调度平台关联(即mapreduce计算引擎使用yarn作为调度引擎)


mapreduce.framework.name
yarn


3.3yarn-site.xml仅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主机名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置计算MapReduce计算服务



yarn.resourcemanager.hostname
hmaster


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

4、基本配置完毕,先格式化namenode节点
Hdfs namenode -format
start-dfs.sh 启动Hadoop集群所有节点
stop-dfs.sh 停止Hadoop集群所有节点
启动namenode节点(master)
hdfs --daemon start namenode (3.0写法)
hdfs --daemon stop namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
jps查看相关进程是否起来
hdfs dfsadmin -report | more 查看Hadoop集群的状态
http://172.26.19.40:50070/ Hadoop集群UI管理界面
http://172.26.19.40:9000/ 集群内部通信接口服务
5、仅在namenode节点/usr/local/hadoop/etc/hadoop下
在slaves文件里添加所有DataNode节点hostname(方便以后脚本批量配置所有slaves节点)
vim slaves
hslave1
hslave2
hslave3
6、免密设置
cd ~ 来到根目录 ll -a 找到.ssh 文件
在.ssh目录执行 ssh-keygen -t rsa 生成root用户私钥与公钥如下图
然后将公钥id_rsa.pub 拷贝到所有slave节点.ssh目录
(在master 上用root登录slave时,用master的私钥加密后传输到slave节点,在所有slave节点拷贝的公钥能解密,证明是root用户登录上来了)
执行命令 Ssh-copy-id slave2 拷贝公钥id_rsa.pub 到slave2的.ssh目录(生成文件authorized_keys)
这时在master上可以免密登录slave1了


标题名称:hadoopinstall
链接分享:http://myzitong.com/article/gpieph.html