hadoop3.x学习(一)--安装与环境配置-创新互联

一、hadoop的组成
  • hadoop1.x:Commons、HDFS(数据存储)、MapReduce(资源调度+计算)
  • hadoop2.x:Commons、HDFS(数据存储)、MapReduce(计算)、Yarn(资源调度)

1.1 HDFS

成都创新互联公司2013年开创至今,是专业互联网技术服务公司,拥有项目成都网站建设、成都网站制作网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元赣榆做网站,已为上家服务,为赣榆各地企业和个人服务,联系电话:18980820575
  • 分布式存储文件系统。分为NameNode和DataNode
  • NameNode: 管理元数据,负责监控DataNode状态,存储在内存。
  • DataNode: 负责存储具体的数据。dataNode和nameNode有一个心跳机制,数据存储在磁盘。

1.2 Yarn(资源调度)

  • Resource Manager:所有资源(内存、CPU等)的管理者
  • Node Manager: 单一资源的管理者。
  • ApplicationMaster: 单个任务的执行者
  • Container: 容器,相当于一台独立的服务器,有对应运行所需要的的资源

在这里插入图片描述
1.2 MapReduce(计算)

将任务分发给每一台服务器,然后结果汇总到一台服务器

二、VM配置多台服务器

1.1 修改虚拟机配置ip网段

  • VM点击编辑,设置虚拟网络编辑器,点击VMnet8修改子网ip为192.168.10.0,修改网关为192.168.10.2。
  • windows打开网络配置,点击vm8修改ipv4
    在这里插入图片描述
  • 修改/etc/sysconfig/network-scripts/ifcfg-ens33
    修改BOOTPROTO为static #静态ip
    #添加一下内容
    IPADDR=192.168.10.100
    GATEWAY=192.168.10.2
    DNS1=192.168.10.2
  • 修改hostname为hadoop100
    vi /etc/hostname
  • 修改hosts映射
    vi /etc/hosts
    #添加以下内容
    192.168.10.100 hadoop100
    192.168.10.101 hadoop101
    192.168.10.102 hadoop102
    192.168.10.103 hadoop103
    192.168.10.104 hadoop104
    192.168.10.105 hadoop105
    192.168.10.106 hadoop106
    192.168.10.107 hadoop107
    192.168.10.108 hadoop108

1.2 虚拟机的基础配置

  • 如果虚拟机为最小系统安装,需要安装如下工具
    #软件库(官方的rpm会缺少一些包)
    yum install -y epel-release
    #vim
    yum install -y vim
    #net-tool
    yum install -y net-tools
  • 关闭停止防火墙
    systemctl stop firewalld
    systemctl disable firewalld.service

1.3 克隆虚拟机(hadoop102 103 104)

  • 关闭虚拟机,进行克隆,创建完整克隆
  • 轮流登录修改ip
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    修改IPADDR为192.168.10.102 (103 104)
  • 修改主机名称
    vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的环境

1.1 在hadoop102上安装jdk和hadoop

在这里插入图片描述tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的环境变量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile

1.3 安装hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/

1.4 配置hadoop的环境变量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


分享文章:hadoop3.x学习(一)--安装与环境配置-创新互联
网址分享:http://myzitong.com/article/hsiog.html