Hadoop实践(一)环境搭建
大数据定义是:大量的非结构话的数据。量要大,要非结构化。
在新华等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都做网站、网站建设 网站设计制作定制网站开发,公司网站建设,企业网站建设,成都品牌网站建设,营销型网站建设,成都外贸网站制作,新华网站建设费用合理。
Hadoop 分三部分组成,1.hdfs hadoop分布式文件系统。2.MapReduce 分布式计算。3.hive 分布式存储。
操作系统:centos6.5 64
环境搭建:1.安装Hadoop,2.安装MySQL, 3.安装hive,4,安装jdk
Hadoop安装:
下载Hadoop1.0.4,hadoop-1.0.4.tar.gz。
wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz
解压:
tar xzvf hadoop-1.0.4.tar.gz -C /usr
修改3个配置文件
cd /usr/hadoop-1.0.4/conf/
vi core-site.xml
vi mapred-site.xml
vi hdfs-site.xml
配置环境变量,此处粘贴了java,hive,hadoop的环境变量
vi /etc/profile
JAVA_HOME=/home/Hadoop/jdk1.6.0_45
CLASSPATH=$JAVA_HOME/jre/lib/rt.jar
HADOOP_HOME=/usr/hadoop-1.0.4
HIVE_HOME=/usr/hive
PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin:$HIVE_HOME/bin
安装jdk:
下载jdk
wget http://download.oracle.com/otn-pub/java/jdk/6u45-b06/jdk-6u45-linux-x64.bin
chmod +x jdk-6u45-linux-x64.bin
./jdk-6u45-linux-x64.bin
配置 vi hadoop-env.sh,末尾添加jdkhome
export JAVA_HOME=/home/Hadoop/jdk1.6.0_45
进入bin目录配置 vi hadoop-config.sh
export HADOOP_HOME=${HADOOP_PREFIX}
export HADOOP_HOME_WARN_SUPPRESS=1
格式化
./hadoop namenode -format
2.mysql 安装,
3.hive安装,
下载
wget http://mirrors.cnnic.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz
tar -xf apache-hive-0.13.1-bin.tar.gz
mv apache-hive-0.13.1-bin hive
更换元数据库
cd conf/
touch hive-site.xml
vi hive-site.xml
下载mysql驱动,
wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.0.8.tar.gz
tar -xzvf mysql-connector-java-5.0.8.tar.gz
cd mysql-connector-java-5.0.8
cp mysql-connector-java-5.0.8-bin.jar /usr/hive/lib/
启动
1.hdfs 启动
cd /usr/hadoop-1.0.4/bin
./start-all.sh
password/操作系统密码
2.mysql 启动
service mysqld start
mysql -uroot -proot
3.hive启动
cd /usr/hive/bin
./hive
当前题目:Hadoop实践(一)环境搭建
URL链接:http://myzitong.com/article/gephoe.html