如何编译Spark1.5.2
这篇文章将为大家详细讲解有关如何编译Spark 1.5.2,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联是一家网站设计公司,集创意、互联网应用、软件技术为一体的创意网站建设服务商,主营产品:响应式网站建设、高端网站设计、全网整合营销推广。我们专注企业品牌在网站中的整体树立,网络互动的体验,以及在手机等移动端的优质呈现。成都做网站、成都网站建设、移动互联产品、网络运营、VI设计、云产品.运维为核心业务。为用户提供一站式解决方案,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏析悦目的作品,网站的价值服务。
在编译spark 1.5.2 时,由于maven版本过低导致出错(貌似使用oschina国内镜像也出现了错误,所以没采用国内镜像,这样就慢一些,但是没关系,能成功就行)
升级maven到最新的版本:
(1)卸载之前的maven, sudo apt-get autoremove maven
(2)下载最新的maven, apache-maven-3.3.9-bin.tar.gz
(3)sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /usr
(4)sudo gedit ~/.bashrc
(5) # MAVEN
export MAVEN_HOME=/usr/apache-maven-3.3.9
export PATH=${MAVEN_HOME}/bin:$PATH
(6)source ~/.bashrc
设置Maven内存,
export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m"
(这里得设置 MaxPermSize=1g ,不然会出现 OutOfMemoryError)
开始编译:mvn -Pyarn -Dyarn.version=2.6.0 -Dhadoop.version=2.6.0 -DskipTests clean -U package
-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M
-Xms JVM初始分配的堆内存大小,默认是物理内存的1/64。
-Xmx JVM最大分配的堆内存大小,默认是物理内存的1/4。
-XX:PermSize JVM初始分配的非堆内存大小,默认是物理内存的1/64。
-XX:MaxPermSize JVM最大分配的非堆内存大小,默认是物理内存的1/4。
-XX:NewSize JVM初始分配的新生代堆区域内存大小。
-XX:MaxNewSize JVM最大分配的新生代堆区域内存大小。
-XX:ReservedCodeCacheSize 编译代码时的缓存空间大小。
关于“如何编译Spark 1.5.2”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
本文题目:如何编译Spark1.5.2
文章分享:http://myzitong.com/article/ishegs.html