如何编译Spark1.5.2

这篇文章将为大家详细讲解有关如何编译Spark 1.5.2，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

创新互联是一家网站设计公司，集创意、互联网应用、软件技术为一体的创意网站建设服务商，主营产品：响应式网站建设、高端网站设计、全网整合营销推广。我们专注企业品牌在网站中的整体树立，网络互动的体验，以及在手机等移动端的优质呈现。成都做网站、成都网站建设、移动互联产品、网络运营、VI设计、云产品.运维为核心业务。为用户提供一站式解决方案，我们深知市场的竞争激烈，认真对待每位客户，为客户提供赏析悦目的作品，网站的价值服务。

在编译spark 1.5.2 时，由于maven版本过低导致出错（貌似使用oschina国内镜像也出现了错误，所以没采用国内镜像，这样就慢一些，但是没关系，能成功就行）

升级maven到最新的版本：

                             （1）卸载之前的maven, sudo apt-get autoremove maven

                             （2）下载最新的maven, apache-maven-3.3.9-bin.tar.gz

                             （3）sudo tar -zxvf  apache-maven-3.3.9-bin.tar.gz -C /usr

                             （4）sudo gedit  ~/.bashrc

                             （5） # MAVEN

                                        export MAVEN_HOME=/usr/apache-maven-3.3.9

                                        export PATH=${MAVEN_HOME}/bin:$PATH

                            （6）source ~/.bashrc

  设置Maven内存， 

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m"

                   （这里得设置 MaxPermSize=1g ，不然会出现 OutOfMemoryError）

 开始编译：mvn -Pyarn -Dyarn.version=2.6.0 -Dhadoop.version=2.6.0 -DskipTests clean -U package

-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M

-Xms    JVM初始分配的堆内存大小，默认是物理内存的1/64。
-Xmx   JVM最大分配的堆内存大小，默认是物理内存的1/4。
-XX:PermSize  JVM初始分配的非堆内存大小，默认是物理内存的1/64。
-XX:MaxPermSize  JVM最大分配的非堆内存大小，默认是物理内存的1/4。
-XX:NewSize  JVM初始分配的新生代堆区域内存大小。
-XX:MaxNewSize  JVM最大分配的新生代堆区域内存大小。
-XX:ReservedCodeCacheSize  编译代码时的缓存空间大小。

关于“如何编译Spark 1.5.2”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

本文名称：如何编译Spark1.5.2
分享URL：http://scjbc.cn/article/ishegs.html