大数据之----部署安装编译打包hadoop终极篇-创新互联
------------------------------软件版本--------------------------------------
主要从事网页设计、PC网站建设（电脑版网站建设）、wap网站建设（手机版网站建设）、成都响应式网站建设、程序开发、微网站、成都微信小程序等，凭借多年来在互联网的打拼，我们在互联网网站建设行业积累了丰富的成都网站设计、网站建设、外贸网站建设、网络营销经验，集策划、开发、设计、营销、管理等多方位专业化运作于一体，具备承接不同规模与类型的建设项目的能力。
RHEL6.8 hadoop2.8.1 apache-maven-3.3.9 findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45
------------------------------软件版本---------------------------------------
大数据概述 可以用“5V + 1C”来概括：
Variety 多样化 Volume 海量 Velocity 快速 Vitality 灵活 Value 价值性 Complexity 复杂
1.Hadoop生态
宏观: Hadoop为主的生态圈 hadoop flume........
狭义: apache hadoop hadoop.apache.org
2.Hadoop(存储+计算+资源和作业调度)
hadoop1.x
HDFS 存储
MapReduce 计算+资源和作业调度
hadoop2.x 企业正在用
HDFS 存储
MapReduce 计算
YARN 资源和作业调度平台 计算组件都会on yarn
hadoop3.x ???
EC技术：Erasure Encoding 简称EC，是Hadoop3给HDFS拓展的一种新特性，用来解决存储空间文件。
YARN：提供YARN的时间轴服务V.2，以便用户和开发人员可以对其进行测试，并提供反馈意见。
优化Hadoop Shell脚本
重构Hadoop Client Jar包
支持随机Container
MapReduce任务级本地优化
支持多个NameNode
部分默认服务端口被改变
支持文件系统连接器
DataNode内部添加了负载均衡
重构后台程序和任务对管理
2.Maven部署
blog
2.1解压
[root@hadoop1 softwore]# pwd --配置环境变量 [root@hadoop1 softwore]# vi /etc/profile [root@hadoop1 softwore]# source /etc/profile |
Maven部署为二进制部署，解压配置环境变量
2.2配置mavne目录
2.3查看配置文件和 解压我们准备好的仓库文件
3.Hadoop编译
编译hadoop 通过Requirements我看可以知道需要安装jdk maven findbugs protocolBuffer cmake Zlib openssl-devel 等软件
3.1解压
3.2查看pom.xml
3.3查看BUILDING.txt
Requirements:编译软件环境要求
* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
3.4 JDK部署
| [root@hadoop1 softwore]# tar -zxvf jdk-8u45-linux-x64.gz -C /usr/java[root@hadoop1 softwore]# ls -ld /usr/java/* drwxr-xr-x 8 root root 4096 12月 15 2016 /usr/java/djdk1.7.0_79 drwxr-xr-x 8 uucp 143 4096 4月 11 2015 /usr/java/jdk1.8.0_45 drwxr-xr-x 8 uucp 143 4096 10月 7 2015 /usr/java/jdk1.8.0_65 [root@hadoop1 softwore]# vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_45 [root@hadoop1 softwore]# source /etc/profile |
二进制版本解压，配置环境变量即可
3.5 MAVEN
上面我们已经安装maven和jdk检测版本是否满足我们编译软件要求
[root@hadoop1 softwore]# mvn --version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /opt/software/apache-maven-3.3.9
Java version: 1.8.0_45, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_45/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"
[root@hadoop1 softwore]#
3.6 FINDBUGS
[root@hadoop1 softwore]# unzip findbugs-1.3.9.zip |
二进制安装解压，配置环境变量即可
3.7 PROTOCBUF编译安装
| [root@hadoop1 software]# tar xvf protobuf-2.5.0.tar.gz [root@hadoop1 yum.repos.d]# yum install -y gcc gcc-c++ make cmake ---编译环境 [root@hadoop1 yum.repos.d]#cd /opt/software/protobuf-2.5.0 [root@hadoop1 protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf [root@hadoop1 protobuf-2.5.0]# make && make install [root@hadoop1 protobuf-2.5.0]# vim /etc/profile export PROTOC_HOME=/usr/local/protobuf export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH [root@hadoop1 software]# source /etc/profile [root@hadoop1 software]# protoc --version libprotoc 2.5.0 [root@hadoop000 local]# |
编译安装完成，配置环境变量
3.8 OTHER 依赖包
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool |
其他依赖包在系统安装ios都包含，执行yum安装即可
---------------------------------------------------------------------------------------------------------------------------------------
至此，编译hadoop需要的编译环境全部准备好，下面开启编译之路
---------------------------------------------------------------------------------------------------------------------------------------
3.9 编译
[root@hadoop1 software]# tar xvf hadoop-2.8.1-src.tar.gz /opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz ----编译好软件包保存位置 |
直接编译需要联网找依赖包，一般网络情况较好，需要几个小时
提前准备好依赖包编译方式
[root@hadoop1 software]# tar xvf hadoop-2.8.1-src.tar.gz [root@hadoop1 hadoop-2.8.1-src]# pwd -rw-r--r-- 1 root root 96721446 4月 25 09:57 .m2.tar.gz ---提前下好的仓库软件包 [root@hadoop1 software]#tar xvf .m2.tar.gz –C /root ---不想download，使用提前准备好的仓库软件--->解压----->root家目录 [root@hadoop1 hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests –Dtar …….. [INFO] Apache Hadoop Azure support ........................ SUCCESS [ 5.562 s] [root@hadoop1 hadoop-2.8.1-src]# 编译成功后的软件保存路径 [root@hadoop1 hadoop-2.8.1-src]# ls /opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-* /opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz |
总结：完成源码的编译好打包，得到安装hadoop安装包，难点在于软件包的装备和仓库软件的准备，接下来准备开始hadoop安装之路。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
文章题目：大数据之----部署安装编译打包hadoop终极篇-创新互联
本文链接：http://scjbc.cn/article/dpocpe.html
