大数据学习系列之五-----Hive整合HBase图文详解

引言

在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境,并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。

创新互联建站是一家专业提供营山企业网站建设,专注与网站制作、成都网站建设H5场景定制、小程序制作等业务。10年已为营山众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

Hive和HBase的通信意图

Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图所示。
大数据学习系列之五 ----- Hive整合HBase图文详解
说明:通过关联查询,可以得出表之间是可以关联查询的。但是明显看到hive 使用默认的mapreduce 作为引擎是多么的慢。。。

其他说明:
由于自己的虚拟机配置实在太渣,即使调大reduce内存,限制每个reduce处理的数据量,还是不行,最后没办法使用公司的测试服务进行测试。
在查询一张表的时候,hive没有使用引擎,因此相对比较快,如果是进行了关联查询之类的,就会使用引擎,由于hive默认的引擎是mr,所以会很慢,也和配置有一定关系,hive2.x以后官方就不建议使用mr了。

本文到此结束,谢谢阅读!
版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
个人博客出处:http://www.panchengming.com
原创不易,转载请标明出处,谢谢!


本文题目:大数据学习系列之五-----Hive整合HBase图文详解
网站网址:http://scjbc.cn/article/pgcsed.html

其他资讯