版权声明:本文为博主原创文章未经博主允许不得转载。 /zbc/article/details/
在spark取hbase数据中利用map-reduce或者spark取hbase数据 sql分析了数据之后我们需要将结果写入外部文件系统。
本文以向Hbase中写数据,为例说一下,spark取hbase数据怎么向Hbase中写数据
首先,需要说一下下面的这个方法。
注意:这个函数是在运行spark取hbase数据程序的driver进程中执行的
下面跟著思路,看一下怎么优雅的向Hbase中写入数据
向外部数据库写数据,通常会建立连接使用连接发送数据(也就是保存数据)。
很遗憾!这种写法是有极大风险的这会导致,对于每条数据都创建一个connection(创建connection是消耗资源的)。
事实上由于数据是分区的,基于这个特性还可以有更高效的方式
在多个RDD之间,connection对象是可以重用的所以可以创建一个连接池。如下:
注意:连接池中的连接应该是应需求而延迟创建,并且如果一段时间没用,就超时了(也就是关闭该连接)