您现在的位置是：首页 >技术杂谈 >NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049网站首页技术杂谈

NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049

脑瓜凉 2024-06-17 11:28:39
简介NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049

首先看一下整体流程,可以看到这里用的PutHbaseJson处理器,把数据导入到

hbase中的

注意这里也可以使用PutSql导入数据,通过phoenix的jdbc驱动,然后把数据利用PutSql处理器导入到

Hbase中,但是我这里的时候报错了,然后一直没解决,所以最后用了PutHbaseJson处理器,把数据存入到Hbase中去.

 

然后我们再来看首先我们给GenerateTableFetch处理器来配置一下数据库连接池

创建一个数据库连接池

 

起个名字,叫Postgresql-From的数据库连接池

 

jdbc:postgresql://172.19.126.123:5432/postgres?useUnicode=true&characterEncoding=utf8&useSSL=true&autoReconnect=true&reWriteBatchedInserts=true

org.postgresql.Driver

/opt/module/jars/postgresql-42.3.8.jar

postgres

123456

风语者！平时喜欢研究各种技术，目前在从事后端开发工作，热爱生活、热爱工作。

站长推荐