|
0.在hbase节点，启动thrift处事
hbase-daemon.sh start thrift
1. 在本机启动nif
./bin/nifi.sh start
2. 在赏识器输入http://localhost:8080/nifi，看到nifi的界面
3. 拖一个processor ExecuteSQL到界面
??? 3.1 在processor上点击右键，选择configure，点击第三个tab，也就是properties
??? 3.2 在property列表，选择 database connection pooling service-->DBCPConnectionPool，然后再点击右侧的箭头，设置下一个选项，
??? 3.3 于是到了Process Group Configuration页面，点击右侧“+”标记，添加一个mysql数据库的毗连。
??????? jdbc:mysql://192.168.20.175:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=true
??????? com.mysql.jdbc.Driver
??????? /home/xxxx/mysql-connector-java-5.1.39.jar
??????? root
??????? 123456
??? 3.4 然后，在回到ExecuteSQL的properties，配置SQL select query为 select * from user
??? 3.5 配置Max Wait Time为10 seconds
4.? 从mysql里出来的是avro名目标数据，必要将它转化成json名目。拖一个ConvertAvroToJson processor到界面。然后，从ExecuteSQL拖一条线到ConvertAvroToJson，相关为success。
5.? 添加一个SplitJson processor到界面，然后从ConvertAvroToJson拖一条线到SplitJson，相关为success。
??? 5.1 设置SplitJson，在properties页，将JsonPathExpression配置为*
6. 添加一个PutHbaseJson processor到界面，然后设置PutHbaseJson
??? 6.1 在properties页，设置HBase Client Service成为 HBase_1_1_2_ClientService
??? 6.2 完成6.1之后，点击右侧的小箭头，增进HbaseClientService，然后点击edit按键，在properites做如下配置：
??????? ZooKeeper Quorum :192.168.2.xxxx
??????? Zookeeper client port: 2181
??????? Zookeeper znode parent: /hbase
??????? Hbase client Reties: 1
??? 6.3 设置完成后，点击小闪电，让设置见效
??? 6.4 设置RowIdentifier。由于传入的是Json，以是行使FieldName为ID，填写ColumnFamlity和TableName，点击Apply。
??????? Table Name: my_user1 #这是hbase的一张表
??????? Row Identifier Field Name: id
??????? Row Identified Encoding Strategy: String
??????? Column Famlily: prop
7. 从SplitJosn毗连到PutHbaseJson，相关为Split
8. 增进一个LogAttribute，将其他全部processor的failure以及splitJson的Original相关所有毗连到它上面。
9. 将LogAttribute和PutHbaseJson的setting设置页面的Automatically terminate 勾选成success。
10. 在PutHbaseJson堕落了。把zookeeper cp过来，看毗连
zkCli.sh -server 192.168.0.xxx:2181
ls /
ls /hbase
get /hbase/hmaster 11. 最轻易呈现的题目，是各节点机的hostname和Hosts文件设置文件。 ??? 12.1 集群四种节点：mysql节点，hbase节点，nifi节点，nifi client节点。 ??? 12.2 假如呈现题目，凡是都是上述四种节点的/etc/hosts和/etc/hostname呈现错误。 ??? 12.3 错误范例：不能按照hostname找到对应的ip，在错误log里有错误的ip地点。以是操纵者必要认识各hostname和对应ip相关，发明生疏的可能不公道的ip，要实时做修改。
（编辑：湖南网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
