加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

干货分享:操作Java多线程技能导入数据到Elasticsearch

发布时间:2019-07-16 08:12:03 所属栏目:建站 来源:Wooola
导读:媒介 近期接到一个使命,必要改革现有从mysql往Elasticsearch导入数据MTE(mysqlToEs)小器材,因为之前回收单线程导入,千亿数据必要两周阁下的时刻才气导入完成,导入服从很是低。以是楼主花了3天的时刻,操作java线程池框架Executors中的FixedThreadPool

启动参数

  1. nohup java -jar mte.jar ES-Cluster2019 node1:9300,node2:9300,node3:9300 root 123456! jdbc:mysql://ip:3306/mte 130 130 >> ./mte.log 2>&1 & 

参数声名

ES-Cluster2019 为Elasticsearch集群名字

node1:9300,node2:9300,node3:9300为es的节点IP

130 130为已办已阅分表的数据

措施进口:MteMain

干货分享:操作java多线程技能导入数据到Elasticsearch    
  1. // 监控线程 
  2. Monitor monitorService = new Monitor(); 
  3. monitorService.monitorToES(); 
  4. // 已办出产者线程 
  5. Thread pendProducerThread = new Thread(new ZlPendProducer(conn, "ZlPendProducer")); 
  6. pendProducerThread.start(); 
  7. // 已阅出产者线程 
  8. Thread readProducerThread = new Thread(new ZlReadProducer(conn, "ZlReadProducer")); 
  9. readProducerThread.start(); 

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读