加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

基于Python说话的大数据搜刮引擎

发布时间:2019-07-13 21:11:36 所属栏目:建站 来源:简单艾
导读:搜刮是大数据规模里常见的需求。Splunk和ELK别离是该规模在非开源和开源规模里的率领者。本文操作很少的Python代码实现了一个根基的数据搜刮成果,试图让各人领略大数据搜刮的根基道理。 布隆过滤器 (Bloom Filter) 第一步我们先要实现一个布隆过滤器。 布

运行功效如下:

  1. s = SplunkM() 
  2. s.add_event('src_ip = 1.2.3.4') 
  3. s.add_event('src_ip = 5.6.7.8') 
  4. s.add_event('dst_ip = 1.2.3.4') 
  5. for event in s.search_all(['src_ip', '5.6']): 
  6.  print event 
  7. print '-' 
  8. for event in s.search_any(['src_ip', 'dst_ip']): 
  9.  print event 
  10. src_ip = 5.6.7.8 
  11. src_ip = 1.2.3.4 
  12. src_ip = 5.6.7.8 
  13. dst_ip = 1.2.3.4 

总结

以上的代码只是为了声名大数据搜刮的根基道理,包罗布隆过滤器,分词和倒排表。假如各人真的想要操作这代码来实现真正的搜刮成果,还差的太远。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读