加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

发布时间:2021-02-26 19:22:27 所属栏目:大数据 来源:网络整理
导读:上一部门:http://my.oschina.net/u/2391658/blog/711016 第二部门首要网络清算的内容首要有日记网络体系、动静体系、漫衍式处事、集群打点、RPC、基本办法、搜刮引擎、Iaas和监控打点等大数据开源器材。 ? 日记网络体系 一、Facebook?Scribe 孝顺者 :Faceb

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

也就是说,Netty 是一个基于NIO的客户,处事器端编程框架,行使Netty 可以确保你快速和简朴的开拓出一个收集应用,譬喻实现了某种协议的客户,处事端应用。Netty相等简化和流线化了收集应用的编程开拓进程,譬喻,TCP和UDP的socket处事开拓。

“快速”和“简朴”并不料味着会让你的最终应用发生维护性或机能上的题目。Netty 是一个接收了多种协议的实现履历,这些协议包罗FTP,SMTP,HTTP,各类二进制,文本协议,并颠末相等全心计划的项目,最终,Netty 乐成的找到了一种方法,在担保易于开拓的同时还担保了其应用的机能,不变性和伸缩性。

官网:http://netty.io/

八、BloomFilter

简介:Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据布局,它具有很好的空间和时刻服从,被用来检测一个元素是不是荟萃中的一个成员。假如检测功效为是,该元素不必然在荟萃中;但假如检测功效为否,该元素必然不在荟萃中。因此Bloom filter具有100%的召回率。这样每个检测哀求返回有“在荟萃内(也许错误)”和“不在荟萃内(绝对不在荟萃内)”两种环境,可见 Bloom filter 是捐躯了正确率和时刻以节减空间。

Bloom filter 利益就是它的插入和查询时刻都是常数,其它它查询元素却不生涯元素自己,具有精采的安详性。

搜刮引擎

一、Nutch

简介:Nutch 是一个开源Java 实现的搜刮引擎。它提供了我们运行本身的搜刮引擎所需的所有器材。包罗全文搜刮和Web爬虫。

尽量Web搜刮是周游Internet的根基要求,可是现有web搜刮引擎的数量却在降落. 而且这很有也许进一步演酿成为一个公司把持了险些全部的web搜刮为其谋取贸易好处.这显然 倒霉于宽大Internet用户.

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读