81个开源大数据处理赏罚器材汇总（下），包罗日记网络体系/集群打点/

FlatBuffers有如下一些要害特征——

• 会见序列化数据不必要打包/拆包
• 节减内存并且会见速率快——缓存只占用会见数据所必要的内存；不必要任何特另外内存。
• 机动性——通过可选字段向前向后兼容
• 代码局限小
• 强范例——错误在编译时捕捉，而不是在运行时
• 便利性——天生的C++头文件代码简捷。假如必要，有一项可选成果可以用来在运行时高效理会Schema和JSON-like名目标文本。
• 跨平台——行使C++编写，不依靠STL之外的库，因此可以用于任何有C++编辑器的平台。当前，该项目包括构建要领和在Android、Linux、Windows和OSX等操纵体系上行使该库的示例。

与Protocol Buffers或JSON Parsing这样的可选方案对比，FlatBuffers的上风在于开销更小，这首要是因为它没有理会进程。

代码托管：https://github.com/google/flatbuffers

五、Protocol?Buffers

孝顺者：Google

简介：Protocol Buffers是Google公司开拓的一种数据描写说话，相同于XML可以或许将布局化数据序列化，可用于数据存储、通讯协议等方面。它不依靠于说话僻静台而且可扩展性极强。现阶段官方支持C++、JAVA、Python等三种编程说话，但可以找到大量的险些涵盖全部说话的第三方拓展包。

通过它，你可以界说你的数据的布局，并天生基于各类说话的代码。这些你界说的数据流可以轻松地在转达并不粉碎你已有的措施。而且你也可以更新这些数据而现有的措施也不会受到任何的影响。

Protocol Buffers常常被简称为protobuf。

官网：http://code.google.com/p/protobuf/

六、Consistent?Hashing（哈希算法）

简介：同等性哈希算法在1997年由麻省理工学院提出的一种漫衍式哈希（DHT）实现算法，计划方针是为了办理因特网中的热门(Hot spot)题目，初志和CARP异常相同。同等性哈希批改了CARP行使的简 单哈希算法带来的题目，使得漫衍式哈希（DHT）可以在P2P情形中真正获得应用。

同等性hash算法提出了在动态变革的Cache情形中，鉴定哈希算法优劣的四个界说：

1、均衡性(Balance)：均衡性是指哈希的功效可以或许尽也许漫衍到全部的缓冲中去，这样可以使得全部的缓冲空间都获得操作。许多哈希算法都可以或许满意这一前提。

2、单调性(Monotonicity)：单调性是指假如已经有一些内容通过哈希分配到了响应的缓冲中，又有新的缓冲插手到体系中。哈希的功效应可以或许担保原有已分派的内容可以被映射到原有的可能新的缓冲中去，而不会被映射到旧的缓冲荟萃中的其他缓冲区。

3、分手性(Spread)：在漫衍式情形中，终端有也许看不到全部的缓冲，而是只能看到个中的一部门。当终端但愿通过哈希进程将内容映射到缓冲上时，因为差异终端所见的缓冲范畴有也许差异，从而导致哈希的功效纷歧致，最终的功效是沟通的内容被差异的终端映射到差异的缓冲区中。这种环境显然是应该停止的，由于它导致沟通内容被存储到差异缓冲中去，低落了体系存储的服从。分手性的界说就是上述环境产生的严峻水平。好的哈希算法应可以或许只管停止纷歧致的环境产生，也就是只管低落分手性。

4、负载(Load)：负载题目现实上是从另一个角度对待分手性题目。既然差异的终端也许将沟通的内容映射到差异的缓冲区中，那么对付一个特定的缓冲区而言，也也许被差异的用户映射为差异 的内容。与分手性一样，这种环境也是该当停止的，因此好的哈希算法应可以或许只管低落缓冲的负荷。

在漫衍式集群中，对呆板的添加删除，可能呆板妨碍后自动离开集群这些操纵是漫衍式集群打点最根基的成果。假如回收常用的hash(object)%N算法，那么在有呆板添加可能删除后，许多原有的数据就无法找到了，这样严峻的违背了单调性原则。

七、Netty

孝顺者：JBOSS

简介：Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、变乱驱动的收集应用措施框架和器材，用以快速开拓高机能、高靠得住性的收集处事器和客户端措施。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!