81个开源大数据处理赏罚器材汇总（下），包罗日记网络体系/集群打点/

简介：假如说Protocol Buffer是谷歌独立数据记录的通用说话 ，那么有序字符串表（SSTable，Sorted String Table）则是用于存储，处理赏罚和数据集互换的最风行??的数据输格外式。正如它的名字自己，SSTable是有用存储大量键-值对的简朴抽象，对高吞吐量次序读/写举办了优化。

SSTable是Bigtable中至关重要的一块，对付LevelDB来说也是云云。

三、RecordIO

孝顺者：Google

简介：我们各人都在用文件来存储数据。文件是存储在磁盘上的。假如在一些不不变的介质上，文件很容破坏。即时文件某个位置呈现一点小小的题目，整个文件就废了。

下面我来先容Google的一个做法，可以较量好的办理这个题目。那就是recordio文件名目。recoidio的存储单位是一个一个record。这个record可以按照营业的必要自行界说。但Google有一种提议的处理赏罚方法就是行使protobuf。

reocordio底层的名目着实很简朴。一个record由四部门构成：

• MagicNumber (32 bits)
• Uncompressed data payload size (64 bits)
• Compressed data payload size (64 bits),or 0 if the data is not compressed
• Payload,possibly compressed.

具体名目如下图所示：

到这里，各人也许已经知道，recordio之以是能搪塞坏数据，着实就是在这个MagicNumber（校验值）。

四、Flat?Buffers

孝顺者：Google

简介：谷歌开源高效、跨平台的序列化库FlatBuffers。

该库的构建是专门为游戏开拓职员的机能需求提供支持，它将序列化数据存储在缓存中，这些数据既可以存储在文件中，又可以通过收集原样传输，而不必要任何理会开销。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!