加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

81个开源大数据处理赏罚器材汇总(上),包罗查询引擎/流式计较/存储

发布时间:2021-02-25 21:29:53 所属栏目:大数据 来源:网络整理
导读:本文一共分为上下两部门。我们将针对大数据开源器材差异的用处来举办分类,而且附上了官网和部门下载链接,但愿能给做大数据的伴侣做个参考。下面是第一部门。 查询引擎 一、Phoenix 孝顺者::Salesforce 简介:这是一个Java中间层,可以闪开拓者在Apache H

HyperDex是一个漫衍式、可搜刮的键值存储体系,特征如下:

  • 漫衍式KV存储,体系机能可以或许随节点数量线性扩展
  • 吞吐和延时都能秒杀此刻风头正劲的MonogDB,吞吐乃至强于Redis
  • 行使了hyperspace hashing技能,使得对存储的K-V的恣意属性举办查询成为也许

官网:http://hyperdex.org/

四、TokyoCabinet

81个开源大数据处理赏罚器材汇总(上),包罗查询引擎/流式计较/存储

日本人Mikio?Hirabayashi(平林干雄)开拓的一款DBM数据库。Tokyo Cabinet 是一个DBM的实现。这里的数据库由一系列key-value对的记录组成。key和value都可所以恣意长度的字节序列,既可所以二进制也可所以字符串。这里没稀有据范例和数据表的观念。

当 做为Hash表数据库行使时,每个key必需是差异的,因此无法存储两个key沟通的值。提供了以下会见要领:提供key,value参数来存储,按 key删除记录,按key来读取记录,其它,遍历key也被支持,固然次序是恣意的不能被担保。这些要领跟Unix尺度的DBM,譬喻GDBM,NDBM 等等是沟通的,可是比它们的机能要好得多(因此可以更换它们) 。下一代KV存储体系,支持strings、integers、floats、lists、maps和sets等富厚的数据范例。

TokyoCabinet官方网站>>>

五、Voldemort

81个开源大数据处理赏罚器材汇总(上),包罗查询引擎/流式计较/存储

Voldemort是一个漫衍式键值存储体系,是Amazon’s Dynamo的一个开源克隆。特征如下:

  • 支持自动复制数据到多个处事器上。
  • 支持数据自动支解以是每个处事器只包括总数据的一个子集。
  • 提供处事器妨碍透明处理赏罚成果。
  • 支持可拨插的序化支持,以实现伟大的键-值存储,它可以或许很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
  • 数据项都被标识版本可以或许在产生妨碍时只管保持数据的完备性而不会影响体系的可用性。
  • 每个节点彼此独立,互不影响。
  • 支持可插拔的数据安排计策

官网:http://project-voldemort.com/

六、Amazon?Dynamo

孝顺者:亚马逊

简介:Amazon Dynamo 是一个经典的漫衍式Key-Value 存储体系,具备去中心化,高可用性,高扩展性的特点,可是为了到达这个方针在许多场景中捐躯了同等性。Dynamo在Amazon中获得了乐成的应用,可以或许跨数据中心陈设于上万个结点上提供处事,它的计划头脑也被后续的很多漫衍式体系小心。如迩来火热的Cassandra,现实上就是根基照搬了Dynamo的P2P架构,同时融合了BigTable的数据模子及存储算法。

Amazon Dynamo官方网站>>>

七、Tair

孝顺者:淘宝

简介:tair 是淘宝本身开拓的一个漫衍式 key/value 存储引擎. tair 分为耐久化和非耐久化两种行使方法. 非耐久化的 tair 可以当作是一个漫衍式缓存. 耐久化的 tair 将数据存放于磁盘中. 为了办理磁盘破坏导致数据丢失,tair 可以设置数据的备份数量,tair 自动将一份数据的差异备份放到差异的主机上,当有主机产生非常,无法正常提供处事的时辰,其于的备份会继承提供处事.tair 的总体布局

81个开源大数据处理赏罚器材汇总(上),包罗查询引擎/流式计较/存储

tair 作为一个漫衍式体系,是由一此中心节制节点和一系列的处事节点构成. 我们称中心节制节点为config server. 处事节点是data server. config server 认真打点全部的data server,维护data server的状态信息. data server 对外提供各类数据处事,并以心跳的情势将自身状况讲述给config server. config server是节制点,并且是单点,今朝回收一主一备的情势来担保其靠得住性. 全部的 data server 职位都是等价的.

八、Apache?Accumulo

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读