Hadoop生态体系在壮大：十大优越酷大数据项目

打点和说明大数据已经酿成了重大挑衅，数目急剧增进的信息从交际媒体、毗连到物联网中“物件”的传感器、布局化数据、非布局化数据以及可以网络的其他统统数据网络而来。为了应对这项使命，开拓职员已开拓了一系列新的开源技能。

旗舰软件Apache Hadoop是Apache软件基金会的一个项目，它在上个月迎来了十周年。这十年已产生了很大的变革。现在，其它很多技能也是大数据和Hadoop生态体系的一员，它们大大都都归属Apache软件基金会。

开拓职员和企业组织在行使诸多项目，开拓大数据技能，并将它们捐募给开源社区，以便进一步成长和回收，个中就包罗Spark、Hive、HBase和Storm。

在网飞和领英等一些企业，个中一些技能已用于出产情形。它们让企业组织可以或许及时处理赏罚海量数据，并转换那些数据，为最终客户改进处事。

这些大数据技能经常脱胎于试图改进大数据技能的事变方法、加速处理赏罚速率的企业组织。它们代表了生态体系的演变之路和下一波开源技能，这证显着智的参加者构成的社区取得的成长赛过专有企业情形内里的成长。

当前的开源和大数据期间完全始于Hadoop，它经常被誉为是一种面向漫衍式存储的开源框架，用于在平凡化硬件上处理赏罚复杂数据集。

Hadoop刊行版公司Hortonworks的企业计谋副总裁Shaun Connolly在接管采访时汇报《信息周刊》杂志：“作为一种新兴的数据架构，Hadoop成为备受瞩目标中心。Hadoop周围呈现了这个生态体系，备受存眷的项目环绕它壮大起来。”

而成长并未止步。新的项目一向被Apache软件基金会纳入到大数据生态体系。最近，Apache Arrow就成了一个顶级项目。其他项目也许会作为Apache软件基金会的孵化器打算(Incubator)的一员而进入生态体系。客岁年底，IBM面向Spark的SystemML呆板进修引擎就获得了接管，成为一个孵化器项目。

有很多项目是Apache软件基金会的大数据生态体系的一员。本文先容了一些重要项目，还先容了几个新兴项目。接待留言交换!

Hadoop

Hadoop着实是开源大数据规模的旗舰技能。它是由雅虎的一个编外项目成长起来的，其时开拓职员必要一种要领来存储和处理赏罚他们行使新的搜刮引擎网络而来的海量数据。这项技能最终捐募给了Apache软件基金会。现在有来自商用公司的三大刊行版：Cloudera、Hortonworks和MapR。Hadoop的开拓者之一Doug Cutting最近接管了《信息周刊》杂志的采访，泛论了Hadoop的成长。

Hive

Apache Hive最初由Facebook开拓，其后捐募给了Apache软件基金会。这项技能是一种成立在Hadoop基本上的数据客栈基本办法，提供了数据汇总、查询和说明。

行使Hive的公司包罗CNET和eHarmony。

HBase

Apache HBase脱胎于一家名为Powerset的公司所搞的一个项目，2008年该公司被微软收购。其目标是，处理赏罚海量数据，便于天然说话搜刮。这项技能是一种非相关型的开源漫衍式数据库，模拟了谷歌的BigTable，用Java编写而成。2010年，HBase成为Apache软件基金会的一个项目。

现在行使HBase的公司包罗Adobe、Facebook、Meetup和趋势科技。

Spark

Apache Spark俨然就是大数据生态体系冉冉升起的明星。这项技能最初由加州大学伯克利分校的AMP尝试室开拓。它可以代替Hadoop的MapReduce，不外速率更快，由于Spark改而行使内存中处理赏罚技能，其机能最多跨越100倍，这取决于详细应用。

Spark的开拓职员此刻供职于Databricks，该公司是支持Apache软件基金会内部这个项目标主力军，它还提供商用的Spark即处事( Spark-as-a-Service)。制止2015年年底，Spark是全部大数据项目中最活泼的开源项目，之前12个月有600多个代码捐募者。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!