Java开发人员使用哪些大数据工具？

Solr是一个独立的企业级搜刮应用处事器，它对外提供相同于Web-service的API接口。用户可以通过http哀求，向搜刮引擎处事器提交必然名目标XML文件，天生索引;也可以通过Http Get操纵提出查找哀求，并获得XML名目标返回功效。

与ElasticSearch一样，同样是基于Lucene，但它对其举办了扩展，提供了比Lucene更为富厚的查询说话，同时实现了可设置、可扩展并对查询机能举办了优化。

9、Spark ——Apache Software Foundation中最活泼的项目，是一个开源集群计较框架。

Spark 是一种与 Hadoop 相似的开源集群计较情形，可是两者之间还存在一些差异之处，这些差异之处使 Spark 在某些事变负载方面示意得越发良好，换句话说，Spark 启用了内存漫衍数据集，除了可以或许提供交互式查询外，它还可以优化迭代事变负载。

Spark 是在 Scala 说话中实现的，它将 Scala 用作其应用措施框架。与 Hadoop 差异，Spark 和 Scala 可以或许细麋集成，个中的 Scala 可以像操纵当地荟萃工具一样轻松地操纵漫衍式数据集。

10、Memcached ——通用漫衍式内存缓存体系。

Memcached是一套漫衍式快取体系，当初是Danga Interactive为了LiveJournal所成长的，但被很多软件(如MediaWiki)所行使。Memcached作为高速运行的漫衍式缓存处事器，具有以下的特点：协议简朴，基于libevent的变乱处理赏罚，内置内存存储方法。

11、Apache Hive ——在Hadoop之上提供相同SQL的层。

Hive是一个基于Hadoop的数据客栈平台。通过hive，可以利便地举办ETL事变。hive界说了一个相同于SQL的查询说话，可以或许将用户编写的SQL转化为响应的Mapreduce措施基于Hadoop执行。今朝，已经宣布了Apache Hive 2.1.1 版本。

12、Apache Kafka ——最初是由LinkedIn开拓的高吞吐量，漫衍式订阅动静体系。

Apache Kafka是一个开源动静体系项目，由Scala写成。该项目标方针是为处理赏罚及时数据提供一个同一、高通量、低守候的平台。Kafka维护按类区分的动静，称为主题(topic)。出产者(producer)向kafka的主题宣布动静，斲丧者(consumer)向主题注册，而且吸取宣布到这些主题的动静。kafka以一个拥有一台或多台处事器的集群运行着，每一台处事器称为broker。

13、Akka ——用于在JVM上构建高并发，漫衍式和弹性动静驱动应用措施的器材包。

Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模子应用。它已经乐成运用在电信行业，体系险些不会宕机。

14、HBase ——开放源代码，非相关型，漫衍式数据库，回收Google的BigTable建模，用Java编写，并在HDFS上运行。

与FUJITSU Cliq等商用大数据产物差异，HBase是Google Bigtable的开源实现，相同Google Bigtable操作GFS作为其文件存储体系，HBase操作Hadoop HDFS作为其文件存储体系;Google运行MapReduce来处理赏罚Bigtable中的海量数据，HBase同样操作Hadoop MapReduce来处理赏罚HBase中的海量数据;Google Bigtable操作 Chubby作为协同处事，HBase操作Zookeeper作为对应。

15、Neo4j ——在Java中实现的开源图形数据库。

Neo4j是一个高机能的NOSQL图形数据库，它将布局化数据存储在收集上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全事宜特征的Java耐久化引擎。

16、CouchBase ——开源漫衍式的NoSQL面向文档数据库，针对交互式应用措施举办了优化。

假如早年没有NoSQL的行使履历，那么领略couchbase的时辰要害有两点：延后写入和疏松存储。该产物基于Apache CouchDB，并整合了GeoCouch(一个基于Erlang、细麋集成的地理空间索引体系，可支持LBS应用)。

17、Apache Storm——开源漫衍式及时计较体系。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!