加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

发布时间:2021-02-26 19:22:27 所属栏目:大数据 来源:网络整理
导读:上一部门:http://my.oschina.net/u/2391658/blog/711016 第二部门首要网络清算的内容首要有日记网络体系、动静体系、漫衍式处事、集群打点、RPC、基本办法、搜刮引擎、Iaas和监控打点等大数据开源器材。 ? 日记网络体系 一、Facebook?Scribe 孝顺者 :Faceb

从SenseiDB集群中获取数据的独一要领是通过Gateways(它 没有“INSERT”要领)。每个集群都毗连到一个单一gateway。你必要相识很重要的一点是,因为SenseiDB自己没法处理赏罚原子性 (Atomicity)和断绝性(Isolation),因此只能通过外部在gateway层举办限定。其它,gateway必需确保数据流凭证预期的方 式运作。内置的gateway有以下几种情势:

  • 来自文件
  • 来自JMS行列
  • 通过JDBC
  • 来自Apache Kafka

官网:http://senseidb.com

数据发掘

一、Mahout

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

简介:Apache Mahout 是 Apache Software Foundation (ASF) 开拓的一个全新的开源项目,其首要方针是建设一些可伸缩的呆板进修算法,供开拓职员在 Apache 在容许下免费行使。该项目已经成长到了它的最二个年初,今朝只有一个民众刊行版。Mahout 包括很多实现,包罗集群、分类、CP 和进化措施。另外,通过行使 Apache Hadoop 库,Mahout 可以有用地扩展到云中。

固然在开源规模中相对较为年青,但 Mahout 已经提供了大量成果,出格是在集群和 CF 方面。Mahout 的首要特征包罗:

  1. Taste CF。Taste 是 Sean Owen 在 SourceForge 上提倡的一个针对 CF 的开源项目,并在 2008 年被赠送 Mahout。
  2. 一些支持 Map-Reduce 的集群实现包罗 k-Means、恍惚 k-Means、Canopy、Dirichlet 和 Mean-Shift。
  3. Distributed Naive Bayes 和 Complementary Naive Bayes 分类实现。
  4. 针对进化编程的漫衍式合用性成果。
  5. Matrix 和矢量库。
  6. 上述算法的示例。

官网:http://mahout.apache.org/

Iaas

IaaS(Infrastructure as a Service),即基本办法即处事。

一、OpenStack

简介:OpenStack是一个由NASA(美国国度航空航天局)和Rackspace相助研发并提倡的,以Apache容许证授权的自由软件和开放源代码项目。

OpenStack是一个开源的云计较打点平台项目,由几个首要的组件组合起来完成详细事变。OpenStack支持险些全部范例的云情形,项目方针是提供实验简朴、可大局限扩展、富厚、尺度同一的云计较打点平台。OpenStack通过各类互补的处事提供了基本办法即处事(IaaS)的办理方案,每个处事提供API以举办集成。

6个焦点项目:Nova(计较,Compute),Swift(工具存储,Object),Glance(镜像,Image),Keystone(身份,Identity),Horizon(自助派别,Dashboard),Quantum & Melange(收集&地点打点),其它尚有多少社区项目,如Rackspace(负载平衡)、Rackspace(相关型数据库)。

相干阅读:

什么是OpenStack?

乐成陈设OpenStack的十大体点

?官网:https://www.openstack.org/

二、Docker

孝顺者:dotCloud

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

简介:Docker 是一个开源的应用容器引擎,闪开拓者可以打包他们的应用以及依靠包到一个可移植的容器中,然后宣布到任何风行的 Linux 呆板上,也可以实现假造化。容器是完全行使沙箱机制,彼此之间不会有任何接口(相同 iPhone 的 app)。险些没有机能开销,可以很轻易地在呆板和数据中心中运行。最重要的是,他们不依靠于任何说话、框架或包罗体系。

官网:http://www.docker.io/

三、Kubernetes

孝顺者:Google

简介:Kubernetes是Google开源的容器集群打点体系。它构建Ddocker技能之上,为容器化的应用提供资源调治、陈设运行、处事发明、扩容缩容等整一套成果,本质上可看作是基于容器技能的mini-PaaS平台。

Kubernetes从另一个角度对资源举办抽象,它闪开拓职员和打点职员配合着眼于处事的举动和机能的晋升,而不是仅仅存眷对单一的组件可能是基本资源。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读