大数据架构的说明应用
|
Figure 1-5 展示了HDFS, YARN, 和处理赏罚模子是怎样组织的.
Figure 1-5. YARN structure 我们无法审阅全部的说话和处理赏罚模子; 专注于 Hive 和Spark, 它们包围了我们所用的用例，长时刻数据处理赏罚和流处理赏罚。 行使Hive的批处理赏罚 当抉择写第一个批处理赏罚job的时辰, 行使所喜好说话实现它，譬喻Java或 Python,但假如然的要做，最好惬意地行使mapping 和reducing 计划模式, 但这必要开拓的时刻和伟大的编码，偶然辰很难去维护。 作为一个更换方法, 可以行使譬喻Hive这样的高级说话, 以类SQL方法简朴而又强盛地从HDFS中查询数据. 在用Java写了10行代码的MapReduce处所,在Hive中, 只必要一条 SQL 查询语句. 当行使其他说话而不是原生MapReduce, 其首要的缺陷是机能.在 Hive 和 MapReduce之间有着自然的时延; 其它, SQL查询也与相关型数据库中的查询截然差异。详情拜见 hive.apache.org. Hive 不是一个及时或准及时的处理赏罚说话，被用作批处理赏罚，譬喻一个低优先级的长时刻处理赏罚使命. 处理赏罚流式数据，必要行使Spark Streaming. 行使Spark Streaming的流处理赏罚 Spark Streaming 可以通过Java, Scale, 可能Python来写批处理赏罚使命, 可是可以处理赏罚流数据. 这很是得当处理赏罚高吞吐量的数据源T譬喻交际收集(Twitter), 点击流日记, 可能 web 会见日记. Spark Streaming 是Spark的一个扩展, 它充实操作了漫衍式数据处理赏罚架构，把流式计较作为 一系列不确定的小时距离断的微型批处理赏罚计较。详情拜见 spark.apache.org. Spark Streaming 可以从各类源得到数据，通过与如Apache Kafka这样器材的团结, Spark Streaming 成为强容错和高机能体系的基本。 面向动静的中间件Apache Kafka
Figure 1-6. Kafka partitioned topic example 行使 Kafka在我们架构中的引导点 ，首要用于接管数据并推送到Spark Streaming. 详情拜见 kafka.apache.org. 呆板进修 当我们以无穷收敛模子处理赏罚小数据采样时，在架构中接头呆板进修还为时尚早。我们是充实操作现有的分层或非凡说话来行使呆板进修，譬喻 Spark中的 Spark MLlib。 Spark MLlib MLlib是Spark上的呆板进修库, 充实操作了 Spark Direct Acyclic Graph (DAG) 执行引擎, 所提供的API 荟萃利便地集成到Spark中. 它由各类的算法构成 ：根基统计, 逻辑回归， k-means 聚类, 从殽杂高斯到奇特值解析以及多维朴实贝叶斯。 通过 Spark MLlib 这些开箱即用算法，可以用几行代码就能过简朴地实习数据并构建猜测模子a 详情拜见 spark.apache.org/mllib. NoSQL 存储 NoSQL 存储是数据架构的基本组件，由于它们可以摄取大量数据，提供弹性伸缩，高可用性以及开箱即用。Couchbase 和 ElasticSearch是两种我们聚焦的技能，先做简朴接头，稍后行使它们。 Couchbase Couchbase是一个面向文档的NoSQL数据库，提供了一个机动的模子轻松缩放，以及同等性的高机能。行使 Couchbase作为文档数据存储，根基上重定向以前端来的全部查询 到 Couchbase 防备了相关型数据库的高吞吐量读操纵。详情拜见 couchbase.com. ElasticSearch ElasticSearch 是一种很是风行的 NoSQL 技能，拥有可伸缩漫衍式索引引擎和搜刮特征，相等于一样平常架构中Apache Lucene 加上及时数据说明和全文搜刮. ElasticSearch是ELK平台的一部门（ ElasticSearch + Logstash + Kibana,），是由Elastic公司宣布的。三个产物团结在一路提供了数据收罗，存储和可视化最好的端到端平台: Logstash 从各类数据源收罗数据，譬喻交际数据，日记，动静行列，可能传感器，支持数据的富厚性和转换，然后传输到一个索引体系譬喻ElasticSearch. ElasticSearch 在一个弹性伸缩的漫衍式体系中索引数据，无缝提供了多说话库，很轻易在应用中实现及时搜刮和说明。 Kibana 是一个定制化的用户界面，可以构建从简朴到伟大的仪表盘，来试探和可视化ElasticSearch 索引的数据。 Figure 1-7 展示了Elastic产物的布局.
Figure 1-7. ElasticSearch products 如前图所示, Elastic 也提供了商用产物譬喻Marvel,基于Kibana的一个监控节制台; Shield, 一个安详框架, 譬喻提供授权和认证; Watcher, 一个告警和关照体系. 但本书中不行使这些商用产物。我们首要行使ElasticSearch作为搜刮引擎来持有Spark发生的产物。在处理赏罚和聚合之后，数据在ElasticSearch中被索引，使第三方体系通过ElasticSearch引擎查询数据。另一方面，我们也行使 ELK来处理赏罚日记和假造化说明，而不可是平台操纵视角。 Apache Kafka 是一个由Linkedin开拓的订阅－宣布动静的漫衍式应用。Kafka常常与 Apache ActiveMQ 可能RabbitMQ比拟, 但基础差异是Kafka 没有实现JMS (Java Message Service). 然而, Kafka是一个耐久化动静的高吞吐量体系 , 支持行列和话题语意， 行使 ZooKeeper形成集群节点。 Kafka 实现了订阅－宣布的企业级集成，支持并行化，以及机能和容错的企业级特征。 Figure 1-6 给出了订阅－宣布架构的高层视角，动静在broker传输，处事于分区的话题。 建设有久远筹划的大数据架构 记着全部这些大数据技能，此刻来构建我们的架构。 架构概览 从高层视角来看, 我们的架构看起来象另一个电子商务应用架构，必要如下： + 一个web应用，访客可以用它导航一个产物目次 + 一个日记摄取应用：拉取日记并处理赏罚它们 + 一个呆板进修应用：为访客触发保举 + 一个处理赏罚引擎：作为该架构的中央处理赏罚集群 + 一个搜刮引擎：拉取处理赏罚数据的说明 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
