实时大数据处理Storm（一）
|
自从Google颁发了3篇全球瞩目标论文（Google File System、BigTable和MapReduce）往后，大数据被引爆了。假如说计较机的威力相等于一枚大炮的威力的话，那么互联网的威力相等于一颗原子弹，而大数据的威力则相等于氢弹，大数据成为了IT成长史上的又一次海潮，处于这个圈内的我们怎能错过？ 时至今天，基于Google的3篇论文及后续研究，大数据处理赏罚架构如雨后春笋般拔地而起，大数据的天下里，百家争鸣，百花齐放（存眷Apache大数据开源项目标伴侣应该有感伤），这一点就像春秋战国时期头脑界一样，各人都基于《易经》，却各有各的领略，各有各的用途。在大数据漫衍式处理赏罚的天下里，Hadoop是鼻祖，而基于Hadoop，又降生出了许多框架，HBase、Hive、Pig、Zookeeper、Spark、Storm等，读者可以去Apache项目列表内里看具体信息：Apache Projects Directory，本文先容的是及时大数据处理赏罚架构Storm。 Hadoop做大数据处理赏罚，做的是批处理赏罚，即在处理赏罚之前必要先筹备好数据，有点万事俱备只欠春风的感受，而Storm做的是及时大数据处理赏罚，在处理赏罚前不必要筹备好数据。举个例子，想象一个无比复杂蓄水池，毗连着无数多的进水管，假如把蓄水池和管道内里的水当作数据的话，那么Hadoop善于于处理赏罚蓄水池中已经累计的海量数据，而Storm善于于处理赏罚及时流进蓄水池的管道里的数据。 大数据的一大特性是高速率，因此大数据的及时处理赏罚更具有贸易代价，及时的商品保举，及时的搜刮保举，等等，都要求对大数据的高速、及时处理赏罚，而Storm就善于于这个。本文，我先容一下Storm的根基观念，关于Storm集群搭建和行使我会在后续博客中更新。 Storm的根基观念很简朴，和Hadoop相同，可是又有所差异。在Storm中，一个漫衍式的大数据及时处理赏罚使命被称为一个拓扑（Topology），着实就是一个有向无环图，如图1-1所示。
、 图1-1 在图1-1中，向拓扑中发送数据部件叫Spout，这个单词自己即有水龙头的意思，你就把发送数据的部件领略为水龙头吧，处理赏罚数据的部件叫Bolt，这个单词自己的意思是雷电、闪电，你就领略为这个组件会以闪电般的速率及时处理赏罚数据吧，在Apache提供的测试中，单个Bolt一秒钟处理赏罚的数据量是100万条Tuple，可见有多快！而在Spout和Bolt之间以及Bolt和Bolt之间活动的虽然就是水流，叫做Stream，你可以把Stream想象为由一滴一滴水构成的绵绵不断的水柱，而这一滴一滴的水，在Storm中叫做Tuple，Tuple这个单词的意思是元组，我第一次打仗这个单词是在数据库课程中，其时Tuple是指描写一张二维表数据的那些字段的荟萃，Storm中的Tuple和这个相同，你也可以把它领略为一个非凡的Java类，这个类没有任何要领，只有属性。 基于以上的根基观念和图1-1，我们可以把Storm领略为一个由一个或多个Spout以元组（Tuple）的情势发射数据，由多个Bolt对数据举办快速处理赏罚的大数据及时处理赏罚体系，整个体系是一张拓扑图，Spout和Bolt是图中的结点，边是由持续不绝的Tuple构成的Stream。 读到这里，假如您还没有领略的话，你可以通过下面这个故事来领略。这个故事是我小时辰我妈妈给我讲的，其时我或许四五岁吧。我家在农村，栽培玉米，每逢炎天，无意会碰着下冰雹的时辰，冰雹会把玉米砸坏，我们虽然不但愿下冰雹。有一次下冰雹的时辰，看到地里的玉米被砸坏了，我很悲痛，于是就问：为什么会下冰雹？其时，我妈妈是这样答复我的：“由于人们做错了工作，老天爷要处罚我们，于是龙王把像小山一样平常大的冰雹扔下来砸我们，而在冰雹降落的进程中，会被雷打坏成为小碎块，最后撒向大地”。Storm的道理和这个故事很相似，现实上，我第一次就是靠这个故事来领略Storm的道理的。Storm里的Spout就是故事中的龙王，他主治水，是Storm拓扑（集群）中数据的来历，认真向集群发射数据（就像龙王扔冰雹那样），而Bolt就是故事中的雷电，他会把Spout发射来的数据（冰雹）刹时击碎，然后撒向大地，在大数据处理赏罚体系中，这个大地就是数据耐久化层，好比数据库、文件体系等，而冰雹就是Storm中的Tuple，它是Storm集群中各结点之间数据传输的根基单元。读者应该留意到，在这个故事中，尚有一个最高权利的主控者——老天爷，在Storm中，“老天爷”就是Nimbus，它认真向集群中的各结点分发使命。而Spout和Bolt才是真正的数据处理赏罚组件，在Storm中，他们被称为Supervisor。Nimbus和Supervisor之间有和谐者，他们是Zookeeper，认真整个集群的打点和和谐，如图1-2所示。
到这来，您已司领略了Storm的根基观念了，有了这些根基观念，你就可以搭建集群来进修Storm了，关于怎样真枪拭魅战地来行使Storm，我会在后续博客中更新。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
