大数据Hadoop入门必要填的坑
|
1、Hadoop生态轮廓 Hadoop是一个由Apache基金会所开拓的漫衍式体系集成架构，用户可以在不相识漫衍式底层细节环境下，开拓漫衍式措施，充实操作集群的威力来举办高速运算与存储，具有靠得住、高效、可伸缩的特点： • 高靠得住性：提供按位处理赏罚的存储和计较手段值得用户相信。 • 高扩展性：可以轻松地从小量集群扩展到数以千计的节点中。 • 高效性：提供并发的漫衍式计较框架，处理赏罚速率很是快。 • 高容错性：纵然在少量节点宕机的环境下，也能自动完成使命。 Hadoop的焦点是YARN,HDFS,Mapreduce。 2、HDFS 源自谷歌的GFS论文，颁发于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop系统中数据存储打点的基本，它是一个高度容错的体系，能检测和应对硬件妨碍。 HDFS简化了文件同等性模子，通过流式数据会见，提供高吞吐量应用措施数据会见成果，得当带有大型数据集的应用措施，它提供了一次写入多次读取的机制，数据以块的情势，同时漫衍在集群差异物理呆板。 3、Mapreduce 源自于谷歌的MapReduce论文，"Hadoop Map/Reduce是一个行使浅显的软件框架，基于它写出来的应用措施可以或许运行在由上千个商用呆板构成的大型集群上，并以一种靠得住容错的方法并行处理赏罚上T级此外数据集。"Hadoop将MapReduce高度抽象为两个阶段：Map阶段和Reduce阶段，每个阶段都以Key/Value对作为进程的输入和输出，并可以由措施员本身选择他们的范例。 4、HBASE(漫衍式列存数据库) 源自谷歌的Bigtable论文，是一个成立在HDFS之上，面向列的针对布局化的数据可伸缩，高靠得住，高机能漫衍式和面向列的动态模式数据库。HBase是一个漫衍式的、面向列的开源数据库，该技能来历于 Fay Chang 所撰写的Google论文“Bigtable：一个布局化数据的漫衍式存储体系”。就像Bigtable操作了Google文件体系(File System)所提供的漫衍式数据存储一样，HBase在Hadoop之上提供了相同于Bigtable的手段。HBase是Apache的Hadoop项目标子项目。HBase差异于一样平常的相关数据库，它是一个得当于非布局化数据存储的数据库。另一个差异的是HBase基于列的而不是基于行的模式。 5、ZooKeeper ZooKeeper是一个漫衍式的，开放源码的漫衍式应用措施和谐处事，是Google的Chubby一个开源的实现，它是集群的打点者，监督着集群中各个节点的状态按照节点提交的反馈举办下一步公道操纵。最终，将简朴易用的接口和机能高效、成果不变的体系提供应用户。ZooKeeper为其提供：文件体系与关照机制。 6、HIVE Hive是基于Hadoop的一个数据客栈，可以将布局化的数据文件映射为一张表，并提供类sql查询成果，Hive底层将sql语句转化为mapreduce使命运行。相对付用java代码编写mapreduce来说，Hive的上风明明：快速开拓，职员本钱低，可扩展性(自由扩展集群局限)，延展性(支持自界说函数)。 7、Flume Flume是Cloudera提供的一个高可用的，高靠得住的，漫衍式的海量日记收罗、聚合和传输的体系，Flume支持在日记体系中定制种种数据发送方，用于网络数据;同时，Flume提供对数据举办简朴处理赏罚，并写到各类数据接管方(可定制)的手段。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。因为Flume-ng颠末重大重构，与Flume-og有很大差异，行使时请留意区分。 8、Yarn漫衍式资源打点器 YARN(Yet Another Resource Negotiator, a framework for job scheduling and cluster resource management)，Yarn是下一代mapreduce，首要办理原始的Hadoop扩展性较差，不支持多种计较框架而提出的，YARN的优越点是什么，践行漫衍式框架计划和并行化开拓时有什么开导。但愿这能加深Hadoop领略和算法开拓思绪扩展，如TensorFlow的多核使命分派机制、漫衍式使命分派机制等。 9、spark Spark是一个用来实现快速而通用的集群计较的平台。扩展了普及行使的MapReduce计较模子，并且高效地支持更多的计较模式，包罗交互式查询和流处理赏罚。在处理赏罚大局限数据集的时辰，速率长短常重要的。Spark的一个重要特点就是可以或许在内存上钩较，因而更快。纵然在磁盘长举办的伟大计较，Spark依然比MapReduce越发高效。 10、Kafka Kafka is a distributed,partitioned,replicated commit logservice。它提供了相同于JMS的特征，可是在计划实现上完全差异，另外它并不是JMS类型的实现。kafka对动静生涯时按照Topic举办归类，发送动静者成为Producer,动静接管者成为Consumer,另外kafka集群有多个kafka实例构成，每个实例(server)成为broker。无论是kafka集群，照旧producer和consumer都依靠于zookeeper来担保体系可用性集群生涯一些meta信息。 11、Hadoop伪漫衍式陈设 今朝而言，不收费的Hadoop版本首要有三个，都是海外厂商，别离是 1、Apache原始版本 2、CDH版本，对付海内用户而言，绝大大都选择该版本 3、HDP版本 相干阅读： 做大数据说明时，这几个能力可以带来辅佐 大数据行使的5种首要数据发掘技能 三大偏向猜测大数据技能成长将来趋势 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
