1.什么是大数据？

不弄大白这个根天性的题目，是无法深入领略此后数据说明技能和器材的意义。

大数据指的是局限高出现稀有据库器材获取、存储、打点和说明手段的数据集，并同时夸大并不是高出某个特定命量级的数据集才是大数据。

大数据的界说聚焦在“大“。从外貌上看，数据局限的增添简直为处理赏罚数据带来了很大的题目。详细来说，在同样时刻内获取与早年沟通代价的数据变得不举动了。换言之，本质题目是数据的代价密度变低了，数据互换速度变慢了，以是催生了许多新型数据处理赏罚技能和器材，如Google的GFS和MapReduce，Apache Hadoop生态体系，美国伯克利大学AMPLab的Spark等；呈现了对时刻敏感水平差异的计较模式，如批式计较模式、交互式计较模式、流计较模式、及时计较模式等。计较模式的差别只是抉择获取代价的技能差异，取决于上层营业需求的差异。

现实上，所谓大数据题目的本质应是数据的资产化和处事化，而发掘数据的内涵代价是研究大数据的最终方针。

扩展阅读：

http://www.codesec.net/view/405340.html

http://wiki.mbalib.com/wiki/%E5%A4%A7%E6%95%B0%E6%8D%AE

观念清楚了，接下来就是找到要害点。从事大数据事变最焦点的两项事变是：存储和说明。传统的数据库已经无法满意数据增添的必要了，那么起主要办理的就是数据增添带来的存储题目。其次，是基于离线数据和及时数据的计较，按照差异的数学模子输出有代价的可用性说明功效。

?

2.什么是Storm？

Storm是一个漫衍式的，容错的及时计较体系。首要用于互联网流式数据处理赏罚。所谓流式数据是指将数据看作是数据流的情势来处理赏罚。数据流则是在时刻漫衍和数目上无穷的一系列数据记录的荟萃体；数据记录是数据流的最小构成单位。举个例子，对付大型网站，活泼的流式数据非经常见，这些数据包罗网站的会见 PV/UV、用户会见了什么内容，搜刮了什么内容等。及时的数据计较和说明可以动态及时地 革新用户会见数据，展示网站及时流量的变革环境，阐来日诰日天各小时的流量和用户漫衍环境 这对付大型网站来说具有重要的现实意义。?

3.什么是Spark？

Spark是一个基于内存计较的开源的集群计较体系，目标是让数据说明越发快速。Spark很是小巧玲珑，由加州伯克利大学AMP尝试室的Matei为主的小团队所开拓。行使的说话是Scala，项目标core部门的代码只有63个Scala文件，很是短小精壮。

Spark 是一种与 Hadoop 相似的开源集群计较情形，可是两者之间还存在一些差异之处，这些有效的差异之处使 Spark 在某些事变负载方面示意得越发良好，换句话说，Spark 启用了内存漫衍数据集，除了可以或许提供交互式查询外，它还可以优化迭代事变负载。

Spark 是在 Scala 说话中实现的，它将 Scala 用作其应用措施框架。与 Hadoop 差异，Spark 和 Scala 可以或许细麋集成，个中的 Scala 可以像操纵当地荟萃工具一样轻松地操纵漫衍式数据集。

4.一句话声名

HDFS: 存储体系

MapReduce：计较体系

Hive：提供应SQL开拓职员（通过HiveQL）的MapReduce，基于Hadoop的数据客栈框架

Pig：基于Hadoop的说话开拓的

HBase:NoSQL数据库

Flume：一个网络处理赏罚Hadoop数据的框架

Oozie：一个让用户以多种说话（如MapReduce，Pig和Hive）界说一系列功课的事变流处理赏罚体系

Ambari：一个基于web的陈设/打点/监控Hadoop集群的器材集

Avro：应承编码Hadoop文件的schema的一种数据序列化体系

Mahout：一个数据发掘库，它包括了最风行的一些数据挖据算法，而且以MapReduce模子来实现他们

Sqoop：一个从非Hadoop数据存储（如相关数据库和数据客栈）进来的移动数据到Hadoop中的毗连器材

HCatalog：一此中心化的元数据打点以及Apache Hadoop共享处事，它应承在Hadoop集群中的全部数据的同一视图，并应承差异的器材，包罗Pig和Hive，处理赏罚任何数据元素，而无需知道身材在集群中的数据存储。

BigTop：为了缔造一个矫正式的措施或框架Hadoop的子项目及相干组件的方针进步Hadoop的平台，作为一个整体的包装和互操纵性测试。

Apache Storm：一个漫衍式及时计较体系，Storm是一个使命并行持续计较引擎。 Storm自己并不典范在Hadoop集群上运行，它行使Apache ZooKeeper的和本身的主/从事变历程，和谐拓扑，主机和事变者状态，担保信息的语义。无论怎样， Storm一定照旧可以从HDFS文件斲丧可能从文件写入到HDFS。

Apache Spark：一种快速，通用引擎用于大局限数据处理赏罚，Spark是一个数据并行通用批量处理赏罚引擎。事变流中在一个相同的和怀旧气魄威风凛凛的MapReduce中界说，可是，比传统Hadoop MapReduce的更醒目。Apache Spark有其流API项目，该项目通过短隔断批次应承持续处理赏罚。Apache Spark自己并不必要Hadoop操纵。可是，它的数据并行模式，必要不变的数据优化行使共享文件体系。该不变源的范畴可以从S3，NFS或更典范地，HDFS。执行Spark应用措施并不必要Hadoop YARN。Spark有本身独立的主/处事器历程。然而，这是配合的运行行使YARN容器Spark的应用措施。另外，Spark还可以在Mesos集群上运行。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!