DIY Hadoop大数据情形的5大挑衅

甲骨文公司大数据产物司理Jean-Pierre Dijck称：“IT部分以为‘我已经有处事器，我还可以买到自制的处事器，我也有职员，以是我们不消花几多钱就可以构建本身的Hadoop集群’，这虽然是一件功德，可是IT部分在陈设时会发明这里会有许多他们没有预推测的特殊开销。”

Dijcks罗列了IT率领在DIY Hadoop集群时的5个常见错误：

1.他们试图以便宜的方法构建Hadoop

许多IT部分不清晰Hadoop集群应该完成什么义务(除了说明某些范例的数据)，以是他们会购置尽也许自制的处事器。

“Hadoop被以为是可自愈的，以是当处事器的一个节点呈现妨碍，构不成大题目，”Dijcks称，“但假如你购置便宜的处事器，许多节点呈现妨碍那么你就要花更多时刻来修复硬件，假如一大堆节点都不运行了，这就会造成大题目。”

假如你的Hadoop集群只是尝试，那么以上这些也许不是题目。然而，许多尝试性项目凡是最后城市进入出产情形。IT部分以为，“我们已经投入了大量的时刻，我们已经做了许多事变，此刻我们必要将其投入出产，”Dijcks说道，“在尝试时代，假如情形呈现题目，只要从头启动即可，但在出产情形，集群必要可以或许抵制硬件妨碍、工钱交互妨碍以及任何也许产生的工作。”

Forrester公司在其2016年第二季度陈诉“大数据Hadoop优化体系”中指出，我们必要大量时刻和精神用于安装、设置、调试、进级和监控通用Hadoop平台的基本办法，而预设置Hadoop优化体系可提供更快的时刻代价、低落本钱、最小化打点事变以及模块化扩展成果。

2.太多“厨师”

大大都IT部分将本成分为软件、硬件和收集组，而Hadoop集群超过了这些分组，以是DIY Hadoop集群最终会成为许多有说服力的“厨师”的产品。

Dijcks称：“在这种环境中，你有一个食谱来参考，但认真差异规模的人并不会完全遵循食谱，由于他们喜好与食谱要求略有差异的做法。“以是最终，Hadoop集群不会凭证预期那样运行。

在举办妨碍解除后，体系应该可以或许启动以及让IT运营职员在出产情形中运行，但Dijcks称：“这是另一个进修曲线开始的处所，他们也许不认识Hadoop集群，你会看到许多工钱错误、停机时刻等一系列题目。”

3.他们没故意识到Hadoop DIY项目是特洛伊木马

在Hadoop集群转移到出产情形后，企业凡是会发明他们必要布置专门的事恋职员来保持其运行。Dijcks称：“虽然，这个事恋职员的大部门时刻耗费在维护上，而不是创新。”另外，这名事恋职员还必要相识Hadoop体系。

他告诫道：“你不能祈望人们在很短时刻内酿成Hadoop专家。”纵然你雇佣履历富厚的事恋职员，但IT情形差别性很大--DIY Hadoop集群组件也是云云。因此，在你特定情形中的全部设置、毗连和彼此相关都必要花时刻来相识。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!