大数据干货分享：大数据集群的自动化运维实现思路

摘 要

IT公司的数据平台是支撑大局限数据处理赏罚、数据决定支持的重要基本办法，跟着大数据及人工智能技能的成长，大数据集群局限变得越来越大。然而，怎样快速、高效的打点好成千上万台的大数据集群成为了许多大数据工程师的格斗方针，计划实现公道的自动化运维体系将使大数据集群的打点事半功倍。

本文将从大数据集群面对的挑衅、自动化运维体系的计划原则、器材选择等方面叙述大数据集群的自动化运维实现思绪。

大数据集群面对的挑衅

Hadoop生态体系组件：

1、处事器局限大

因为海量数据的存储需求，大数据集群凡是处事器局限较量大，譬喻，阿里巴巴云梯Hadoop集群、腾讯TDW体系单个集群均高出5000台的处事器，几百台至上千台处事器局限的集群很是广泛，集群局限的增添对妨碍相应、跨机房容灾等方面提出了更高的需求。

2、组件之间的依靠相关伟大

大数据集群凡是必要陈设多个框架，Hadoop生态体系包括了漫衍式存储、漫衍式就算、NoSQL体系、及时计较、流式计较、数据客栈等各个组件，以Hadoop自己为例，YARN及Hbase依靠HDFS体系，而HDFS体系又包罗Namenode、SecondaryNamenode、Datanode等差异的脚色，各个脚色之间的启动也有依靠次序相关。

3、 横向/纵向扩展需求多

从横向扩展来看，大数据集群凡是必要跟着数据量的增添而举办集群的扩容，从纵向扩展来看，每个公司的差异产物、差异营业线必要陈设多个差异的集群。

4、妨碍处理赏罚频仍

因为集群局限大，处事器多，大数据集群的硬件妨碍、体系妨碍等题目产生频仍，以我曾经认真的大数据集群来看，总计三千台处事器，高出6万块硬盘，每周改换的破坏磁盘在40块阁下，这种妨碍频率对传统的妨碍处理赏罚流程带来了挑衅，亟须成立自动化的妨碍处理赏罚方法来简化事变量。

为什么大数据平台更得当自动化运维?

1、软件系统高度尺度化

今朝，IT公司的的大数据平台广泛回收Hadoop生态体系各个组件，开源产物的器材计划更注重通用性、尺度化等方面的要求，因此，在软件的自动构建(广泛回收Maven器材)、API、测试用例(广泛实现了单位测试)、指标监控(http接口)等均具比种种自研体系越发类型。

2、处事器设置高度收敛

尽量大数据集群的局限大，可是集群在到达必然局限后，处事器的设置趋向于收敛特征，即大量的处事器的硬件、体系、陈设的软件均是同等的，这就为自动化运维体系的计划带来了庞大上风。

自动化运维体系计划原则

1、尺度化

自动化条件是尺度化，在实现体系自动化之前，应该对操纵流程举办一次完美的尺度化

2、高可用

大数据体系每每都是高可用的体系，为了晋升整个体系的不变性和可用性，自动化运维体系也必要计划成高可用，停止由于自动化运维体系的妨碍导致大数据平台呈现无法处事的环境。

3、幂等性

简朴来说，幂等性指的是一个操纵多次执行所发生的影响均与一次执行的影响沟通。在大数据体系架构中，常常存在部门失败的环境，必要多次运行沟通的陈设呼吁，这就必要体系在一再执行的环境下，不会呈现非常。

4、可回滚

全部自动化操纵均需涉及为可回滚，任何一种改变操纵，都应该保存响应的数据、代码、日记，并做公道备份，担保在任何一个步调呈现题目的时辰，自动化运维体系可以实现回滚至之前的状态。

5、高服从

大数据体系集群可以到杀青千上万台处事器的局限，一次操纵必要在短时刻内完成全部处事器的包围，因此自动化体系的运行服从必要进步，一样平常需计划可设置的并发运行数，到达对上线服从的要求。

实现路径

典范的大数据平台自动化运维体系，应该包括OA体系(实现页面操纵、事变流打点)、CMDB(设置打点数据库)、设置打点器材、碉堡机(中控机)、按时使命体系、一连集成体系等。

Hadoop自动化运维体系典范架构：

自动化运维器材选择

1、Ansible

Ansible是今朝github上最受接待的开源自动化器材，行使Python说话开拓，与Puppet、Slat等器材对比，Ansible无需在被打点的呆板安装agent，而是通过ssh举办打点，Ansible的越发的简朴易用而且成果强盛。

2、Puppet

puppet是一种Linux、Unix平台的齐集设置打点体系，基于C / S架构，行使ruby说话，可打点设置文件、用户、cron使命、软件包、体系处事等。puppet把这些体系实体称之为资源，puppet的计划方针是简化对这些资源的打点以及妥善处理赏罚资源间的依靠相关。

3、SaltStack

SaltStack是一个处事器基本架构齐集化打点平台，具备设置打点、长途执行、监控等成果。SaltStack基于Python说话实现，团结轻量级动静行列(ZeroMQ)与Python第三方模块(Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等)构建。

通过陈设SaltStack情形，可以在实现：在成千上万台处事器上做到批量执行呼吁;按照差异营业特征举办设置齐集化打点、分发文件、收罗处事器数据、操纵体系基本及软件包揽理等。

综上所述，Ansible是今朝Devops业界很是活泼的器材，在行使和陈设上也很是利便(仅需安装节制端，无需陈设agent)，在小批量的集群上提议行使Ansible。假如集群局限较大(高出1000台)且对运行速率要求更高，可以思量Salt和Puppet(对Python做二次开拓选用Salt，认识Ruby则可选择Puppet)。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!