6个人如何维护上千规模的大数据集群呢？

　　逻辑架构如下图：

　　Grace 逻辑架构

　　Grace 是通过 Spark Streaming 实现的，通过斲丧 Kafka 中存储的已完成 MR 使命的 jhist 文件或 Spark 使命的 eventlog 路径，从 HDFS 对应位置获取使命运行汗青数据，理会后获得 MR/Spark 使命的明细数据。

　　再按照这些数据举办必然的聚合说明，获得使命级别，Job 级别，Stage 级此外汇总信息。

　　最后通过定制化的 Dr-Elephant 体系对使命明细数据通过开导式算法举办说明，从而给用户一些直观化的优化提醒。

　　对付 Dr-Elephant，我们也做了定制化的变换，好比将其作为 Grace 系统的一个组件打包依靠。

　　从单机陈设处事的模式酿成了漫衍式及时理会模式。将其数据酝迫椿为 Grace 理会到的使命明细数据。

　　增进每个使命的 ActionId 跟踪链路信息，优化 Spark 使命理会逻辑，增进新的开导式算法和新的监控指标等。

　　总结

　　跟着大数据生态系统越来越完美，越来越多配景差异的用户都将插手该生态圈，我们怎样低落用户的进入门槛，利便用户快速便捷地行使大数据资源，也是必要思量的题目。

　　大数据集群中运行的绝大部门使命都是营业相干，可是跟着集群局限越来越大，使命局限越来越大，集群自己发生的数据也是不容忽视的。

　　这部门数据才是真正反应集群利器具体环境的，我们必要思量怎样网络行使这部门数据，从数据角度来权衡、调查我们的集群和使命。

　　仅仅存眷于集群整体陈设、机能、不变等方面是不足的，怎样进步用户体验，充实发掘集群自己数据，用数据促进大数据集群的建树，是本次分享的主题。

　　作者：陈凯明

　　简介：具有多年从事大数据基本架构事变履历。今朝接受饿了么数据平台研发团队资深数据工程师，首要认真饿了么离线平台及底层器材开拓。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!