Hadoop YARN：调度性能优化实践
发布时间：2019-08-04 00:48:56 所属栏目：教程 来源：世龙、廷稳
导读：配景 YARN作为Hadoop的资源打点体系，认真Hadoop集群上计较资源的打点和功课调治。 美团的YARN以社区2.7.1版本为基本构建分支。今朝在YARN上支撑离线营业、及时营业以及呆板进求学务。 离线营业首要运行的是Hive on MapReduce， Spark SQL为主的数据客栈作
|
优化结果：排序相干的细粒度指标耗时明明降落。
红框中的指标暗示每分钟调治器用来做行列/功课排序的时刻。从图中可以看出，颠末优化，排序时刻从每分钟30G(30秒)降落到5G(5秒)以内。 优化功课跳过时代 从上图看，优化排序较量函数后，蓝色的线有明明的增进，从2秒增进到了20秒。这条蓝线指标寄义是每分钟调治器跳过没有资源需求的功课耗费的时刻。从时刻占比角度来看，今朝优化方针是镌汰这条蓝线的时刻。 说明代码发明，全部行列/功课城市参加调治。但着实许多行列/功课基础没有资源需求，并不必要参加调治。因此优化计策是：在排序之前，从行列的Children中剔除去没有资源需求的行列/功课。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
