Hadoop YARN：调度性能优化实践

发布时间：2019-08-04 00:48:56 所属栏目：教程来源：世龙、廷稳

导读：配景 YARN作为Hadoop的资源打点体系，认真Hadoop集群上计较资源的打点和功课调治。美团的YARN以社区2.7.1版本为基本构建分支。今朝在YARN上支撑离线营业、及时营业以及呆板进求学务。离线营业首要运行的是Hive on MapReduce， Spark SQL为主的数据客栈作

调治体系的本质是为功课分派Container，因此提出调治体系机能指标CPS–每秒调治Container数。在出产情形，只要validSchedule达标，表白今朝调治器是满意线上营业需求的。而在测试情形，必要存眷差异压力前提下的CPS，找到当前体系承载手段的上限，并进一步指导机能优化事变。