Hadoop YARN：调度性能优化实践

在体系中，按期对oldResourceUsage和newResourceUsage举办较量，假如发明数据纷歧致，声名优化的算法有bug，newResourceUsage计较错误。这时体系会向RD发送报警关照，同时自动地将全部计较错误的数据用正确的数据替代，使得错误获得实时自动批改。

总结与将来瞻望

本文首要先容了美团点评Hadoop YARN集群公正调治器的机能优化实践。

1. 做机能优化，起主要界说宏观的机能指标，从而可以或许评估体系的机能。
2. 界说压测必要调查的细粒度指标，才气清楚看到体系的瓶颈。
3. 工欲善其事，必先利其器。高效的压力测试器材是机能优化必备的利器。
4. 优化算法的思绪首要有：低落算法时刻伟大度;镌汰一再计较和不须要的计较;并行化。
5. 机能优化是永无尽头的，要按照真实营业来公道预估营业压力，慢慢开展机能优化的事变。
6. 代码上线需审慎，做好防止方案。

单个YARN集群调治器的机能优化老是有限的，今朝我们可以支持1万节点的集群局限，那么将来10万，100万的节点我们怎样应对?

我们的办理思绪是：基于社区的思绪，计划得当美团点评的营业场景的技能方案。社区Hadoop 3.0研发了Global Scheduling，完全倾覆了今朝YARN调治器的架构，可以极大进步单集群调治机能。我们正在跟进这个Feature。社区的YARN Federation已经慢慢完美。该架构可以支撑多个YARN集群对外提供同一的集群计较处事，因为每个YARN集群都有本身的调治器，这相等于横向扩展了调治器的个数，从而进步集群整体的调治手段。我们基于社区的架构，团结美团点评的营业场景，正在不绝地完美美团点评的YARN Federation。

作者简介

世龙、廷稳，美团用户平台大数据与算法部研发工程师。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!