Hadoop YARN：调度性能优化实践

这里的要害题目是：体系通过设置加载线程更新了调治器某个参数的值，而调治线程也同时在凭证这个参数值举办事变。在一次调治进程中也许多次查察这个参数的值，而且按照参数值来执行响应的逻辑。调治线程在一次调治进程中调查到的参数值产生变革，就会导致体系非常。

处理赏罚步伐是通过复制资源的方法，停止多线程共享资源引起数据纷歧致的题目。调治线程在每次调治开始阶段，先将当前全部机能优化参数举办复制，确保在本次调治进程中调查到的参数不会改观。

数据自动校验计策

优化算法是为了晋升机能，但要留意不能影响算法的输出功效，确保算法正确性。对付伟大的算法优化，确保算法正确性是一个很有难度的事变。

在“优化排序较量时刻”的研发中，改观了行列resourceUsage的计较要领，从现场计较改观为提前计较。那么怎样担保优化后算法计较出来的resourceUsage是正确的呢?

纵然做了单位计策，成果测试，压力测试，但面临一个伟大体系，依然不能有100%的掌握。 其它，将来体系进级也也许引起这部门成果的bug。

算法改观后，假如新的resourceUsage计较错误，那么就会导致调治计策一向错误执行下去。从而影响行列的资源分派。会对营业发生庞大的影响。譬喻，营业拿不到本来的资源量，导致营业耽误。

通过原先现场计较的方法获得的全部行列的resourceUsage必然是正确的，界说为oldResourceUsage。 算法优化后，通过提前计较的方法获得全部行列的resourceUsage，界说为newResourceUsage。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!