Hadoop运行在Kubernetes平台实践
发布时间：2018-12-17 22:50:28 所属栏目：教程 来源：店家小二
导读：Hadoop与Kubernetes就仿佛江湖里的两大绝世好手，一个是成名已久的父老，至今如故名声远扬，一个则是初出茅庐的青涩少年，骨骼诧异，不走通俗路，一脱手便惊诧了整个武林。Hadoop与Kubernetes之间有很深的渊源，由于都出自IT权门Google，只不外，后者是亲
|
看成业执行完成后，可以通过界面看到具体的统计信息，好比wordcount的执行功效如下图所示：
最后，我们举办了裸机版Hadoop集群与Kubernetes之上的Hadoop集群的机能比拟测试，测试情形为十台处事器构成的集群，详细参数如下： 硬件：
软件：
我们执行了以下这些尺度测试项：
综合测试下来，Hadoop跑在Kuberntes集群上时，机能有所降落，以TestDFSIO的测试为例，下面是Hadoop集群文件读取的机能测试比拟：
我们看到，Kubernetes集群上的文件读机能与物理机对比，降落了差不多30%阁下，而且使命执行时刻也增进不少，再来比拟文件写入的机能，测试功效如下下图所示：
我们看到，写文件机能的差距并不大，这里的首要缘故起因是在测试进程中，HDFS写磁盘的速率远远低于读磁盘的速率，因此无法拉开差距。 之以是陈设在Kuberntes上的Hadoop集群的机能会有所降落，首要一个缘故起因是容器假造收集所带来的机能消费，假如用Host Only模子，则两者之间的差距会进一步缩小，下图是TestDFSIO测试中Hadoop集群文件读取的机能测试比拟：
因此我们提议在出产情形中回收Host Only的收集模子，以晋升Hadoop的集群机能。 占领Hadoop在Kubernetes上的陈设，而且在出产中加以验证，我们可以很孤高的说，此刻没有什么可以或许难倒应用向Kubernetes的迁徙的步骤，回收同一的PaaS构建企业的应用集群和大数据集群，实现资源的共享和处事的同一打点将会大大的晋升企业的营业陈设速率和打点的服从。 【编辑保举】
点赞 0 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
