加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

一套很专业的监控方案:HDFS监控落地背后的思考

发布时间:2019-02-22 02:57:12 所属栏目:教程 来源:李子树
导读:基于京东云的拭魅战履历,我们本日来聊聊HDFS相干的监控。 Hadoop漫衍式文件体系(HDFS)被计划成得当运行在通用硬件(commodity hardware)上的漫衍式文件体系。 HDFS能提供高吞吐量的数据会见,很是得当大局限数据集上的应用。在大数据生态圈中,HDFS是最重要

机架分组不公道,导致HDFS无法写入。

  • 发明方法:成果监控写非常偶发性告警
  • 妨碍缘故起因:HDFS开启机架感知,差异分组呆板资源分派不公道,部门分组存储资源耗尽,在选择Datanode时,找不到可用节点
  • 优化提议:公道分派各机架上的实例数目,并分组举办监控。在局限较小环境下,可用思量封锁机架感知成果

HDFS监控自界说使命:

https://github.com/cloud-op/monitor

【编辑保举】

  1. Hadoop架构已凋落吗 ?
  2. Hadoop运行在Kubernetes平台实践
  3. 深入领略Hadoop之HDFS架构
  4. 深入浅出Hadoop YARN
  5. Hadoop巨头完成归并,,成为环球第二大开源软件公司
【责任编辑:武晓燕 TEL:(010)68476606】
点赞 0

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读