加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

一套很专业的监控方案:HDFS监控落地背后的思索

发布时间:2019-02-21 07:39:28 所属栏目:教程 来源:李子树
导读:基于京东云的拭魅战履历,我们本日来聊聊HDFS相干的监控。 Hadoop漫衍式文件体系(HDFS)被计划成得当运行在通用硬件(commodity hardware)上的漫衍式文件体系。 HDFS能提供高吞吐量的数据会见,很是得当大局限数据集上的应用。在大数据生态圈中,HDFS是最重要

收罗项:

收罗Datanode数据举办汇聚计较。

收集收支流量

收罗项:node_network_receive_bytes_total/ node_network_transmit_bytes_total

没有直接可以行使的现成数据,必要通过ReceivedBytes(吸取字节总量)、SentBytes(发送字节总量)来计较。

磁盘I/O

收罗项:node_disk_written_bytes_total/ node_disk_read_bytes_total

3)耽误

RPC处理赏罚均匀时刻

收罗项:RpcQueueTimeAvgTime

收罗RpcQueueTimeAvgTime(RPC处理赏罚均匀时刻)、SyncsAvgTime(Journalnode同步耗时)。

慢节点数目

收罗项:SlowPeerReports

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读