弥补MySQL和Redis短板：看HBase怎么确保高可用

收罗Regionserver Metric中的数据，首要收罗数据包罗：

• Region的信息，上线region数目，store的数目、storefile的巨细、storefileindex的巨细，读取时memstore掷中的次数和缺失次数;
• blockcache的信息，譬喻blockcache中行使几多、空闲几多、累计的缺失率、掷中率等;
• 读写哀求的统计信息，譬喻最大最小读写相应时刻，读写的表漫衍、读写数据量、读写失败次数等;
• compact与split的操纵信息，譬喻行列的长度、操纵次数和时刻等;
• handler的信息，譬喻行列长度、处于活泼handler的数目以及活泼的reader数目。

其他维度的指标如容器CPU以及Mem占用来自Kubernetes平台监控，磁盘IO，磁盘占用等来自主机监控：

HBase部门监控

2、Kubas-Region-Inspector组件

• 收罗HBase表Region信息，通过HBaseAPI接口，获取每个HBaseRegion的数据统计信息，并将Region数据聚合成数据表信息;
• 通过挪用开源组件形成HBase集群Region漫衍的图表，对Region热门举办定位;

HBaseRegion漫衍监控

通过以上模块收罗的监控信息，根基可以描写在Kubernetes上运行的HBase集群的状态信息，并可以或许帮助运维打点职员对妨碍举办定位解除。

十二、Future Work

跟着公司营业的快速成长，知乎的HBase平台营业同时也在不绝的迭代优化，短期内我们会从以下几个偏向进一步晋升知乎HBase平台的打点处事手段：

• 晋升集群安详不变性。插手HBase权限支持，进一步晋升多租户会见下的安详断绝性;
• 用户集群构建定制化。通过提供用户数据打点体系，向营业用户开放HBase构建接口，这样营业用户可以自行构建HBase集群，添加Phoniex等插件的支持;
• 运维检测自动化。自动对集群扩容，自动热门检测以及转移等;

参考

[1]知乎基于Kubernetes的Kafka平台的计划和实现

https://zhuanlan.zhihu.com/ p/36366473

[2]知乎容器平台演进及与大数据融合实践

[3]Kubernetes

http://link.zhihu.com/?target=https%3A//kubernetes.io/

[4]Building online hbase cluster of zhihu based on kubernetes

【编辑保举】

1. Redis数据布局之简朴动态字符串SDS
2. 为什么MySQL数据库要用B+树存储索引？
3. 基于Redis+MySQL+MongoDB存储架构应用
4. NoSQL数据库处事之Redis
5. Redis 布隆过滤器拭魅战「缓存击穿、雪崩效应」

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!