SQL on Hadoop在快手大数据平台的实践与优化

在功课界面，还可以查察更多的功课诊断信息，以及功课的修改提议。

SQL on Hadoop平台在行使中碰着的痛点

SQL on Hadoop在快手行使：常见运维性题目

审计说明 - 架构图

审计成果也是BeaconServer处事的一个模块。

通过HS2中设置的Hook，发送必要的SQL、IP、User等信息至后端，举办语法说明，便可提取出DataBase、Table、Columns与操纵信息，将其说明后再存入Druid体系。用户可通过可视化平台查询部门开放的数据。

审计说明 - 热门信息查询

热门信息查询即将热门信息展示了一段时刻以内，用户的热门操纵，这个中包罗会见过哪些库，哪些表，以及哪些范例的操纵。

审计说明 - 血缘信息查询

下图可看出，血缘信息展示了一张表建设的上游依靠，一样平常用于统计表的影响范畴。

审计说明 - 汗青操纵查询

汗青操纵可以溯源到一段时刻内，对付某张表的操纵。能获取到操纵的用户、客户端、平台、以实时刻等信息。一样平常用于跟踪表的增编削环境。

HiveServer2集群AB切换方案

由于HiveServer2处事自己的上下线本钱较高，假如要执行一次进级操纵，每每耗时较长且影响可用性。HiveServer2集群的AB切换方案，首要依赖A集群在线，B集群备用的方法，通过切换ZK上的在线集群呆板，来实现无缝的进级操纵。

HiveServer2集群动态上下线

HiveServer2集群陈设了Metrics监控，可以或许及时地跟踪集群处事的行使环境。另外，我们对HS2处事举办了改革，实现了HS2 ZK下线和哀求Cancel的接口。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!