SQL on Hadoop在快手大数据平台的实践与优化
发布时间：2019-06-01 18:56:37 所属栏目：编程 来源：佚名
导读：快手大数据架构工程师钟靓克日在A2M人工智能与呆板进修创新峰会分享了题为《SQL on Hadoop在快手大数据平台的实践与优化》的演讲，首要从SQL on Hadoop先容、快手SQL on Hadoop平台概述、SQL on Hadoop在快手的行使履历和改造说明、快手SQL on Hadoop的未
|
SQL专家体系基于HS2的Hook架构，在BeaconServer后端实现了三个首要的模块，别离是SQL法则节制模块、SQL错误说明模块，与SQL优化提议模块。SQL专家体系的常识库，包括要害字、缘故起因声名、处理赏罚方案等几项首要信息，存于后端数据库中，并一向蕴蓄。 通过SQL专家体系，后端可以举办查询SQL的非常节制，停止非常SQL的资源挥霍可能影响集群不变。用户在碰着题目时，能直接获取题目的处理赏罚方案，镌汰了行使本钱。 示例：空分区查询节制。
功课诊断体系 SQL专家体系能办理一部门HS2的使命执行的错误诊断需求，可是好比功课康健度、使命执行非常等题目缘故起因的判定，必要专门的体系来办理，为此我们计划了功课诊断体系。 功课诊断体系在YARN的层面，针对差异的执行引擎，对汇集的Counter和设置举办说明。在执行层面，提出相干的优化提议。 功课诊断体系的数据也能通过API提供应SQL专家体系，增补用于说明的题目缘故起因。
功课诊断体系提供了查询页面来查询运行的使命。以下是掷中map输入过多法则的使命查询进程：
（编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
