SQL on Hadoop在快手大数据平台的实践与优化

网页爬取的数据会存入hbase，后续也会举办洗濯与处理赏罚。

快手SQL on Hadoop平台概览—平台组件声名

HUE、NoteBook首要提供的是交互式查询的体系。报表体系、BI体系首要是ETL处理赏罚以及常见的报表天生，特另外元数据体系是对外举办处事的。快手此刻的引擎支持MR、Presto及Spark。

打点体系首要用于打点我们当前的集群。HiveServer2集群路由体系，首要用于引擎的选择。监控体系以及运维体系，首要是对付HiveServer2引擎举办运维。

我们在行使HiveServer2进程中，碰着过许多题目。接下来，我会具体的为各人叙述快手是怎样举办优化及实践的。

03SQL on Hadoop在快手的行使履历和改造说明

HiveServer2多集群架构

当前有多个HiveServer2集群，别离是AdHoc与ETL两大集群，以及其他小集群。差异集群有对应的毗连ZK，客户端可通过ZK毗连HiveServer2集群。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!