加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

SQL on Hadoop在快手大数据平台的实践与优化

发布时间:2019-06-01 18:56:37 所属栏目:编程 来源:佚名
导读:快手大数据架构工程师钟靓克日在A2M人工智能与呆板进修创新峰会分享了题为《SQL on Hadoop在快手大数据平台的实践与优化》的演讲,首要从SQL on Hadoop先容、快手SQL on Hadoop平台概述、SQL on Hadoop在快手的行使履历和改造说明、快手SQL on Hadoop的未

当外部Monitor监控感知到持续内存过高,会自动触发HS2处事历程的FGC操纵,假如内存依然持续过高,则通过ZK直接下线处事,并按照查询提交的时刻次序,依次遏制查询,直到内存规复,担保处事中剩余使命的正常运行。

SQL on Hadoop在快手大数据平台的实践与优化

HiveServer2集群打点平台

HiveServer2在多集群状态下,必要把握每个集群、以及每个HS2处事的状态。通过打点平台,可以查察版本环境、启动时刻、资源行使环境以及上下线状态。

后续跟运维平台买通,可以更利便地举办一键式灰度以及进级。

SQL on Hadoop在快手大数据平台的实践与优化

快手查询平台的改造总结

SQL on Hadoop在快手大数据平台的实践与优化

04快手SQL on Hadoop的将来打算

  • 专家体系的进级,实现自动化参数调优和SQL优化
  • AdHoc查询的缓存加快

新引擎的调研与应用

【编辑保举】

  1. MySQL底层架构大揭秘,远不止写SQL那么简朴!
  2. MySQL到底是怎么办理幻读的?
  3. MySQL删除操纵着实是假删除
  4. MySQL数据库字符编码总结--数据传输编码
  5. DBA大牛MySQL优化心得,语句执行加快就是这么简朴!
【责任编辑:武晓燕 TEL:(010)68476606】
点赞 0

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读