加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

京东数据库智能运维平台建树之路

发布时间:2018-08-28 10:48:42 所属栏目:编程 来源:京东商城技术架构
导读:运维自动化来历于事变中的痛点,京东数据库团队面临的是商城成千上万的研发工程师,这种压力敦促我们不绝厘革,然而厘革不是一挥而就,也经验过从手工到剧本化、自动化、平台化、智能化的艰巨转变,以是说是需求在驱动运维系统的建树,而运维自动化的真谛

基于以上的题目,纯真的数据库处事容器化已经无法办理,我们必要让数据库处事更智慧,让数据库的资源可以或许动起来,提供资源分期交付的成果,于是ContainerDB应运而生。ContainerDB基于负载的弹性调治为京东的数据库资源赋予了伶俐,令其资源真正地活动起来,并已乐成处事于多次618和11.11大促。

京东数据库智能运维平台建树之路

ContainerDB针对每个营业应用都有逻辑库,逻辑库中界说了针对整个营业全部表的拆分键(Sharding Key)举办哈希取模运算时模的范畴(KeySpace),在每个逻辑库中可以建设多张表,可是每个表中必需界说Sharding Key。通过该Sharding Key将表中的数据拆分成多个分片(Shard),每个分片都对应一个KeyRange,KeyRange暗示对Sharding Key举办哈希取模运算之后获得的值(Sharding Index)的一个范畴,每个Shard都由一整套MySQL主从架构提供数据库处事支撑。应用措施只跟Gate集群举办交互,由Gate按照元数据信息和SQL语句完成数据写入和查询的自动路由。ContainerDB中的监控中心会对全部的基本处事和资源行使状况举办及时监控,并通过在监控中心注册的Hook措施自动进动作态扩容、妨碍自愈、分片打点等,而这一系列操纵对应用措施来说是完全无感知的。

(1)流式资源一连交付

京东数据库智能运维平台建树之路

数据库早年的处事存在资源挥霍的一个首要缘故起因就是资源初始分派粒度太大,一开始就为营业提前预支3年乃至5年的资源。而资源池中的资源是有限的,不行能让全部营业都提前预支资源,从而导致有些营业没有资源。ContainerDB回收流式的方法举办资源的一连交付。每个营业接入初始都只会分派尺度的64G硬盘,跟着营业的成长和数据量的一连增进,会一连增进硬盘容量直到达到硬盘限定的上限256G。

京东数据库智能运维平台建树之路

通过这种方法,我们极大地拉长了数据库资源的交付周期,进而可以在三年可能五年的全部资源预算到位之前就起首为全部处事提供数据库处事,晋升了数据库的营业支撑手段。

(2)基于负载的弹性调治

数据库处事行使的资源分为两类:瞬时资源和递增资源。

瞬时资源是指会资源的行使率在短时刻之内会呈现严峻颠簸,这种资源首要包罗CPU和内存。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读