加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

1万属性,100亿数据,每秒10万吞吐,架构怎样计划?

发布时间:2019-05-06 06:15:28 所属栏目:建站 来源:58沈剑
导读:有一类营业场景,没有牢靠的schema存储,却有着海量的数据行数,架构上怎样来实现这类营业的存储与检索呢?58最焦点的数据帖子的架构实现技能细节,本日和各人聊一聊。 一、配景描写及营业先容 什么是58最焦点的数据? 58是一个信息平台,有许多垂直品类:招

办理了海量异构数据的存储题目,碰着的新题目是:

  • 每笔记录ext内key都必要一再存储,占有了大量的空间,可否压缩存储;
  • cateid已经不敷以描写ext内的内容,品类有层级,深度不确定,ext可否具备自描写性;
  • 随时可以增进属性,担保扩展性;

办理完海量异构数据的存储题目,接下来,要办理的是类目标扩展性题目。

第二:同一类目属性处事

每个营业有几多属性,这些属性是什么寄义,值的束缚等,耦合到帖子处事里显然是不公道的,那怎么办呢?

抽象出一个同一的类目、属性处事,单独来打点这些信息,而帖子库ext字段里json的key,同一由数字来暗示,镌汰存储空间。

画外音:帖子表只存元信息,不管营业寄义。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读