数据库计划 – 具有快速(lt;1s)读取查询机能的大型(gt; 22万亿

我正在为大型地理空间数据集计划新体系,这必要快速的读取查询机能.因此,我想看看是否有人以为有也许可能有关于吻合的DBMS,数据布局或更换要领的履历/提议,以便在以下环境下到达所需的机能：

将从已处理赏罚的卫星雷达数据中不绝发生数据,这些数据将具有环球包围范畴.按照环球的卫星判别率和土地包围率,我预计完备的数据集可以发生环球750亿个差异位置的数值.在单个卫星的寿命时代,输出将在这些位置中的每一个处发生多达300个值(因此总数据集> 22万亿个值).这是针对一颗卫星,而且已经有第二颗卫星,在新的几年内打算其它两颗.以是会有很大都据！单个数据项很是简朴,仅包括(经度,纬度,值),但因为项目数目的缘故起因,我预计单个卫星可以发生高达100TB的数据.

书面数据永久不必要更新,由于只有在处理赏罚新的卫星收罗时才会增进.写入机能并不重要,但读取机能至关重要.该项目标方针是可以或许通过简朴的界面(譬喻谷歌舆图上的图层)可视化数据,个中每个点都具有基于其均匀值,渐变或某些成果的彩色值. (在帖子末了演示).

按照这些要求,数据库必要具有可扩展性,我们也许会存眷云办理方案.体系必要可以或许处理赏罚地理空间查询,譬喻“接近(lat,lon)的点”和“(box)内的点”,而且具有< 1s用于定位单个点,多边形包括多达50,000个点(尽量最多可达200??,000个点). 到今朝为止,我在1.11亿个位置拥有约莫7.5亿个数据项的测试数据集.我已经试过了一个postgres / postGIS实例,它运行正常,但没有分片的也许性,我不这样做,这将可以或许应对数据增添.我还试用了一个mongoDB实例,这好像也好了以是远,而且通过度片,也许足以与数据量一路扩展.我最近学到了一些关于elasticsearch的常识,以是对此有任何意见城市对我有所辅佐. 这是我们想要行使完备数据集实现的快速动画：

这个gif(来自我的postgres试用版)提供(6×3)预先计较的光栅图块,每个图块包括~200,000个点,每个点天生约17秒.点击一个点,通过拉出<中最近的位置的全部汗青值来建造图表. 1秒. 对付长篇大论致歉,接待提出全部意见/提议.

办理要领

这样你可以行使任何相同的数据库办理方案.它不必要自行扩展.

各个方块将具有差异数目的数据.您可觉得它们行使差异巨细的计较机(由于这是云),可能在统一台计较机上安排多个小碎片.

这种分片方案很是得当您执行的查询,由于每个查询只必要触摸很少的分片.时刻分片更糟糕,由于每次查询都必需触及全部时刻分片.随机分片具有沟通的题目.

总而言之,这是一个简朴的分片环境,由于查询模式很是得当分片方案.

现实上,我想知道你是否必要一个数据库.大概你可以将地球分别为1000×1000或更小的地块,并在每个地块的blob存储中有一个平面文件. Blob存储基础不介怀1M blob.

行使此存储方案,在观念上执行查询很是轻易.您也可以将数据冗余存储在多个网格判别率中.

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!