京东云李道兵：对象存储的新挑战

在新的SSD模子上面会不会有新的题目呢？这是一个1U 1PB的SSD存储处事器。这内里带来一个大的题目。每个SSD能提供500MB/s的吞吐，30个SSD提供15GB/s的吞吐，网卡的瓶颈可以用filter来办理，我们从磁盘读取了15GB/s 的数据，但不消向网卡吐那么大都据，只把必要的数据吐出去。但15GB/s远高出CPU的处理赏罚手段，纵然是顶尖的E5双路CPU也不能满意需求，更况且这样的CPU其实是太贵了。有没有也许我们把计较手段进一步下沉，下沉到SSD内里去呢，SSD为了实现本身的调治算法，自带了计较芯片，我们能不能在芯片里做一些简朴的处理赏罚，好比过滤、汇总等，这样Filter进程完全不消CPU参加，直接在SSD里就做完了，在新的SSD架构内里这个工作长短常有需求的一件工作。并且，我们也能获得特另外甜头，好比半布局化数据可压缩性很强，这套框架也可以用于数据压缩，可以进一步在不影响行使的环境进步存储密度，同时不增进CPU的承担。从这个角度上讲，可以说是两头计较，对半布局化数据，我们冒死把计较往双方迁徙，个中一侧我们往下推，推随处事器，再推到磁盘，推到SSD内里本身完成计较。其它一端，我们把汇总出来的数据往其它一侧推，相同spark这类的齐集式计较引擎，这种对半布局化数据filter模子就较量利便，可以或许到达将来半布局化数据计较的需求。对付工具存储你必要做的改变也不太多，必要一套新的支持查询的API，一套查询语礼貌范（相同于SQL），尚有就是对Spark等措施举办改革来支持这个类型。

我认为工具存储在将来几年的发杀青长必定没有题目，并且个中富媒体浸染是主力，可是半布局化数据也会逐步生长起来，逐步慢慢的也许会成为新的主流的数据存储需求，通过两头计较模子，可以或许更好的操作半布局化数据和存储的进程上风，把半布局化数据的代价充实验展出来。我想讲的就是这些，感谢各人！

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!