UCloud优刻得US3在海量数据归档存储下的成本优化实践，使存储成

媒介

UCloud优刻得在2020年8月正式宣布了基于US3的全新一代归档存储产物，该产物回收UCloud优刻得全新自研存储架构，相较尺度存储低落近80%存储本钱的同时，与市场同类归档存储产物对比低落近30%的价值。据IDC的猜测，环球年新增数据量到2025年将达175ZB，真正能存储下来的数据仅有15ZB阁下，流失率高出91%。在今朝企业数据的冰山模子里，80%的数据量来历于冷数据。在公有云规模，UCloud优刻得以为容量型存储通过技妙本领晋升成长的空间还异常庞大。

怎样最大化操作最新的高容量硬件来进一步低落存储本钱?如安在归档存储恒久生涯的场景下充实保障用户的数据安详?这些都必要UCloud优刻得对US3归档存储的整个IO路径做较大的优化以及硬件适配事变，同时我们还必要保障产物的易用性，停止给用户带来特另外行使本钱。

接下来本文将从UCloud优刻得怎样操作硬盘技能晋升存储密度以及优化IO调治来低落运营本钱这两个角度，具体理会US3归档存储的底层存储引擎的软件以及硬件选型优化细节。

回收SMR盘+JBOD装备进步存储密度

低落硬件层面的本钱，首要表此刻进步存储密度上。这里我们试探过包罗蓝光，磁带、硬盘等差异的存储介质，也有参考过微软的Pelican体系的硬件计划。思量到我们最终实现的方针是祈望用户可以在紧张环境下分钟内实现数据的激活与读取，正常环境下可以在小时内完成激活与读取，对付用户的最短生涯时刻不必要以年来计较。因此，UCloud 优刻得团结自身的存储技能上风，暂且解除了蓝光以及磁带的存储介质实现，首要回收高密度硬盘的方法来实现归档型的云存储处事。

这里先先容一下传统硬盘是怎么记录数据的。

这种传统的硬盘一样平常来说是属于垂直磁记录PMR范例的硬盘。数据通过写入互相平行而不重叠的磁道来记录数据，晋升数据存储容量只能通过晋升磁道数目来晋升。

相较于这种传统的硬盘尚有一种基于叠瓦磁记录SMR的磁存储数据记录技能的硬盘可以晋升存储密度以及整体硬盘的存储容量。这里先容SMR硬盘的硬件实现之前还必要先相识一个配景常识，起首我们将磁盘的磁头放大来看。

因为物理上的缘故起因，磁盘写入磁头所必要的宽度要比读取的磁头宽上许多，这就导致了读写两个操纵对付磁道宽度的需求着实是差池等的，写入必要的宽度更多，这就给进步磁盘密度带来了也许性，下面我们再来看一下SMR磁盘的结构。

SMR硬盘写入的新磁道与先前写入的磁道部门重叠，从而使先前的磁道更窄，因此能拥有更高的磁道密度。由此可以看出，行使叠瓦磁技能的磁道彼此重叠，与用作屋顶的瓦片堆叠方法相同，以是叫做叠瓦磁记录硬盘。

从SMR硬盘的硬件结构我们不丢脸出在晋升硬盘存储容量的同时，对付写入着实会造成很大的坚苦，一旦当前磁道的下一条磁道被写入过数据，这个磁道假如再想写入，因为磁道有重叠，写入的磁头又较大就会对后头的数据造成影响。以是从行使的角度来看，SMR硬盘会被分别成多少的Zone，每个Zone中的数据只可以或许举办追加写入，这个中又会有1%的Zone，磁道不重叠，叫做CMR Zone，可以支持随机读写。

可想而知假如要对上层屏障SMR盘带来的限定的话会带来不少的价钱，这里有device managed、host aware两种方法来简朴屏障掉SMR的次序写入限定，但岂论哪一种，都是将随机IO转化为次序IO，这样会带来必然的写放大以及读机能降落，以及在特定IO场景下的硬盘寿命影响，且上层对其影响不行控。

UCloud优刻得存储团队在多个现有产物上，都有绕过文件体系直接对块层存储操纵的技能蕴蓄，为停止对底层存储落地文件体系有强依靠，我们选取了host managed的方法来对SMR盘举办读写打点。

在硬盘数据落地的同时，我们也将相干的少量元数据与数据归并在一路写入，这样做有三方面思量：一是这部门少量元数据，我们会包括这一次IO的整体CRC，用于防备硬盘的静瘳错误(Silent Data Corruption)，进步用户在行使US3归档存储时的数据靠得住性，因此在冷存储这种海量且恒久存储场景硬盘的比特位反转(bit flip)等错误照旧必要我们出格存眷的。二是当我们的元数据受到一些歼灭性的软硬件题目导致不行用时，我们可以通过从头读取这些随IO写入的元数据复兴出整体的布局，虽然这个价钱也是较量大，预期也是在应对一些黑天鹅变乱时的处理赏罚方案。三是可以低落我们的写放大，在写入时不会因为必要更新元数据而写入两次IO，这在随机IO手段不是刚强的HDD硬盘场景下也分外重要。

我们选取了个中头部的多少CMR Zone用于自理会当前盘的元数据，并冗余多份，这里因为自身1%的CMR Zone对付元数据来嗣魅照旧较多，以是这里我们将部门CMR Zone和只能追加写的SMR Zone都抽象成了只能追加写的Data Zone，来最大化的操作磁盘的空间。

至此我们进步了单块磁盘的存储密度，使单块硬盘存储空间晋升150%，相较于之前，我们还进步了单机柜的磁盘密度来进一步晋升整体的存储密度。相较于传统36盘位的传统高密机型，我们回收了JBOD的方法。这里受益于 UCloud优刻得自建机房的上风，先前单机柜机房地板承重以及高功率机柜稀缺的限定不再存在，从而可以在单机柜存放更多的JBOD存储装备，使单元机架的存储容量晋升5.375倍，硬盘数目增进59%。

除此之外，我们还回收了双机头硬件架构，全部JBOD中的硬盘担保同时双机头可见，这样担保了在单机宕机的环境下，如故可以通过我们的选主算法立即切到其它一个呆板上，担保处事的可用性。

优化IO调治算法低落运营本钱

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!