对PB级非结构化数据的要求

众所周知，非布局化数据很难打点。可是，当组织的非布局化数据资产高出PB阈值时，节制数据集将带来一系列全新的挑衅。

大大都传统的收集附加存储(NAS)体系都难以打点100 TB的非布局化数据集，而打点多PB数据超出了他们的手段范畴。当前收集附加存储(NAS)体系的范围性导致很多IT专业职员以为独一的谜底将是工具存储体系。题目在于，尽量工具存储可以扩展以满意容量需求，但在机能方面也许不敷。

IT专业职员在试图找到支持PB级非布局化数据集的存储基本办法时面对的挑衅之一是，必需将需求作为一个整体来思量，由于全部元素都必要协同事变。

回收全闪存存储不切现实

不行否定的是，在已往的五到六年中，闪存的本钱已大幅降落，可是机器硬盘存储本钱如故很低。同时，对非布局化数据的机能要求仅在已往几年中有所进步。当代的非布局化数据存储体系必要很是快速地处理赏罚元数据和现实数据。尽量一些全闪存供给商声称对机能的需求胜于对容量的需求，但在PB级的情形中，回收PB级或更多的闪存介质是不切现实的。

当代的非布局化数据存储体系必要智能地行使闪存和机器硬盘举办存储，并按照必要在两个存储层之间自动移动数据。这些体系可以从较低的闪存本钱中受益，以增进闪存容量并镌汰缓存丢失的影响。但他们也必要操作机器硬盘存储来节制本钱。当代的非布局化数据存储体系还必要操作云存储来实现恒久存档和事变负载的可迁徙性。

元数据必需扩展

另一个要求是，元数据必需扩展以跟上非布局化数据集的增添。打点元数据尤其重要，由于很多非布局化数据事变负载此刻正在处理赏罚数百万乃至数十亿个文件。虽然，每个文件都天生元数据。大大都文件体系供给商陈诉说，全部输入输出(IO)中多达80%是元数据。在很多环境下，因为元数据瓶颈、原有的收集附加存储(NAS)和文件体系到达了扩展限定。纵然从技能上讲，当前的体系可以提供更多的容量，但客户如故不得不购置另一个存储体系。

文件体系还应该操作闪存来应对PB级非布局化数据集造成的元数据挑衅。写入或修改数据时，文件体系应提取有关文件的元数据，并将其存储在闪存的单独地区中。将元数据存储在闪存中不只可以快速会见元数据哀求(同样，全部IO中的80%是元数据)，还可以断绝这个IO，从而使现实数据的路径不再那么忙碌。

容量必需扩展

为了应对PB级元数据挑衅，使收集附加存储(NAS)或文件体系可以或许提供比上一代存储办理方案更大的容量，这意味着文件体系必要扩展。它通过集群称为节点的商品处事器来完成扩展。每个节点都具有闪存和硬盘的内部存储容量，并将该存储分派到全局存储池中。当组织必要更多容量时，IT部分会添加另一个节点，以向全局池存储提供其容量。

洞察力就是力气

另一个必备前提是数据洞察力。给定文件数目及其耗损的容量，IT团队必要尽也许多地相识数据集。题目在于大大都文件体系在添加究竟之后会添加本身的看法，因此它们必需逐个文件人工扫描其文件体系以会见这些看法。这些扫描要耗费大量时刻，尤其是在文件体系中，文件体系的数目高达数百万个(偶然乃至数十亿个)。

IT部分必要及时可行的数据来监督体系机能和容量操作率。这些团队必要当即辨认出一个失控的进程是否正在耗损全部文件体系的可用IO。及时说明要求从一开始就将这种成果构建到文件体系中，而不是在往后添加它。假如文件体系将元数据从现实数据中疏散出来，并将其存储在闪存介质中，则文件体系的说明成果可以当即获取该数据，并为组织提供及时谜底。

PB级的非布局化数据情形与以TB为单元的情形有所差异。与传统的非布局化数据事变负载对比，其用例倾向于建设和必要会见更多的文件。存储容量常常高出1PB，很多组织的存储容量都在几十PB的范畴内。思量到人工智能和呆板进修的鼓起，以及数字媒体的新需求，对文件体系的需求将会增进。

当代的非布局化数据存储办理方案必要全面应对这些挑衅。因为多种缘故起因，许多组织必要回收闪存，而又不能放弃机器硬盘节减本钱的潜力。同时，这些体系必要提供对数据的洞察力，以便IT部分可以有用地对其举办打点。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!