选择正确人工智能数据存储的6个留意事项

企业假如回收错误的存储人工智能平台也许会发生严峻影响，因此必要相识也许影响产物选择和计策的6个留意事项。

人工智能和呆板进修将成为辅佐企业操作其焦点数字资产缔造竞争上风的两个最重要的器材。但在回收人工智能数据存储之前，企业必需思量一系列基于呆板进修平台怎样获取、处理赏罚和保存数据的需求。

起首，企业必要搜查呆板进修软件行使的数据的生命周期，由于这可以辅佐企业相识为人工智能选择存储时应思量的事项。最初，企业必需获取数据来实习呆板进修某人工智能算法。这些是处理赏罚数据以进修使命的软件器材，譬喻辨认工具、处理赏罚视频和跟踪行为。数据可以从多种来历发生，而且凡是本质上长短布局化的，譬喻工具和文件。

人工智能的实习进程必要行使数据资产，并行使呆板进修某人工智能软件建设算法，以处理赏罚将来的数据源。在实习或开拓算法时，人工智能软件将处理赏罚源数据，以开拓一个模子，该模子可以建设企业必要得到的洞察力或收益。

开拓呆板进修算法很少作为一个单一的进程来完成。跟着企业蕴蓄新的数据，其算法获得了改造和完美。这意味着很少的数据被扬弃，相反，它会跟着时刻的推移而增添并从头处理赏罚。

购置人工智能数据存储的尺度

在企业为人工智能平台选择存储之前，必需起首思量以下留意事项：

1.本钱。人工智能数据存储的本钱是企业思量的要害身分。显然，企业打点层和参加采购决定的打点职员都但愿其存储尽也许具有本钱效益，而且在很多环境下，这将影响企业的产物选择和计策。

2.可扩展性。在此必要夸大网络、存储和处理赏罚大量数据以建设呆板进修某人工智能模子的须要性。呆板进修算法要求源数据呈指数增添，以实现精度的线性进步。建设靠得住和精确的呆板进修模子也许必要数百TB乃至PB的数据，并且这只会跟着时刻的推移而增进。

构建PB级存储体系凡是意味着行使工具存储或横向扩展文件体系。当代工具存储虽然可以办理人工智能事变负载的容量需求，可是它们也许无法满意其他尺度，譬喻高机能。横向扩展文件体系可以提供高机能和精采的可扩展性，可是将整个数据集存储在单个平台上也许会很昂贵。因为可扩展性要求和大容量产物的本钱，块存储凡是不是呆板进修某人工智能的正确选择，由于高容量产物的可扩展性要求和本钱。这里独一的破例是在民众云中。

存储本钱的变革引入了分层或行使多种存储范例来存储数据的头脑。譬喻，工具存储是存储大量非活感人工智能数据的精采方针。当必要处理赏罚数据时，可以将其移动到高机能文件存储集群或为高机能而计划的工具存储中的节点，而且在处理赏罚完成后可以将数据移回。

3.机能。人工智能数据的存储机能包罗三个方面。起首也许也是最重要的是耽误。这界说了软件发出的每个I/O哀求的处理赏罚速率。低耽误很重要，由于改进耽误会直接影响建设呆板进修某人工智能模子所需的时刻。伟大的模子开拓也许必要数周或数月的时刻才气运行。通过收缩此开拓周期，企业可以更快地建设和完美模子。在搜查耽误成果时，因为工具会见的数据流特征，工具将引用时刻存储到第一个字节，而不是单个I/O哀求的耽误。

存储机能的另一个方面是吞吐量，这是可以将数据写入存储平台或从存储平台读取数据的速率。体系吞吐量很重要，由于人工智能培训会处理赏罚大量数据集，凡是会重复读取和从头读取沟通的数据以精确地开拓模子。呆板进修和人工智能数据的来历(譬喻自动驾驶汽车上的传感器)天天可以发生数TB的新数据。全部这些信息都必需添加到现稀有据存储中，而且对任何现有处理赏罚的影响最小。

正确配置存储平台至关重要，由于涉及的数据量很是大。

存储机能的最后一个方面是并行会见。呆板进修和人工智能算法并行处理赏罚数据，运行多个使命，这些使命可以多次读取统一数据，并超过多个并利用命。工具存储善于并行读取I/O处理赏罚，由于没有工具锁定或属性可打点。文件处事器跟踪内存中打开的I/O哀求或文件句柄。因此，I/O哀求的数目取决于平台上可用的内存。

呆板进修的数据可以由大量的小文件构成。在这个规模，文件处事器可以提供比工具存储更好的机能。向人工智能存储供给商提出的一个要害题目是，其产物的机能特性将如安在大文件范例和小文件范例之间产生变革。

4.可用性和耐用性。呆板进修和人工智能进修模子可以恒久持续运行。通过实习开拓算法也许必要几天或几周的时刻。在此时代，存储体系必需启动并一连可用。这意味着任何进级、技能改换或体系扩展都必要在不断机的环境下举办。

在大型体系中，部件妨碍是正常的，必需按此处理赏罚。这意味着用于人工智能事变的任何平台都应该可以或许从装备(譬喻HDD硬盘或SSD硬盘)和节点或处事器妨碍中规复。工具存储行使擦除编码在多个节点上普及漫衍数据，并将组件妨碍的影响降到很低。有擦除编码技能可以扩展文件体系以提供平等的弹性级别。擦除编码方案的服从很是重要，由于它直接相关到读写I/O的机能，出格是对付小文件。

因为大大都大型工具存储太大而无法按期备份，因此靠得住的擦除编码成为人工智能存储平台的根基成果。

5.民众云。开拓呆板进修和人工智能算法既必要高机能的存储又必要高机能的计较。很多人工智能体系都基于GPU(譬喻Nvidia DGX)，可以减轻开拓准确算法所涉及的很多伟大数学计较的承担。

民众云处事提供商已开始提供可用于呆板进修的GPU加快假造实例。在民众云中运行呆板进修器材可以低落构建呆板进修开拓基本办法的投资和本钱，同时提供扩睁开拓呆板进修模子所需基本办法的手段。

行使民众云计较面对的挑衅是怎样故经济高效和适用的方法将数据导入民众云。基于云计较的工具存储速率太慢，无法满意呆板进修的I/O需求;因此，必需行使当地块存储。每耽误一分钟传输数据以及执行呆板进修的耽误，就意味着增进运行基本办法的本钱。

民众云的另一个题目是数据出口的本钱。尽量云计较处事提供商不收取将数据移动到其平台的用度，但他们确实会收取从其平台之外的民众收集会见的任何数据的用度。因此，尽量民众云在计较方面提供了机动性，但以一种实时且经济高效的方法在云中收支数据并不老是那么简朴。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!