加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 云计算 > 正文

隐藏在云数据迁移中的6个瓶颈

发布时间:2018-05-03 21:10:29 所属栏目:云计算 来源:站长网
导读:将PB级字节的数据移动到云端是一项难题的使命。人们也许知道,在云端中会见时,其应用措施的举动会有所差异,本钱布局会有所差异,而且必要一些时刻来移动全部数据。 当企业用户以为收集速率是一个令人头疼的题目时,但愿可以或许获得辅佐。但在辅佐企业降服这
副问题[/!--empirenews.page--]

将PB级字节的数据移动到云端是一项难题的使命。人们也许知道,在云端中会见时,其应用措施的举动会有所差异,本钱布局会有所差异,而且必要一些时刻来移动全部数据。

当企业用户以为收集速率是一个令人头疼的题目时,但愿可以或许获得辅佐。但在辅佐企业降服这一题目的进程中,专业职员发明很多其他身分被忽略,也许会影响企业的云迁徙。

网络、组织、名目化和验证数据会给企业带来比迁徙更大的挑衅。以下是云迁徙筹划阶段必要思量的一些常见身分,以便停止呈现一些耗时而昂贵的题目。

云迁徙瓶颈#1:数据存储

人们在云迁徙中看到的最常见的错误是将数据迁徙到云存储中而未思量怎样行使这些数据。人们典范的思索进程是,“我想把文档和数据库放在云中,是由于工具存储本钱很低。”可是文件、工具和数据库的举动很是差异,将其数据放到错误的位置会减弱企业的云打算。

文件由路径条理布局构成,即目次树。每个文件都可以快速会见,耽误最短,而且快速(数据开始活动时的每秒位数)。单个文件可以很轻易地移动、重定名并变动。企业也许有很多小文件,少量大文件或恣意巨细和数据范例的组合。传统的应用措施可以像在当地一样会见云中的文件,而不必要出格的云感知。

全部这些特点使基于文件的存储成为最为昂贵的选择,但将文件存储在云中尚有其他一些弱点。为了实现更高的机能,大大都基于云计较的文件体系(如Amazon EBS)一次只能由一个基于云计较的假造机遇见,这意味着全部必要该数据的应用措施必需运行在单个云假造机上。要为多个假造机(如Azure文件)提供处事,必要行使像SMB这样的NAS(收集毗连存储)协议来存储,这会严峻限定机能。文件体系是快速、机动和兼容的,可是它们很昂贵,仅合用于运行在云中的应用措施,而且不能很好地扩展。

工具不是文件。请记着,由于它很轻易忘记。工具位于一个平面的定名空间中,就像一个庞大的目次。其耽误时刻很长,偶然乃至到达数百或数千毫秒,吞吐量也很低,除非行使了奇妙的能力,不然凡是每秒钟可以到达150兆比特阁下。关于会见工具的大部门内容涉及到多部门上传、字节范畴会见和密钥名称优化等奇妙能力。工具可以同时从云计较表里举办读取,但传统应用措施必要机能低下的办理要领。大大都用于会见工具存储的接口使工具看起来像文件:键名称按前缀过滤,以看起来像文件夹,自界说元数据附加到工具,以表现为文件元数据。以及某些体系(如假造机文件体系上的FUSE缓存工具),以应承会见通过传统应用。可是这样的办理要领很懦弱而且示意不佳。云存储价值低廉,可扩展,云原生化,但速率慢,而且难以会见。

数据库具有本身的伟大布局,而且可以通过查询说话(如SQL)会见它们。传统数据库也许由文件存储来支持,但它们必要及时数据库历程来提供查询。通过将数据库文件和应用措施复制到假造机上,可能通过将数据迁徙到云托管的数据库处事中,可以将其晋升到云端。但将数据库文件复制到工具存储中仅作为脱机备份,这很有效。数据库可以作为云托管处事的一部门举办扩展,但确保依靠于数据库的应用措施和历程完全兼容,而且基于云原生很是重要。数据库存储是高度专业化和专用的。

工具存储的明明本钱节减与文件和数据库成果的均衡必要细心思量必要哪些成果。譬喻,假如要存储和分发成千上万的小文件,请将它们存储为ZIP文件,并将其作为单个工具存储,而不是将每个单独的文件存储为单独的工具。错误的存储选择也许会导致伟大的依靠相关,这些依靠相关在往后变动很坚苦,而且价钱较高。

云迁徙瓶颈#2:数据筹备

将数据移动到云端,并不像将数据复制到指定的存储范例那样简朴。企业在复制任何内容之前必要做大量的筹备事变,而且必要细心筹划预算。观念验证项目常常忽略这一步调,这也许会导致往后呈现价钱奋发的超支。

过滤掉不须要的数据可以节减大量时刻和存储本钱。譬喻,数据集也许包括不必要成为云计较事变流程一部门的备份文件、早期版本或姑且文件。大概过滤最重要的部门是优先思量哪些数据必要先移动。正在起劲行使的数据不会容忍在完成整个迁徙进程所需的几周、几个月或几年内差异步。这里的要害是想出一个自动化的方法来选摘要发送哪些数据以及何时发送,然后细心记录全部未完成的工作。

差异的云计较事变流也许要求数据的名目或组织与当地应用措施差异。譬喻,一个事变流也许必要编译成千上万的小型Word或PDF文档并将其打包成ZIP文件,媒体事变流也许涉及代码转换和元数据打包,而生物信息学事变流也许必要挑选和分段TB级数目的基因组数据。这种从头名目化也许是一个很是费时和艰辛的进程。它也许必要大量的尝试,大量的姑且存储以及大量的非常处理赏罚。偶然很轻易推迟从头名目化到云情形,但请记着,这不能办理题目,它只是将其转移到企业行使的每种资源的情形中。

存储和名目题目的一部门也许涉及压缩和存档的抉择。譬喻,在将数百万个小文本文件发送到云端之前将其压缩是故意义的,而不是几千兆字节的多媒体文件。归档和压缩数据可以更轻松地传输和存储数据,但思量在打包息争压缩这些归档所需的时刻和存储空间。

云迁徙瓶颈#3:信息验证

完备性搜查是一个最重要的步调,也是最轻易堕落的步调。凡是假设数据传输时代会产生破坏,无论是通过物理介质照旧收集传输,而且可以通过在前后执行校验和来捕捉。校验和是这个进程的重要构成部门,但它现实上是筹备和导入最也许蒙受丧失或破坏的数据。

当数据转换名目和应用措施时,纵然字节沟通,意义和成果也会丢失。软件版本之间的简朴不兼容也许导致PB级的“正确”数据无用。行使可扩展的流程来验证企业的数据是否正确可用,这也许是一项难题的使命。在最糟糕的环境下,它也许会转变为劳动麋集型和不准确的“看起来没题目”的人工处理赏罚进程。但纵然这样做,也比没有验证要好。最重要的是确保企业可以或许在遗留体系退役之前辨认题目!

云迁徙瓶颈#4:转移封送

将单个体系晋升到云端时,将筹备好的数据复制到物理介质或将其推送到环球互联网上相比拟力轻易。可是这个进程也许难以扩展,出格是对付物理媒体来说。在观念证明中,看起来“简朴”的对象也许会在很多差异的体系施展浸染时酿成“恶梦”。

媒体装备(譬喻AWS Snowball)必需毗连到每台呆板。这也许意味着要在一个或多个数据中心周围移动装备,举办毗连,并更新驱动措施和安装软件。而通过当地收集举办毗连可以省去物理移动法子,但软件配置如故具有挑衅性,复制速率也许会降至远低于直接通过环球互联网上传可实现的速率。通过互联网直接从每台计较机传输数据可节减许多步调,出格是在数据筹备停当的环境下。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读