数据洪水之下，是时辰思量建数据湖了

至顶网软件与处事频道动静：现在险些每家企业都或多或少拥有一些的数据，除了IT体系不绝天生的各类营业数据，尚有更多绵绵不断从传感器、移动装备以及各类IT装备传来的呆板数据。来自市场研究机构的数据，每年新增数据量以40%的速率增添，个中90%长短布局化的。通过网络和说明这些数据可以辅佐企业快速决定可能做出矫正确的决定，晋升企业服从、低落本钱，给企业带来竞争上风。 

对付数据说明，各人最为认识也是最传统的要领就是建数据客栈。然而，现在数据客栈险些将近被澎湃而来的海量和多样化的数据所沉没，正面对着越来越大的挑衅：怎样故经济高效的方法存储数据，如那里理赏罚多样化的数据，怎样实时的处理赏罚数据等，这些都是迫不及待必需思量的题目。很显然，单靠数据客栈已经无法满意当下的数据说明需求，“数据湖”应运而生。

从数据客栈到数据湖

数据湖，顾名思义，就像湖能搜集各类水流一样，能搜集各类百般的数据。本质上，数据湖就是一个齐集的数据存储容器，它同一对数据举办存储，凭证必要举办说明和处理赏罚。

AWS首席云计较企业计谋参谋张侠博士先容，数据湖有几个特点：第一，存储的是原始的、天然的数据，可所以布局化的也可以长短布局化的。第二，可以快速地缩放，能保持海量的数据。

那么，数据湖与数据客栈的区别在那边呢？张侠以为，数据客栈是在数据库的基本上，把数据颠末必然的分类、提炼、洗濯，清算好放在内里。它对数据有很是严酷的要求，而数据湖没有这种限定，任何数据都可以生涯在内里，一样平常也不会预先做数据洗濯和提炼。

其次，也是最重要的一点，数据客栈是面向已经确定的需求，在成立的时辰就知道要做些什么，在成立之初会对数据举办清算，这会耗费不少的时刻，并且数据客栈凡是回收专用装备，本钱也很高，一旦建好后要调解较量坚苦。不外，因为数据客栈是专门面向特定题目而建，因此建好后服从很高。而数据湖在成立的时辰并不面向特定需求，它只是提供一个数据的齐集生涯，一样平常回收通用装备，提供的也是通用的数据查询和说明手段，数据可以随时进入数据湖。

跟着非布局化数据越来越多，越来越多的场景对说明偶然刻要求，而传统的数据库要领不管是本钱、及时性等方面都不能满意要求，这就是数据湖呈现的基础缘故起因。 

张侠博士做了一个形象的比喻。他说，建数据客栈就像计一律个河流，我们知道这条河或许会来几多水，水来了往后我们有一些闸门可以处理赏罚。然而，到互联网期间，各类百般的数据澎湃而至，我们很难把握数据到底是什么样的性子、会有多大量，也不行能花几个月、半年的时刻把这些数据都清算清晰，筹划好。在这种环境下，我们就找一大片湿地、洼地建起数据湖，没有河流，把全部数据就像湖水一样、大水一样先蓄在这个湖内里，然后通过一些器材来查询它。 

AWS的数据湖办理之道

对付已经相对成熟的数据客栈，对大大都人而言，数据湖照旧一个较量新的观念。人们对数据湖的领略也不尽沟通，对详细应该提供哪些成果和处事熟悉还纷歧致，市场上完备的数据湖办理方案并不多，现有的不少是基于开源的办理方案（如基于HDFS），较量零星，不太完备，AWS是为数不多能提供较量完备成果的数据湖办理方案的厂商。

据张侠先容，AWS的数据湖办理方案有三大焦点元素：Amazon S3/Glacier，AWS Glue和AWS Lake Formation。个中，Amazon S3/Glacier作为数据湖的焦点存储，它团结各类RDS处事、Amazon Aurora、Amazon DynamoDB等数据库处事提供对种种型数据的存储手段，数据湖就成立这些基本的存储手段之上。 

AWS Glue是一种全托管的数据提取、转换和加载 (ETL) 处事及元数据目次。它让客户更轻易筹备数据，加载数据到数据库、数据客栈和数据湖，用于数据说明。行使AWS Glue，在几分钟之内便可以筹备好数据用于说明。因为AWS Glue是无处事器处事，客户在执行ETL使命时，只必要为他们所耗损的计较资源付费。 

Amazon Athena是一种交互式查询处事，它让客户可以行使尺度SQL说话、轻松说明Amazon S3 中的数据。因为Athena是一种无处事器处事，因此客户不必要打点基本办法，并且只为他们运行的查询付费。Athena可以自动扩展，并行执行查询，以是即即是大型数据集和伟大的查询，也能很快得到查询功效。 

此前，AWS Glue和Amazon Athena处事还没有开通。不外，不久前AWS公布这两项处事都已经在由西云数据运营的AWS中国 (宁夏) 地区正式上线。 

张侠先容，数据湖的建树照旧较量伟大的工作，涉及多个环节。好比，数据湖必要先把生涯在各个数据源的数据抽取出来，齐集存储。数据湖也不止是要生涯数据，还会成立起立数据的目次，通过数据的转换、抽取等对数据归类，以快速举办各类百般的说明。其它，为了满意安详、合规审计的要求，数据湖还会提供数据管理方面的成果。 

为了利便企业顺遂建成数据湖，AWS把整个流程融入了一个叫做AWS Lake Formation的处事。它把成立数据湖的流程事变自动化，可以辅佐企业在短短的几天时刻里完成数据湖的建树。该处事今朝还没有在中国正式推出。

除了底层的数据存储和数据湖的焦点要素成果外，AWS还提供很是富厚的数据说明器材，包罗Amazon Redshift(数据客栈)、Amazon EMR(大数据说明)、Amazon Elasticsearch（运维说明）、Amazon Kinesis（及时数据说明）等，以及富厚的揭示器材，如图形可视化的Amazon QuickSight、语音和笔墨互转的Amazon Polly和Amazon Transcribe以及Amazon SageMaker（人工智能）等。 

今朝，AWS的数据湖相干处事已经获得普及应用，包罗亚马逊本身和AWS的浩瀚客户。 

亚马逊公司就基于本身的产物成立了一个名为Galaxy（银河）的数据湖，它把亚马逊的全部数据整合在一路，内里存了50PB-100PB的数据。通过它，亚马逊天天有多达60万个的说明使命，从用户保举、各类运营说明、库存说明等，这也是亚马逊的一个焦点竞争力。现在这些手段用户通过AWS的各类数据湖处事也能享受到。 

除了亚马逊本身外，尚有大量客户也在行使AWS提供的富厚的数据湖相干处事。以茄子快传为例，茄子快传是一家环球化的互联网科技公司，累计有18亿用户。茄子快传搭建了一个数字内容毗连进口，辅佐环球200多个国度和地域的用户获取优质数字内容。茄子快传的数据量大，说明维度多，营业也很是伟大，常常必要举办多维度多颗粒度的高并发说明。借助Amazon Athena，茄子快传轻松实现了交互式查询，说明数据，不必构建和陈设特另外集群。同时将新数据说明所需的时刻收缩了30%，大幅镌汰了本钱与运维方面的风险。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!