AWS宁夏区域上线两项新服务:AWS Glue和Amazon Athena
3月24日,AWS本日公布,AWS Glue、Amazon Athena在由西云数据运营的AWS中国(宁夏)地区正式上线。 AWS Glue全新的ETL处事 据先容,AWS Glue是一种全托管的数据提取、转换和加载 (ETL) 处事及元数据目次。它让客户更轻易筹备数据,加载数据到数据库、数据客栈和数据湖,用于数据说明。行使AWS Glue,在几分钟之内便可以筹备好数据用于说明。因为AWS Glue是无处事器处事,客户在执行ETL使命时,只必要为他们所耗损的计较资源付费。 客户在行使数据湖架构实现数据说明办理方案时,凡是有75%的时刻花在数据集成使命上,必要从各类数据源提取数据,对其举办类型化,并将其加载到数据存储中。AWS Glue消除了ETL功课基本办法方面的全部一再劳动,让Amazon S3数据湖中的数据集可以被发明、可用于查询和说明,极大地收缩说明项目中做ETL和数据编目阶段的时刻,让ETL变得很轻易。 详细而言,AWS Glue在从客户选择的数据源把数据爬取出来之后,会自动辨认数据名目和模式(schema),构建同一的数据目次,并为客户提供所选数据的中央视图。这使得客户很轻易超过各类数据存储,检索和打点全部数据,而不必手动搬运它们。当客户从数据目次中标识出数据源(譬喻一个数据库表) 和数据方针 (譬喻一个数据客栈) 时,AWS Glue将匹配响应的模式,天生可定制、可重用、可移植、可共享的数据转换代码。开拓职员可以调治恣意数目的ETL功课,AWS Glue则会打点别的的事变,按照客户ETL事变负载自动启用或封锁计较资源。通过简化建设ETL功课的进程,AWS Glue让客户可以构建可伸缩、靠得住的数据筹备平台。这些平台可以超过数千个ETL功课,具有内置的依靠性理会、调治、资源打点和监控成果。 据相识,今朝包罗德比软件、嘉云数据、壳木软件和趣加等在内的诸多中国客户都在行使AWS Glue办理伟大的数据挑衅。 Amazon Athena全新的即用即付交互式查询处事 据先容,Amazon Athena是一种交互式查询处事,它让客户可以行使尺度SQL说话、轻松说明Amazon Simple Storage Service (Amazon S3) 中的数据。因为Athena是一种无处事器处事,因此客户不必要打点基本办法,并且只为他们运行的查询付费。Athena可以自动扩展,并行执行查询,以是即即是大型数据集和伟大的查询,也能很快得到查询功效。 详细而言,AWS提供了诸如Amazon Redshift和Amazon Elastic MapReduce (Amazon EMR) 等说明处事,让各类局限的公司都可以实现PB级数据的说明。通过Amazon Redshift,客户可以对大局限的布局化数据执行伟大的查询,并得到超高速的机能。对付非布局化数据,Amazon EMR行使风行的漫衍式框架,譬喻Apache Spark、Presto、Hive和Pig,凌驾多个可动态伸缩的集群,处理赏罚和说明大量数据,快速又经济。固然这些处事是可伸缩的,并且足够强盛到可以处理赏罚大且伟大的大数据应用,可是,很多客户也但愿可以或许很快地查询Amazon S3上的数据,譬喻web日记、点击流、原始日记文件等,而无需开启、设置和打点Hadoop集群或数据客栈。此刻,行使Athena说明Amazon S3中的数据就像编写SQL查询一样简朴。Athena行使完备支持尺度SQL的Presto,可以处理赏罚各类尺度数据名目,包罗CSV、JSON、ORC和Parquet。由于Athena行使多个可用区的计较资源执行查询,并且行使Amazon S3作为底层数据存储,以是它具有高可用性和耐久性,数据冗余存储在多处基本办法中,而且是每处基本办法上的多个装备上。 据悉,依附快速、易用、经济和机动的特征,Amazon Athena已经得到茄子快传、大宇无穷、汇量科技、壳木软件等诸多中国客户的相信。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |