加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

我们可以不再使用ETL了吗?

发布时间:2019-09-09 23:35:14 所属栏目:教程 来源:张晓艺
导读:连年来,我们在数据科学和高级说明方面取得了一些前进,但很多项目如故回收20世纪80年月的遗留技能:萃取(extract)、转置(transform)和加载(load),也就是我们所说的ETL。这让数据架构师感想无比头疼,但我们好像又无法逾越它,那有什么要领能改变这个排场

Incorta的直接数据映射要领如故要求用户将数据移动到数据湖,好比HDFS、S3或Azure Data Lake,并将其存储为高度压缩的Parquet文件。可是,通过在“提取”和“加载”步调之间注入元数据标志,它可以应承客户跳过“T”部门。

“Incorta想表达的是,假如我们只将数据加载到另一个仅用于说明的数据库中,会产生什么,假如我们按原样获取数据而不必对数据举办扁平处理赏罚,会怎么样?” Elkady指出: “它可以将查询时刻从小时级收缩到秒级。”

Incorta的要领很有结果,正如最近一轮3000万美元的C轮融资所表现的那样。这家硅谷公司正在吸引大量客户,包罗苹果(Apple)、博通(Broadcom)和星巴克(Starbucks)。Elkady暗示:“假如客户无法及时查察运营数据,无论是制造营业、零售营业照旧客栈打点,都也许会丧失数百万美元。”

今朝我们没有步伐完全摒除ETL以及应用它的贫困。在完全行使沟通同等数据名目标体系之前,如故必要从一个处所获取数据并为其应用做好筹备,然后加载数据。可是,数据转换的新要领可以辅佐停止ETL应用进程中的题目。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读