加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

说明ETL器材十大必备的成果特征

发布时间:2021-06-02 13:10:07 所属栏目:教程 来源:互联网
导读:ETL器材的成果之二:平台独立 一个ETL器材应该能在任何平台下乃至是差异平台的组合上运行。一个32位的操纵体系也许在开拓的初始阶段运行很好,可是当数据量越来

ETL器材的成果之二:平台独立

一个ETL器材应该能在任何平台下乃至是差异平台的组合上运行。一个32位的操纵体系也许在开拓的初始阶段运行很好,可是当数据量越来越大时,就必要一个更强盛的操纵体系。另一种环境,开拓一样平常是在Windows或 Mac机上运行的。而出产情形一样平常是Linux体系或集群,你的ETL办理方案应该可以无缝地在这些体系间切换。

ETL器材的成果之三:数据局限

一样平常ETL能通过下面的3种方法来处理赏罚大数据。

并发:ETL进程可以或许同时处理赏罚多个数据流,以便操作当代多核的硬件架构。

分区:ETL可以或许行使特定的分区模式,将数据分发到并发的数据流中。

集群:ETL进程可以或许分派在多台呆板上连系完成。

Kettle是基于Java的办理方案,可以运行在任何安装了Java假造机的计较机上(包罗Windows、Linux和Mac)。转换里的每个步调都是以并发的方法来执行,而且可以执行多次,这样加速了处理赏罚速率。

Kettle在运行转换时,按照用户的配置,可以将数据以差异的方法发送到多个数据流中(有两种几本发送方法:分发和复制)。分发相同与分发扑克牌,以轮番的方法将每行数据只发给一个数据流,复制是将每行数据发给全部数据流。

为了更准确节制数据,Kettle还行使了分区模式,通过度区可以将统一特性的数据发送到统一个数据流。这里的分区只是观念上相同于数据库的分区。

Kettle并没有针对数据库分区有什么成果。

ETL器材的成果之四:计划机动性

一个ETL器材应该留给开拓职员足够的自由度来行使,而不能通过一种牢靠的方法来限定用户的缔造力和计划的需求。ETL器材可以分为基于进程的和基于映射的。

基于映射的成果只在源数据和目标数据之间提供了一组牢靠的步调,严峻限定了计划事变的自由度。基于映射的器材一样平常易于行使,可快速上手,可是对付更伟大的使命,基于进程的器材步崆组好的选择。

行使Kettle这样基于进程的器材,按照现实的数据和大概需求,可以建设自界说的步协调转换。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读