六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Inform

合用场景 首要用于种种数据融合、数据互换场景，专为超大数据量、高度伟大的数据链路计划的机动、可扩展的数据互换平台 面向数据客栈建模传统ETL器材 首要用于数据备份、容灾 面向数据客栈建模传统ETL器材 面向数据客栈建模传统ETL器材 面向数据客栈建模传统ETL器材 行使方法 全流程图形化界面，应用端回收B/S架构，Cloud Native为云而生，全部操纵在赏识器内就可以完成，不必要特另外开拓和出产宣布 C/S客户端模式，开拓和出产情形必要独立陈设，使命的编写、调试、修改都在当地，必要宣布到出产情形，线上出产情形没有界面，必要通过日记来调试、debug，服从低，费时艰辛 没有图形化的界面，操纵皆为呼吁行方法，可设置手段差 C/S客户端模式，开拓和出产情形必要独立陈设，使命的编写、调试、修改都在当地，必要宣布到出产情形；进修本钱较高，一样平常必要受过专业培训的工程师才气行使； C/S客户端模式，开拓和出产情形必要独立陈设，使命的编写、调试、修改都在当地，必要宣布到出产情形； DataX是以剧本的方法执利用命的，必要完全吃透源码才可以挪用，进修本钱高，没有图形开拓化界面和监控界面，运维本钱相对高。 底层架构 漫衍式集群高可用架构，可以程度扩展到多节点支持超大数据量，架构容错性高，可以自动调理使命在节点之间分派，合用于大数据场景 主从布局非高可用，扩展性差，架构容错性低，不合用大数据场景 可做集群陈设，规避单点妨碍，依靠于外部情形，如Oracle RAC等； schema mapping非自动；可复制性较量差；更新换代不是很强 支持漫衍式陈设 支持单机陈设和集群陈设两种方法 CDC机制 基于日记、基于时刻戳和自增序列等多种方法可选 基于时刻戳、触发器等 首要是基于日记 基于日记、基于时刻戳和自增序列等多种方法可选 基于触发器、基于时刻戳和自增序列等多种方法可选 离线批处理赏罚 对数据库的影响 基于日记的收罗方法对数据库无侵入性 对数据库表布局有要求，存在必然侵入性 源端数据库必要预留特另外缓存空间 基于日记的收罗方法对数据库无侵入性 有侵入性 通过sql select 收罗数据，对数据源没有侵入性 自动断点续传 支持 不支持 支持 不支持，依靠ETL计划的公道性（譬喻T-1），指定续读某个时刻点的数据，非自动 不支持，依靠ETL计划的公道性（譬喻T-1），指定续读某个时刻点的数据，非自动 不支持 监控预警 可视化的进程监控，提供多样化的图表，帮助运维，妨碍题目可及时预警 依靠日记定位妨碍题目，每每只能是后处理赏罚的方法，穷乏进程预警 无图形化的界面预警 monitor可以看到报错信息，信息相对笼统，定位题目仍需依靠阐嫡志 有题目预警，定位题目仍需依靠日记 依靠器材日记定位妨碍题目，没有图形化运维界面和预警机制，必要自界说开拓。 数据洗濯 环绕数据质量做轻量洗濯 环绕数据客栈的数据需求举办建模计较，洗濯成果相对伟大，必要手动编程 轻量洗濯 支持伟大逻辑的洗濯和转化 支持伟大逻辑的洗濯和转化 必要按照自身清楚法则编写洗濯剧本，举办挪用（DataX3.0 提供的成果）。 数据转换 自动化的schema mapping 手动设置schema mapping 需手动设置异构数据间的映射 手动设置schema mapping 手动设置schema mapping 通过编写json剧本举办schema mapping映射 数据及时性 及时 非及时 及时 支持及时，可是主流应用都是基于时刻戳等方法做批量处理赏罚，及时同步服从未知 及时 按时 应用难度 低 高 中 高 中 高 是否必要开拓 否 是 是 是 是 是 易用性 高 低 中 低 低 低 不变性 高 低 高 中 中 中 实验及售后处事 原厂实验和售后处事 开源软件，需自客户自行实验、维护 原厂和第三方的实验和售后处事 首要为第三方的实验和售后处事 分为开源版和企业版，企业版可提供响应处事 阿里开源代码，必要客户自动实验、开拓、维护 ?

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

六种 主流ETL 器材的较量(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)
较量维度产物		DataPipeline	kettle	Oracle Goldengate	informatica	talend	DataX	计划及架构	成果	特征	其他