ETL是BI(商业智能)的基础,调度是ETL的灵魂
发布时间:2021-01-23 00:43:56 所属栏目:大数据 来源:网络整理
导读:ETL是数据抽取(Extract)、洗濯(Cleaning)、转换(Transform)、装载(Load)的进程 你想啊,数据的由来都是ETL实现的,往后全部的数据处理赏罚,不都是要依赖这些抽取来的数据。这一块没有做好,后头的说明,揭示就是来了大神,他也没有步伐,就像巧妇难为无
ETL是数据抽取(Extract)、洗濯(Cleaning)、转换(Transform)、装载(Load)的进程 你想啊,数据的由来都是ETL实现的,往后全部的数据处理赏罚,不都是要依赖这些抽取来的数据。 这一块没有做好,后头的说明,揭示就是来了大神,他也没有步伐,就像巧妇难为无米之炊一样。 以是说ETL是BI贸易智能的基本, 调治是ETL的魂灵,我们起首讲讲调治的成果。 2. ETL调治成果声名 调治维护 1) 调治体系参数维护,对换治体系的民众参数:期数、历程数、数据日期、本期开始日期和本期竣事日期举办配置和修改。 2) 下传文件信息维护,维护全部地区的下传文件名称、文件状态、文件数据日期和对应地区的归属相关。 3) 功课步界说与维护,界说功课对应的现实ETL处理赏罚进程,天生功课编号,界说功课范例和功课的驱动相关,功课的运行所必要的前提。 4) 调治非常处理赏罚,对换治进程中呈现的非常环境举办处理赏罚,提供错误查找、堕落重跑成果。 日记打点 1) 调治进程日记,打点记录调治中的首要进程和非常信息,如调治开始、调治完成、数据库操纵非常和读写文件非常的日记。 2) Job执行日记,打点记录Job执行信息的日记,提供该日记的查询、删除和执行状态重置成果。 3) Job具体变乱日记,打点记录Job执行中的具体变乱(洗濯记录条数、数据库详细操纵环境)的日记,提供对日记的查询、删除操纵。 功课调治 正常环境下的功课调治,对整个ETL进程举办调治,提供分段提交处理赏罚和自动提交处理赏罚成果。 可调治的Job范例 1) C措施(洗濯),ETL调治提供与C措施的接口,从而可以对C措施举办调治。 2) 用C封装的SQLLDR(加载),将ORACLE SQLLDR封装在C措施中举办调治。 3) PROC措施(归并、转换),对归并和转换进程,调治提供响应的接口,从而对ORACLE的PROC措施举办调治。 4) 存储进程(转换),将存储进程封装在PROC措施中举办调治。 5) DataStage(PI加工),调治体系提供了与DataStage的接口,可以对DataStage各个种类的Job举办调治。 你看看,是不是最欠甜头理赏罚的题目根基上都是调治在处理赏罚。以是说调治是ETL的魂灵。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |