加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

ETL是BI(商业智能)的基础,调度是ETL的灵魂

发布时间:2021-01-23 00:43:56 所属栏目:大数据 来源:网络整理
导读:ETL是数据抽取(Extract)、洗濯(Cleaning)、转换(Transform)、装载(Load)的进程 你想啊,数据的由来都是ETL实现的,往后全部的数据处理赏罚,不都是要依赖这些抽取来的数据。这一块没有做好,后头的说明,揭示就是来了大神,他也没有步伐,就像巧妇难为无

ETL是数据抽取(Extract)、洗濯(Cleaning)、转换(Transform)、装载(Load)的进程
   你想啊,数据的由来都是ETL实现的,往后全部的数据处理赏罚,不都是要依赖这些抽取来的数据。
这一块没有做好,后头的说明,揭示就是来了大神,他也没有步伐,就像巧妇难为无米之炊一样。
以是说ETL是BI贸易智能的基本,
   调治是ETL的魂灵,我们起首讲讲调治的成果。
2. ETL调治成果声名
 
调治维护
1) 调治体系参数维护,对换治体系的民众参数:期数、历程数、数据日期、本期开始日期和本期竣事日期举办配置和修改。
2) 下传文件信息维护,维护全部地区的下传文件名称、文件状态、文件数据日期和对应地区的归属相关。
3) 功课步界说与维护,界说功课对应的现实ETL处理赏罚进程,天生功课编号,界说功课范例和功课的驱动相关,功课的运行所必要的前提。
4) 调治非常处理赏罚,对换治进程中呈现的非常环境举办处理赏罚,提供错误查找、堕落重跑成果。
 
日记打点
1) 调治进程日记,打点记录调治中的首要进程和非常信息,如调治开始、调治完成、数据库操纵非常和读写文件非常的日记。
2) Job执行日记,打点记录Job执行信息的日记,提供该日记的查询、删除和执行状态重置成果。
3) Job具体变乱日记,打点记录Job执行中的具体变乱(洗濯记录条数、数据库详细操纵环境)的日记,提供对日记的查询、删除操纵。
 
功课调治
正常环境下的功课调治,对整个ETL进程举办调治,提供分段提交处理赏罚和自动提交处理赏罚成果。
 
可调治的Job范例
1) C措施(洗濯),ETL调治提供与C措施的接口,从而可以对C措施举办调治。
2) 用C封装的SQLLDR(加载),将ORACLE SQLLDR封装在C措施中举办调治。
3) PROC措施(归并、转换),对归并和转换进程,调治提供响应的接口,从而对ORACLE的PROC措施举办调治。
4) 存储进程(转换),将存储进程封装在PROC措施中举办调治。
5) DataStage(PI加工),调治体系提供了与DataStage的接口,可以对DataStage各个种类的Job举办调治。
   你看看,是不是最欠甜头理赏罚的题目根基上都是调治在处理赏罚。以是说调治是ETL的魂灵。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读