加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

利用UDW构建企业级数据仓库和BI系统

发布时间:2021-01-11 07:29:34 所属栏目:大数据 来源:网络整理
导读:配景 跟着大数据应用的成长与遍及,越来越多的企业熟悉到企业运行中所发生数据自己也是一种高代价资产。而且,贸易智能在企业的策划与决定中所饰演的脚色,既可所以操纵层中的数据指导,也可所以战术层与计谋层上的决定参谋。 贸易智能——即Business Intell
副问题[/!--empirenews.page--]

配景

跟着大数据应用的成长与遍及,越来越多的企业熟悉到企业运行中所发生数据自己也是一种高代价资产。而且,贸易智能在企业的策划与决定中所饰演的脚色,既可所以操纵层中的数据指导,也可所以战术层与计谋层上的决定参谋。

贸易智能——即Business Intelligence,其所存眷与办理的题目是怎样将数据转化为常识,辅佐企业将纷繁浩杂的数据整合加工,从而为决定/打点等提供精准的支持及猜测成长趋势。BI体系从差异的应用中将数据汇聚到焦点存储处事中,并对这些数据举办加工和多维度说明,最终将说明结论以报表或可视化的方法揭示给决定者。

在大数据期间的BI体系中,数据的代价被更多的人们所发明,而且,陪伴着数据源的日益富厚,数据的体量及增添速度也变得越来越大。以是,数据客栈不单在整个BI体系中起到了支柱的脚色,更是企业和组织海量数据网络、存储、说明的焦点。

BI的演进

BI体系也在IT技能成长的进程中经验了多次演变,个中最为重要的就是从传统商务智能(BI)到Just In Time BI(及时BI)的改观。

在传统商务智能场景下,BI体系偏重对汗青中所发生的数据举办离线说明。而Just In Time BI场景,则是及时数据说明需求所发生的,要求说明可以或许在恣意时点,当即给出说明功效。以是及时BI必必要基于动态数据客栈,并偏重营业数据流的及时整合,以便按照当下的数据,实时对运营决定举办优化与调解。

操作UDW构建企业级数据客栈和BI体系

图1 传统BI VS 及时BI

传统数据客栈面对的挑衅

在大数据和及时BI期间,数据源不绝增多,数据会见和数据同步变得伟大,开始包罗非布局化与半布局化数据;数据量增大、应用不绝增进,运行极重迟钝,不堪重负;数据处理赏罚延时长,无法看到及时运营环境;先前的逻辑数据模子不能支撑数据快速说明和代价发明。

下面我们先说明传统的数据客栈对大数据、及时BI中的不敷。

基于Oracle、MySQL等相关型数据库

  • 加载速率很是慢、无法满意数据增添需求

  • 数据处理赏罚延时长,无法看到及时运营环境,在做伟大的点击查询时,要等上半天到一天,偶然还出不来功效

  • 体系无法满意海量的汗青数据说明

  • 之前的数据模子不能支持营业快速的成长需求

基于DB2/Sybase IQ/Oracle+小型机+阵列

  • 数据量越来越大,统计使命越来越难完成

  • 数据量增大、应用不绝增多,体系运行越来越迟钝

  • 硬件扩容本钱高

面临数据快速增添、BI的及时运营说明的挑衅,这就要求底层支撑平台数据客栈可以实现动态数据客栈,具备强盛的数据活动和互换手段、存储手段、线性扩展手段以及数据说明手段,从而支持数据的高效的数据收罗和处理赏罚、多模式数据的精确及时共享以及面临需求变革的快速相应。

基于UDW数据客栈和BI办理方案

UDW回收无共享的MPP架构,是大局限并行处理赏罚数据客栈产物,提供Greenplum和Udpg两种可选的范例。Greenplum是EMC开源的数据客栈,Udpg是基于PostgreSQL开拓的大局限并行、完全托管的PB级数据客栈处事。UDW可觉得简朴、高效,为互联网、物联网、金融、电信等行业BI体系提供有力的支持。

操作UDW构建企业级数据客栈和BI体系

图2 基于UDW数据客栈和BI办理方案

上图是基于UDW的数据客栈和BI办理方案,通过ETL进程把差异来历的数据加载批量、及时准及时的加载到UDW,基于UDW的数据客栈、用户可以对汗青的数据举办按时说明、展示,对当前的营业数据举办及时准及时说明、发掘,加速需求相应速率,可以或许让企业快速的感知市场的变革,加速决定与实验。

下面我们说明一下UDW怎样面临海量数据、及时BI需求的挑衅。

支持海量数据存储和说明

UDW回收无共享的MPP架构,同时行使多台呆板存储和计较,极大的进步了海量数据的存储手段和并行处理赏罚手段。面临数据的快速增添,通过增进节点就可以线性的进步体系的存储和计较手段。UDW支持百GB到上PB级此外数据存储和说明。

富厚的数据加载方法

当今期间,数据的来历越来越多,我们的数据有来自营业DB数据、体系日记、运维日记等内部数据,也有来自移动数据、交际媒体数据、爬虫数据等外部数据。为了支持差异来历数据的加载,UDW除了可以行使insert和copy的方法加载数据外,还提供了富厚的数据导入方法。我们可以通过mysql2udw把MySQL中的数据全量或增量导入到UDW;通过外部表并行的加载外部文本文件,极大的进步了数据加载速率;行使sqoop可能HDFS外部表把HDFS中的数据加载到UDW;建设UFile的外部表、把UFile中的数据导入到UDW。

动态的数据加载

传统的数据客栈都是先把数据加载好,再去支撑营业查询。大数据及时BI期间的数据客栈要求可以或许动态的加载数据,动态加载数据的要求是在加载数据的同时不荷不能影响用户行使数据客栈。UDW并行的处理赏罚手段、充实操作每个节点的存储和计较手段,大大进步了数据吞吐手段。

支持及时BI

UDW通过准及时、及时的数据加载,实现对数据客栈的及时更新,操作数据漫衍式漫衍、使命并行执行、节点线性扩展手段增进UDW的处理赏罚手段来轻松应对海量数据的查询和说明;操作列存储、分区、索引低落磁盘IO的方法镌汰查询和说明时处理赏罚的数据量来进步数据说明服从。UDW操作这些特征,可以轻松的实现动态的数据客栈,可以或许让企业敏锐感知市场的变革,加速决定支持的回响速率。

UCloud基于UDW的数据客栈

需求说明

方针

实现公司同一的数据处事平台

需求
  • (编辑:湖南网)

    【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读