1 BI体系的简述
从技能角度来说 BI 包括了 ETL、DW、OLAP、DM等多环节。简朴的说就是把买卖营业体系已经产生过的数据,通过ETL器材抽取到主题明晰的数据客栈中,OLAP后天生Cube或报表,透过Portal揭示给用户,用户 操作这些颠末度类、聚积、描写和可视化的数据,支持营业决定。
这些浩瀚的BI项目从局限和对BI体系支撑的完美水平上来说,概略可以分为Framework、Stand-alone Tools和BI Suit三种范例。
开源框架,这是在贸易BI体系中所没有的。我们可以行使它们来构建本身的BI器材,可能加强和扩展我们的BI办理方案。
独立的BI器材,这是开源项目中数目最多的一类。许多器材只偏重BI体系中的某个环节和方面,如ETL、Report、OLAP和Database等等。
在同一的架构下提供了多种BI体系的特征的器材荟萃。就今朝的环境看,不管是贸易软件照旧开源软件,还没有任何一个套件提供了完备的端到端的BI办理方案。这些开源的BI Suit是通过毗连多个其他的组件和器材的方法形成套件的,因为BI体系涉及到的器材长短常多的,以是整合一套完备的BI办理方案是很坚苦的。
?
2 BI办理方案中的器材
一个完备的BI办理方案中有多种器材来完成BI体系中各个阶段的事变。
2.1 ETL器材
数据抽取、转换和加载器材。优越的ETL器材应该具有以下特征:
- Workflow Management,Job Execution and Scheduling Manager。能利便地界说流程并自动化执行ETL使命;
- Centralized Metadata Repository and Management。齐集存储和打点切合业界尺度的元数据;
- Data Profile and Validation。可以检讨数据的质量;
- High Performance。在大负荷的使命执行中如故有精采的机能;
- Scalable,Platform Independent。具有精采的弹性,支持多种操纵体系和数据库体系,能操纵多种异构的数据源;
- Open Architecture and API。具有开放的架构和易于行使的二次开拓接口。
今朝较为知名的开源ETL器材有:
- ?KETL,由具有IBM和KPMG配景的Kinetic Networks公司开拓,此刻已经有三年多的产物应用汗青,乐成应用于一些产物中,在点击流(ClickStream)说明应用中示意精彩。KETL回收Plug-in的架构,行使Java开拓;
- ?KETTLE,为一个元数据驱动的ETL器材。已经插手Pentaho;
- ?Clover ETL,为一个基于Java的ETL Framework,可以用来开拓本身的ETL应用;
- Enhydra Octopus,为一个基于Java的ETL器材,行使JDBC来毗连各类数据源,易于行使和陈设。曾有人应用于电信收集资源说明体系中。
2.2 报表器材
优越的报表器材凡是具有以下特征:
- 支持多种数据源;
- 直观的可视化计划器,简朴易用的报表定制成果;
- 利便的数据会见和名目化,富厚的数据泛起方法;
- 切合数据泛起的通用尺度,能和应用措施很好地举办团结;
- 易于扩展和陈设;
今朝较为知名的开源报表器材有:
- JasperReports,一个优越的Java报表器材,始于2001,此刻JasperSoft公司一连开拓和支持该器材。该器材相同于贸易软件Crystal Report,支持PDF、HTML、XLS、CSV和XML文件输格外式,此刻是Java开拓者最常用的报表器材;
- OpenReports,提供基于web的机动报表办理方案,通过赏识器自动天生动态PDF,XLS,HTMLCSV 和Chart报表,它是用Java开拓的,行使JasperReports 作为报表引擎,操作到的开源技能有Hibernate,Veloctiy,Webwork;
- JFreeReport,此刻是Pentaho的一部门,它是一个优越的用来天生报表的Java类库。它为Java应用措施提供一个机动的打印 成果并支持输出到打印机和PDF,Excel,HTML和XHTML,PlainText,XML和CSV文件中;
- Eclipse BIRT,是Eclipse下面的一个企业智能和报表 器材,能为J2EE的WEB应用措施建设大度精明的PDF可能HTML名目标报表,它提供了焦点的报表成果。
?
2.3 OLAP器材
联机说明处理赏罚器材。今朝开源的OLAP器材也分为MOLAP(多维型)、ROLAP(相关型)和HOLAP(殽杂型),优越的OLAP器材凡是有以下特征:
- 精采的执行机能,能快速地举办说明处理赏罚事变;
- 精采的合用性和可伸缩性;
- 开放式接口和富厚的API;
今朝较为知名的开源OLAP器材有:
- Mondrian,是Pentaho的一部门,为一个用Java开拓的OLAP处事器,实现了MDX说话、XML理会和JOLAP类型,可以不写SQL就能说明存储于SQL 数据库的复杂数据集,可以封装JDBC数据源并把数据以多维的方法揭示出来;
- JPivot,是一个JSP 自定制的标签库,可以绘制一个OLAP表格和图表。用户可以执行 典范的OLAP导航,如下钻,切片和方块。它行使Mondrian 作为其OLAP处事器。它行使WCF (Web Component Framework) ,基于XML/XSLT来渲染Web UI组件。JPivot在元数据缓存方面的过于简化的整体性初始化妆载的做法将限定它只能处理赏罚很小的立方体(Cube)。
2.4 数据库
开源的数据库也有许多,大大都为相关型数据库,少数为应用于数据客栈情形做了专门的优化事变。Bizgres以PostgreSQL为基本举办了数据客栈情形下的优化,进步了说明查询机能。
3 开源BI套件
下面列出相对成熟和完备,而且有小心意义的开源BI套件。
openI
Openi是一个Java开拓的Web应用,能对OLAP处事器、相关数据库和数据发掘处事器举办说明和报表展示,很是易于行使和陈设,界面雅观友爱,后续还将支持数据发掘和ETL等。Openi首要包罗:
- OLAP展示:JPivot
- 报表器材:JFreeChart
- 说明数据源毗连器
Openi架构:
RDL是Report Define Language openI具有一个BI应有的大部门特征了, report :? jasperreport,JFreeChart olap :?? mondrian +? JPivot data mining:?? weka 它的各层跟尾的很是的紧,仿佛用了eigenbase做数据打点,不是很清晰这部门,openI在做数据发掘的时辰它没有调治器,它的Portlet Interface 首要是指在用JPivot的时辰JPivot可以处处行使openI没有本身的开拓专属器材,入门门槛也相对较低。
JasperSoft
Jaspersoft商务智能套件是成立在模块的基本上的,因此很轻易成立,以此证明其递增代价。Jaspersoft首要包罗:
- JasperServer:为贸易用户的互动,特定和预设查询与陈诉处事器
- JasperAnalysis:为贸易用户的互动提供OLAP数据说明
- JasperETL:开拓职员和数据库打点员的高机能的图形数据整合
- JasperReports:开拓职员所用的Java报表函数库
JasperSoft最重要的就是它的报表,可是它支持输出的名目许多,打点的方法大概多,也用了eigenbase做数据打点。
有较量完美的权限节制,用的acegi,支持多种数据源,只要有JDBC驱动。它的产物已经形成了一个产物线,最闻名虽然照旧它的JasperReport。
你可以看到它为了更好的打点各类报表和数据,有本身专属的揭示平台JasperServer,这个平台是 06/26/2006才建设的,完满是JasperSoft为了实现BI而迈出的重要一步。jasper没稀有据发掘。
有使命调治器,用了quartz; 有本身专属的ETL: JasperETL; 它有本身的OLAP SERVER : jasperAnalysis; 展示层用到了AJAX和applet,也有DashBoard; 查询语句支持SQL,Hibernate (HQL),XPath (XML),EJBQL,MDX(多维查询说话,OLAP专用,SQLSERVER用的是XMLA)。
SpagoBI
SpagoBI 集成了Mondrain和JProvit,可以或许通过OpenLaszlo发生及时报表。SpagoBI行使java开拓,不依靠于详细的操纵体系,有很强的扩展手段。它首要包罗:
- 报表器材:JasperReports /Eclipse BIRT/ iReport
- OLAP Server:Mondrian
- OLAP展示:JPivot
- 数据发掘组件:Weka
- Map引擎:Geo
- ETL:BIE
- 搜刮引擎:Lucene
- Dashboard:OpenLaszlo
- Portal Server:JBoss/ Tomcat/ JOnAS
按照其Roadmap可以看出,SpagoBI将融入更多的BI成果,乃至BI之外的成果。
SpagoBI架构:
spagoBI平台成果很强盛,也很伟大。 它的各个组件之间模块化很好,Plugin加载,来看一下它的各个组件: report : BirtReportDriver,? BirtReportEngine,JasperReportDriver,JasperReportEngine; GEO :? GeoDriver,GeoEngine(用舆图表现数据和查询的); OLAP : JPivotDriver,JPivotEngine; QBE? :? QbeDriver,QbeEngine?;? Data Mining : WekaDriver?,? WekaEngine; Security :? ExoPortalSecurityProvider; Booklet (小册子) : BookletsComponent : it is a component for booklets generation.首要包罗文件上传,事变流,OpenOffice支持; 它尚有文档打点,用的是apache的JackRabbit,有搜刮成果,用的lucene。是做cms,portlet,workflow身世的,技能很强。 spagoBI的行使的器材也较量多: Report :? Bird?,?? JasperReport; ETL :?? Octupus? 和? talend; OLAP :? Mondrian? 和? JPivot; Data Mining?? : Weka; Portal?? : eXoPortal;
它的揭示层也行使了AJAX特征,其它它在DashBoard也行使了openlaszlo,(一个用Java code 天生Flash的框架,主页是http://www.openlaszlo.org/。新版的4.0仿佛也要支持天生DHTML) 以是spagoBI的DashBoard界面很友爱。
spagoBI的ETL长短常之牛的。你可以看到它下面的数据处理赏罚层是单独分出来的。
Pentaho
Pentaho是一个以事变流为焦点的、夸大面向办理方案而非器材组件的BI套件,整合了多个开源项目,方针是和贸易BI相抗衡。它包罗:
- 事变流引擎:Shark and JaWE
- 数据库:Firebird RDBMS
- 集成打点和开拓情形:Eclipse
- 报表器材:Eclipse BIRT
- ETL器材:Enhydra/Kettle
- OLAP Server:Mondrian
- OLAP展示:JPivot
- 数据发掘组件:Weka
- ?应用处事器和Portal处事器:JBoss
- 单点登岸处事及LDap认证:JOSSO
- 自界说剧本支持:Mozilla Rhino Javascript剧本处理赏罚器
由上可见Pentaho是一个很完美的BI办理方案。Pentaho方向于与营业流程相团结的BI办理方案,偏重于大中型企业应用。
Pentaho架构:
pentaho的系统布局跟spagoBI很是相像,不外pentaho喜好把本身的对象称作solution,以下引用自pentaho的whitepaper:
pentaho BI 平台差异于传统的BI产物。它是一个以流程为中心的,面向办理方案的(Solution)的框架,具有贸易智能(BI)组件,使得公司可以开拓贸易智能题目的完备办理方案pentaho一样把数据处理赏罚层看的很重要,多种数据表现方法,乃至有RSS输出。
pentaho是有各类开源组件构成的。
ETL :? Kettle? (界面上表现的是pentaho Data Integration,previously Kettle) Report : Pentaho Report (它也支持Birt 和? JasperReport 的集成,尚有专门的文档) OLAP? : Mondrian 和? JPivot? (Mondrian已经插手了pentaho) Platform : Pentaho Planform Data Mining: Weka? (Weka也插手了pentaho)
官方站点
- openI?http://openi.sourceforge.net
- jaspersoft?http://www.jaspersoft.com/
- spagoBI?http://spago.eng.it
- pentaho?http://www.pentaho.com/
(编辑:湖南网)
【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!
|