基于动态知识图谱的大规模数据集成解决方案
发布时间:2020-05-30 03:10:50 所属栏目:业界 来源:站长网
导读:副问题#e# 在信息高速变革的期间,企业、当局对数据的认知是一个不绝变革的进程。凡是某个数据集成项目标初期,客户与集成方对数据、营业的认知都是不全面的,好比本日提供了生齿库的数据,来日诰日提供车辆数据、后天又提供了卡口数据在这种场景下,假如操作常
这是由于,在HBase中是凭证每种本体范例一张表举办存储的,而必要融合的数据肯定是多个源的数据写到HBase的一张表中,HBase的rowkey计划为MD5(PK),而column计划为数据源ID,因此若多源数据存在沟通的主键,则会存储到HBase统一行的差异列中。尔后续的ETL使命,则会将多列的数据凭证融正当则举办融合后在Elasticsearch中成立索引。 由此可见,差异本体数据写入互不影响,而统一本体新增数据源,若产生融合,会写入到差异列中。此时下一次ETL使命就会用新的数据包围Elasticsearch中旧的数据,完成索引重建。而当融正当则产生改观时,同样不必要再从客户数据源接入数据,只必要举办索引重建即可。 4.“变乱”数据的动态性 因为本体库中的数据,是固化的高代价密度数据,而“变乱”数据自然是低代价密度的,而且具偶然效性。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |