加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据云的数据互换共享平台架构试探(下)

发布时间:2018-09-12 22:14:37 所属栏目:大数据 来源:星环科技
导读:数据共享互换架构优化 1、 一级进阶 Inceptor数据库凡是以HDFS为底层存储,以是既然走上层JDBC太慢,我们是否可以走底层数据拷贝以进步速率,只要从存储层转移数据,完成后凭证表的schema再建一张表就可以了。 按照这种思绪,我们在右下角新增了两个namesp

三个集群中的Guardian组件都有一个预置用户dataadmin,该用户并差池应真实的实体,但饰演三个重要脚色:一是作为跨域认证的主体;二是署理租户会见TDH,担保Inceptor到HDFS只写入租户可见的数据;三是启动使命实现HDFS集群之间的数据复制。这三个使命担保TDH只把租户可见的数据写入对应租户。

假设当前租户1中有一个平凡用户u1,u1登岸共享平台后,可以会见租户数据目次组件查察TDH集群中包括的数据。u1举办数据采样时,是租户集群以租户打点员A的身份去会见平大驾元数据打点组件的。元数据打点组件默认以dataadmin用户登岸,当它向TDH集群的Inceptor数据库举办数据采样时,是以dataadmin身份举办认证,署理打点员A举办数据会见的,而TDH集群端会有一个和租户打点员同名的用户,该用户受到行级权限的管控,因此打点员A在TDH中的权限抉择了整个租户的数据可见度,使每个租户只能看到属于本身的数据。

平台层的dataadmin可以或许登录TDH内的处事的缘故起因在于互信。当TDH端的Guardian对来自平台层的登录哀求举办理会,并发明哀求并不源于本身地址域时,会查询该域是否属于互信域,假如互信就转到对应的Guardian中举办认证,抉择是否通过认证。

在数据流转进程中,平大驾的dataadmin认真读写数据可能在平大驾和租户端启动distcp使命,而TDH内的dataadmin和租户内的dataadmin只是处事于跨集群的权限中继。dataadmin用户的存在简化了域之间用户身份认证的打点和设置伟大度,可预想假如没有dataadmin,容器内打点的用户和安详设置文件数目将大幅增进。

总结

以上内容(及上篇文章)首要先容了数据共享互换架构的要害计划。另外我们还通过设定Inceptor数据库和YARN的执行行列、对Namespace和Pod做资源限定等方法举办公道的资源节制。同时,因为星环自有处事均支持高可用,且体系中的使命可无穷重跑,因此使平台具有高可用性。 

虽然,该数据互换共享平台尚有许多方面可以优化,譬如更好的资源调治计划、添加更多范例数据的支持等。

大数据云让数据的运用更机动,让数据共享互换变得随时随地、按需和便捷,充实调治计较办法、存储装备、应用措施等资源,满意用户多元化、伟大的需求,低落了开拓、打点的难度。  

相干阅读:

借力大数据深耕风控,夯实金融企业焦点竞争力

数据互换模子:他们是什么?

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读