睿帆科技数仓解决方案,荣获2020中国信通会大数据最佳创新方案奖
2020年7月30日,“第四届中国信息通讯大数据大会”在京谨慎召开,来自大数据行业的主管部委、院士专家以及来自华为、中国移动、中国电信、中国联通、中兴等海内知名企业高管共聚一堂,就通讯运营商大数据偏向、5G及AI应用创新和将来成长趋势带来出色分享。作为“把握PB级焦点处理赏罚技能”的大数据产物及办理方案供给商的广州睿帆科技有限公司,由大数据科学家李求实博士代表出席了该峰会。会上,睿帆科技的高机能数据客栈办理方案荣获最佳创新方案奖。 在会后采访中,李求实博士向记者报告了睿帆科技高机能数据客栈办理方案的独到之处,以及对比于其他竞品的上风。 他提到,通讯运营商及时收罗信令数据、详单数据、告警数据、妨碍数据、收集资源数据等,天天的新增数据早已高出PB级。海量的数据意味着更高尺度的数据说明营业,对付离线说明的时效、及时与近及时的即席及时交互说明,提出了更高的要求。 早些年在传统离线数仓阶段,通讯运营商行使 Hive 作为大数据说明的首要器材,对 TB 至 PB 级的数据举办说明,但存在着以下的题目: 1. 时效性低 对付运营贸易务来说,及时说明查询日记、告警次数,告警时刻等数据,说明功效的代价取决于时效性。焦点运维需求场景下,基于 Hive 的离线说明仅能满意 T+1 的时效,对付及时妨碍说明的需求越来越凶猛。 2. 易用性低 基于 Hive 离线数据说明平台,对付产物、运营、市场职员具有较高的技能门槛,无法满意自助的及时交互式说明需求;开拓在上报和提取说明数据时,无法及时获取和验证功效,查询和阐嫡志常常必要几个小时。 3. 服从低 不断的执行交互式查询,以是对及时性要求高,以是服从低。 在运营商做营业的数据说明模子时,需通过试探性数据说明去及时执行交互式查询,其对海量数据的及时性交互查询速率要求高。通过Hive构建的营业数据说明模子,相应时刻长,说明功效不实时,严峻影响和拖慢了进度。 为了应对以上题目,晋升流程服从,进步数据说明处理赏罚的时效性和易用性,数据的即席说明和数据可视化手段支撑必要优化和晋升,让题目秒级相应,说明更深入,睿帆科技基于其自主研发的数据库产物——漫衍式说明型数据库雪球DB,完成了高可用、低耽误的高机能数据客栈办理方案,正好可以很好的办理这些题目。通过此方案可针对上千个节点的集群,日均新增PB 级以上的数据量,实现秒级的及时数据说明、提取、监控数据基本处事,大大进步了大数据说明与处理赏罚的事变服从。 同时,高机能数据客栈办理方案合用于PB级以上超大局限数据的及时写入、及时读取的OLAP 应用场景,查询速率较Presto、SparkSQL晋升3-6倍,较Hive晋升30-100倍。比拟 Presto、SparkSQL、Hive等数据库,其具备高靠得住的漫衍式MPP集群架构,使其可以多切片写入,完成线性扩展等。 另外,在OLAP场景中读多于写且常常存在多列的大宽表,列数可以高达数百乃至数千列。“为此,我们专程回收列式存储和向量化执行的方法来办理,极大的减低了IO 的耗损,加快了查询,也收缩了计较耗时。这让我们的技能上风更为突出。”李求实博士暗示。 一向以来,硬核的技能以及贴实用户需求的创新性办理方案是睿帆科技的立品之本。此次睿帆科技高机能数据客栈办理方案荣获2020中国信息通讯大数据最佳创新方案奖,符号着通讯运营商行业对付睿帆科技的更高承认。将来,睿帆科技将不屈不挠继承深耕通讯运营商行业的同时,把更多优越的产物办理方案带到更多的行业中,助力更多的企业实现高效、低本钱的数字化转型。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |