腾讯全面揭秘大数据平台技术演进历程

十年四次进级 成立“大数据+AI”双引擎技能架构

腾讯内部今朝有高出100万台处事器，腾讯云连系全部营业部分，操功课务空闲资源打造一套算力共享平台，该算力弹性资源池有20万的局限，大数据平台天天有1500万的说明使命、30万亿次的及时计较劲，而且天天数据接入条数达35万亿条数据。另外，腾讯云的漫衍式呆板进修平台，能支撑1万亿维度的数据实习。

能支撑云云大局限数据的接入和运算，是腾讯在大数据技能规模高出10年的蕴蓄，其焦点的大数据平台已经完成了三次迭代。从以Hadoop为焦点的离线计较期间到以Spark、Storm、Flink为焦点的及时计较期间，再到现在的呆板进修和深度进修期间，腾讯从无到有研发了漫衍式的呆板进修引擎Angel，以及一站式AI开拓平台智能钛TI，用来办理数据实习和算法的题目。今朝，腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦进修为偏向的下一代大数据平台的研究,该平台将具备殽杂陈设、跨域数据共享和边沿计较等手段。

据相识，为支撑海量营业成长，腾讯已经成立了“大数据+AI”的双引擎技能架构，个中，最底层为漫衍式存储层，存储布局化及非布局化数据，第二层是资源调治层，做CPU、GPU和FPGA的打点，第三层是计较层、说明层、数据收罗层，而顶层则是营业应用层。通过四层完备的技能架构，自下而上为腾讯的整个应用生态保驾护航，保障亿万用户能安详顺畅地享受到腾讯的优质处事。

从局部优化到自主研发 在实践中不绝创新

从开始的技能引进、局部优化到现在的自主创新，腾讯的大数据技能在实践中不绝完美、不绝创新。十年前，腾讯打点几百个节点都很坚苦，调治机能差，局限上不去。为了有用办理计较手段和大局限集群题目，腾讯自研调治器，相对原生调治器机能晋升150倍，大大晋升了集群可扩展性。2016年，腾讯冲破Sort Benchmark四项天下记载，符号着算力已经到达天下领先程度。

因为腾讯20万台弹性资源池的呆板漫衍在多个数据中心，差异地域乃至是差异国度，为了低落数据行使壁垒，客岁自研了漂移计较引擎SuperSQL，作为同一的数据说明进口，通过智能CBO优化器，将计较下推到漫衍在各地的异构数据源，数据说明机能进步许多倍，而且数据量越大上风越明明。

数据应用越来越深入，腾讯对数据发掘的需求也越来越多。跟着模子的增大，最初用来做数据实习的MR、Spark已经不能满意上亿的模子维度的需求。2015年头，腾讯开始自研高机能的漫衍式呆板进修平台Angel，回收PS架构，能支持10亿维度。今朝Angel成长到3.0版本，能支持万亿维度，也可以兼容Spark、PyTorch、TensorFlow等生态，进一步低落了行使门槛。另外，Angel本年还新增了对深度进修、图计较等的支持。

腾讯正成为大数据规模开源最全面厂商

技能迭代不绝加快，企业建树大数据平台和呆板进修平台，不只本钱奋发，并且缺乏响应的专业人才，面对各种题目。

云期间，这些题目获得有用办理。今朝，腾讯已经把收集、存储、数据库等IaaS手段，大数据、呆板进修等PaaS的手段，以及上层的图像、语音、NLP、BI等SaaS手段，通过腾讯云对外开放。在大数据和AI两个规模，腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业，不必要专业的大数据和AI团队，也能便捷用上领先的大数据和AI的手段。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!