每秒几十亿及时处理赏罚，大厂超大局限 Flink 集群运维说明

说一下阿里的流计较引擎，2015年在 Galaxy 自研的流计较，2014年的时辰阿里就有了流计较，谁人时辰尚有JStorm和Flink，别离漫衍在搜刮和中间件其他的部分。

之后常常在内网上PK，这几套引擎谁最牛逼。2017年阁下 Flink 以低延时、高吞吐、同等性，从几个流计较引擎内里脱颖而出，其后整个团体做了技能同一，其他引擎所有丢弃，用Flink来做，Flink是阿里同一的流计较引擎。有了这样的基本之后，营业不绝成长，全部的流计较引擎往 Flink 上迁徙。

其它一个方面，我们对付数据的处理赏罚要求越来越高，此刻尽也许往及时化，此刻越来越多的Flink自己已经有许多批计较的逻辑和呆板进修，综合这三点，导致阿里的 Flink 集群成长很是大。

据我相识，像谷歌、Facebook 没有效。只要用 Flink，阿里的 Flink 集群是全天下最大的。

此刻我们的集群局限有几万个计较节点，大部门照旧传统的物理机，尚有大部门是 ECS和容器；有几百个集群，Flink 一部门用户是阿里内部的，集群最大的局限也许是五六千台，可是对外阿里云上售卖的，一个用户可以开通一个集群。

以是有上百个集群，一个集群可以有成百上千台呆板，整个体系很是伟大，由于 Flink是一个计较的，不认真数据的源和方针存储，以是要从上游读数据，然后写到下流的数据库可能其他体系内里去，或许几十个上下流，并且整个 Flink 的底座大概多。

最早有基于 Hadoop 的底座和阿里飞天系的底座，尚有此刻基于云原生 Kubernetes 的底座。其它，出口很是多，根基上漫衍在全天下各地都是可以看到 Flink 的应用。

此刻仅阿里内部的 Flink，每秒处理赏罚几十亿条数据，这个数据量很是复杂，一条数据1K，你想想这个数据有多大。局限这么大，运维上遇到了许多题目，挑衅分为下面几部门：

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!