为什么Flink会成为下一代大数据处理框架的标准？

在流处理赏罚应用中，数据是持续不绝的，必要通过窗口的方法对流数据举办必然范畴的聚合计较，譬喻统计在已往的1分钟内有几多用户点击了某一网页，在这种环境下，我们必需界说一个窗口，用来网络最近一分钟内的数据，并对这个窗口内的数据再举办计较。

Flink将窗口分别为基于Time、Count、Session，以及Data-driven等范例的窗口操纵，窗口可以或许用机动的触发前提定制化从而到达对伟大的传播输模式的支持，差异的窗口操纵应用可以或许反馈出真实变乱发生的环境，用户可以界说差异的窗口触发机制来满意差异的需求。

基于轻量级漫衍式快照(Snapshot)实现的容错

Flink可以或许漫衍式运行在上千个节点之上，将一个大型计较的流程拆解成小的计较进程，然后将计较进程漫衍到单台并行节点长举办处理赏罚。

在使命执行进程中，可以或许自动的发明变乱处理赏罚进程中的错误而导致数据纷歧致的题目，常见的错误范例譬喻：节点宕机，可能网路传输题目，或是因为用户由于进级或修复题目而导致计较处事重启等。

在这些环境下，通过基于漫衍式快照技能的Checkpoints，将执行进程中的使命信息举办耐久化存储，一旦使命呈现非常宕机，Flink可以或许举办使命的自动规复，从而确保数据在处理赏罚进程中的同等性。

基于JVM实现独立的内存打点

内存打点是每套计较框架必要重点思量的规模，尤其对付计较劲较量大的计较场景，数据在内存中该怎样举办打点，针对内存打点这块，Flink实现了自身打点内存的机制，尽也许镌汰Full GC对体系的影响。

其它通过自界说序列化/反序列化要领将全部的工具转换成二进制在内存中存储，低落数据存储的巨细，越发有用的对内存空间举办操作，低落GC所带来的机能降落可能使命遏制的风险，同时晋升了漫衍式处理赏罚过数据传输的机能。

因此Flink较其他漫衍式处理赏罚的框架则会显得越发不变，不会由于JVM GC等题目而导致整个应用宕机的题目。

Save Points(生涯点)

对付7*24小时运行的流式应用，数据绵绵不断的接入，在一段时刻内应用的终止都有也许导致数据的丢失可能计较功效的禁绝确性，譬喻举办版本的进级，停机运维操纵等，都能导致这种环境产生。

然而值得一提的是Flink通过其Save Points技能可以或许将使命执行的快照(Snapshot)生涯在存储介质上，守候使命重启的时辰可以直接从实现生涯的Save Points恢复兴有的计较状态，使得使命继承凭证停机之前的状态继承运行，Save Points技能可以让用户更好的打点和运维及时流式应用。

同时Flink除了上述的特征之外也具有其他很是优越的特征，可以让用户有更多选择。Flink具备很是多的优越特征，这不只让Flink在社区的知名度越来越高，也吸引了浩瀚的企业参加研发和行使Flink这项技能。

关于作者：张利兵，资深架构师，流式计较规模专家，第四范式华东区AI项目架构师，原明略数据华东区大数据架构师。有多年大数据、流式计较方面的开拓履历，对Hadoop、Spark、Flink等大数据计较引擎有着很是深入的领略，蕴蓄了富厚的项目实践履历。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!