Apache Flink 漫谈系列 - 一连查询(Continuous Queries)

代码布局：

表示图:

如上方法可以将无PK的source颠末一次节点酿成有PK的动态表，以Apache Flink的retract机制和营业要素办理数据瓶颈，镌汰计较资源的耗损。

声名1： 上面方案LAST_VALUE是Alibaba企业版Flink的成果，社区还没有支持。

4. Apache Flink Sink

在Apache Flink上面可以按照现实外部存储的特点(是否支持PK)，以及整体job的执行plan来动态推导Sink的执行模式，详细有如下三种范例:

Append 模式 - 该模式用户在界说Sink的DDL时辰不界说PK，在Apache Flink内部天生的全部只有INSERT语句;

Upsert 模式 - 该模式用户在界说Sink的DDL时辰可以界说PK，在Apache Flink内部会按照变乱打标(retract机制)天生INSERT/UPDATE和DELETE 语句,个中假如界说了PK， UPDATE语句按PK举办更新，假如没有界说PK UPDATE会按整行更新;

Retract 模式 - 该模式下会发生INSERT和DELETE两种信息，Sink Connector 按照这两种信息结构对应的数据操纵指令;

九、小结

本篇以MySQL为例先容了传统数据库的静态查询和操作MySQL的Trigger+DML操纵来模仿一连查询，并先容了Apache Flink上面操作增量模式完成一连查询，并以双流JOIN为例声名白一连查询也许会碰着的题目，而且先容Apache Flink觉得变乱打标发生delete变乱的方法办理一连查询的题目，进而担保语义的正确性，美满的在流计较上支一连查询。

作者：孙金城，混名 金竹，今朝就职于阿里巴巴，自2015年以来一向投入于基于Apache Flink的阿里巴巴计较平台Blink的计划研发事变。

【本文为51CTO专栏作者“金竹”原创稿件，转载请接洽原作者】

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!