Apache Flink 漫谈系列 - Watermark
发布时间:2018-10-12 12:52:00 所属栏目:教程 来源:孙金城
导读:【新产物上线啦】51CTO播客,随时随地,碎片化进修 现实题目(乱序) 在先容Watermark相干内容之前我们先抛出一个详细的题目,在现实的流式计较中数据到来的次序对计较功效的正确性有至关重要的影响,好比:某数据源中的某些数据因为某种缘故起因(如:收集缘故起因,
从上面的Watermark天生接口和Apache Flink内部对Periodic Watermark的实现来看,Watermark的时刻戳可以和Event中的EventTime 同等,也可以本身界说任何公道的逻辑使得Watermark的时刻戳不便是Event中的EventTime,Event中的EventTime自发生那一刻起就不行以改变了,不受Apache Flink框架节制,而Watermark的发生是在Apache Flink的Source节点或实现的Watermark天生器计较发生(如上Apache Flink内置的 Periodic Watermark实现),Apache Flink内部对单流或多流的场景有同一的Watermark处理赏罚。 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |