对比Flink与Storm性能，分布式实时计算框架该这样选

输出数据为“msgId, eventTime, inTime, outTime”。单条输出数据约 50 B。

Identity 流程图

2)Sleep

Sleep 用例首要模仿用户功课耗时较长的场景，反应伟大用户逻辑对框架差此外减弱，较量两个框架的调治机能。

输入数据和输出数据均与 Identity 沟通。

读入数据后，守候一按时长(1 ms)后在字符串末端追加时刻戳后输出

Sleep 流程图

3)Windowed Word Count

• Windowed Word Count 用例首要模仿窗口统计场景，反应两个框架在举办窗口统计机遇能的差别。
• 另外，还用其举办了准确计较场景的测试，反应 Flink 刚好一次投递的机能。
• 输入为 JSON 名目，包括 msgId、eventTime 和一个由多少单词构成的句子，单词之间由空格脱离。单条输入数据约 150 B。
• 读入数据后理会 JSON，然后将句子支解为响应单词，带 eventTime 和 inTime 时刻戳发给 CountWindow 举办单词计数，同时记录一个窗口中最大最小的 eventTime 和 inTime，最后带 outTime 时刻戳输出到 Kafka 响应的 Topic。
• Spout/Source 及 OutputBolt/Output/Sink 并发度恒为 1，增大并发度时仅增大 JSONParser、CountWindow 的并发度。
• 因为 Storm 对 window 的支持较弱，CountWindow 行使一个 HashMap 手动实现，Flink 用了原生的 CountWindow 和响应的 Reduce 函数。

Windowed Word Count 流程图

五、测试功效

① Identity 单线程吞吐量

Identity 单线程吞吐量

上图中蓝色柱形为单线程 Storm 功课的吞吐，橙色柱形为单线程 Flink 功课的吞吐。

Identity 逻辑下，Storm 单线程吞吐为 8.7万条/秒，Flink 单线程吞吐可达35万条/秒。

当 Kafka Data 的 Partition 数为 1 时，Flink 的吞吐约为 Storm 的 3.2 倍;当其 Partition 数为 8 时，Flink 的吞吐约为 Storm 的 4.6 倍。

由此可以看出，Flink 吞吐约为 Storm 的 3-5 倍。

② Identity 单线程功课耽误

Identity 单线程功课耽误

回收 outTime - eventTime 作为耽误，图中蓝色折线为 Storm，橙色折线为 Flink。虚线为 99 线，实线为中位数。

从图中可以看出跟着数据量逐渐增大，Identity 的耽误逐渐增大。个中 99 线的增大速率比中位数快，Storm 的 增大速率比 Flink 快。

个中 QPS 在 80000 以上的测试数据高出了 Storm 单线程的吞吐手段，无法对 Storm 举办测试，只有 Flink 的曲线。

比拟折线最右端的数据可以看出，Storm QPS 靠近吞吐时耽误中位数约 100 毫秒，99 线约 700 毫秒，Flink 中位数约 50 毫秒，99 线约 300 毫秒。Flink 在满吞吐时的耽误约为 Storm 的一半。

③ Sleep吞吐量

Sleep 吞吐量

从图中可以看出，Sleep 1 毫秒时，Storm 和 Flink 单线程的吞吐均在 900 条/秒阁下，且跟着并发增大根基呈线性增大。

比拟蓝色和橙色的柱形可以发明，此时两个框架的吞吐手段根基同等。

④ Sleep 单线程功课耽误(中位数)

Sleep 单线程功课耽误(中位数)

依然回收 outTime - eventTime 作为耽误，从图中可以看出，Sleep 1 毫秒时，Flink 的耽误仍低于 Storm。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!