对比Flink与Storm性能，分布式实时计算框架该这样选

Metrics Collector 按 outTime 取五分钟的转动时刻窗口，计较五分钟的均匀吞吐(输出数据的条数)、五分钟内的耽误(outTime - eventTime 或 outTime - inTime)的中位数及 99 线等指标，写入 MySQL 响应的数据表中。最后对 MySQL 表中的吞吐计较均值，耽误中位数及耽误 99 线选取中位数，绘制图像并说明。

2、默认参数

Storm 和 Flink 默认均为 At Least Once语义。

Storm 开启 ACK，ACKer 数目为 1。

Flink 的 Checkpoint 时距离断为 30 秒，默认 StateBackend 为 Memory。

担保 Kafka 不是机能瓶颈，尽也许解除 Kafka 对测试功效的影响。

测试耽误时数据出产速度小于数据处理赏罚手段，假设数据被写入 Kafka 后立即被读取，即 eventTime 便是数据进入体系的时刻。

测试吞吐量时从 Kafka Topic 的最旧开始读取，假设该 Topic 中的测试数据量富裕。

3、测试用例

1)Identity

Identity 用例首要模仿“输入-输出”简朴处理赏罚场景，反应两个框架自己的机能。

输入数据为“msgId, eventTime”，个中 eventTime 视为数据天生时刻。单条输入数据约 20 B。

进入功课处理赏罚流程时记录 inTime，功课处理赏罚完成后(筹备输出时)记录 outTime。

功课从 Kafka Topic Data 中读取数据后，在字符串末端追加时刻戳，然后直接输出到 Kafka。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!