加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

发布时间:2019-01-19 12:08:17 所属栏目:教程 来源:孙金城
导读:一、聊什么 为了满意本系列读者的需求,我先先容一下Kafka在Apache Flink中的行使。以是本篇以一个简朴的示例,向各人先容在Apache Flink中怎样行使Kafka。 二、Kafka 简介 Apache Kafka是一个漫衍式宣布-订阅动静转达体系。 它最初由LinkedIn公司开拓,Li

Apache Flink 内部提供了如下3种内置的常用动静名目标Schemas:

  • TypeInformationSerializationSchema (and TypeInformationKeyValueSerializationSchema) 它基于Flink的TypeInformation建设模式。 假如数据由Flink写入和读取,这将很是有效。
  • JsonDeserializationSchema (and JSONKeyValueDeserializationSchema) 它将序列化的JSON转换为ObjectNode工具,可以行使objectNode.get(“field”)作为(Int / String / ...)()从中会见字段。 KeyValue objectNode包括“key”和“value”字段,个中包括全部字段以及可选的"metadata"字段,该字段果真此动静的偏移量/分区/主题。
  • AvroDeserializationSchema 它行使静态提供的模式读取行使Avro名目序列化的数据。 它可以从Avro天生的类(AvroDeserializationSchema.forSpecific(...))揣度出模式,可能它可以与GenericRecords一路行使手动提供的模式(行使AvroDeserializationSchema.forGeneric(...))

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读