加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

Apache Flink在唯品会的实践

发布时间:2018-11-15 10:17:49 所属栏目:教程 来源:王新春
导读:唯品会及时平台近况 今朝在唯品会及时平台并不是一个同一的计较框架,而是包罗Storm,Spark,Flink在内的三个首要计较框架。因为汗青缘故起因,当前在Storm平台上的job数目是最多的,可是从客岁开始,营业重心逐渐切换到Flink上面,以是本年在Flink上面的应用

| 情形变量名称 | 参数 | 示例内容 | 声名 | |--- |---|---|---|---| | JOB_MANGER_HOSTS | StatefulSet.name-0,StatefulSet.name-1 | flink-cluster-0,flink-cluster-1 | JM的主机名,短主机名;可以不消FQDN | | FLINK_CLUSTER_IDENT | namespace/StatefulSet.name | default/flink-cluster | 用来做zk ha配置和hdfs checkpiont的根目次 | | TASK_MANAGER_NUMBER_OF_TASK_SLOTS | containers.resources.cpu.limits | 2 | TM的slot数目,按照resources.cpu.limits来配置 | | FLINK_ZK_QUORUM | env:FLINK_ZK_QUORUM | 10.198.199.112:2181 | HA ZK的地点 | | JOB_MANAGER_HEAP_MB | env:JOB_MANAGER_HEAP_MB value:containers.resources.memory.limit -1024 | 4096 | JM的Heap巨细,因为存在堆外内存,必要小于container.resources.memory.limits;不然轻易OOM kill | | TASK_MANAGER_HEAP_MB | env:TASK_MANAGER_HEAP_MB value: containers.resources.memory.limit -1024 |4096 | JM的Heap巨细,因为存在堆外内存,必要小于container.resources.memory.limits;不然轻易OOM kill |

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读