oracle – 在不增进Cores的环境下增进Spark Executor中的并行度

我正在运行一个Spark-Kafka Streaming功课,有4个执行器(每个1个焦点).而kafka源主题有50个分区.

在流式java措施的foreachpartition中,我正在毗连到oracle并做一些事变. Apache DBCP2用于毗连池.

Spark-streaming措施与数据库成立4个毗连 – 每个执行措施也许为1.可是,我的祈望是 – 因为有50个分区,应该有50个线程在运行而且存在50个数据库毗连.

如安在不增进内核数目的环境下增进并行度.

办理要领

4“焦点” – > 4个主题 – > 4个分区颠末全心处理赏罚.

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!