Adaptive Execution 让 Spark SQL 更智能更高效

对付 Partition 0，可启动多个 Task

• 在上图中，启动了两个 Task 处理赏罚 Partition 0 的数据，别离名为 Task 0-0 与 Task 0-1
• Task 0-0 读取 Stage 0 Task 0 中属于 Partition 0 的数据
• Task 0-1 读取 Stage 0 Task 1 与 Task 2 中属于 Partition 0 的数据，并举办 MergeSort
• Task 0-0 与 Task 0-1 都从 Stage 1 的两个 Task 中全部属于 Partition 0 的数据
• Task 0-0 与 Task 0-1 行使 Stage 0 中属于 Partition 0 的部门数据与 Stage 1 中属于 Partition 0 的全量数据举办 Join

通过该要领，本来由一个 Task 处理赏罚的 Partition 0 的数据由多个 Task 配合处理赏罚，每个 Task 需处理赏罚的数据量镌汰，从而停止了 Partition 0 的倾斜

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!