Adaptive Execution 让 Spark SQL 更智能更高效
发布时间：2018-10-25 04:38:00 所属栏目：教程 来源：郭俊 Jason Guo
导读：本文转发自技能天下，原文链接 http://www.jasongj.com/spark/adaptive_execution/ 1 配景 前面《Spark SQL / Catalyst 内部道理 与 RBO》与《Spark SQL 机能优化再进一步 CBO 基于价钱的优化》先容的优化，从查询自己与方针数据的特点的角度尽也许担保了
|
《Spark SQL 机能优化再进一步 CBO 基于价钱的优化》一文先容的 CBO 可通过表的统计信息与各操纵对数据统计信息的影响，展望出中间表的统计信息，可是该要领获得的统计信息不足精确。同时该要领要求提前说明表，具有较大开销 而开启 Adaptive Execution 后，可直接按照 Shuffle Write 数据判定是否合用 BroadcastJoin 3.4 动态调解执行打算道理 如上文 SortMergeJoin 道理 中配图所示，SortMergeJoin 必要先对 Stage 0 与 Stage 1 按同样的 Partitioner 举办 Shuffle Write （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
