Spark調(diào)優(yōu)

課程介紹

Spark是大數(shù)據(jù)工程師的必備技能之一，本套Spark性能調(diào)優(yōu)教程從多個角度詳解Spark調(diào)優(yōu)策略，包括資源配置調(diào)優(yōu)、Spark SQL語法調(diào)優(yōu)、執(zhí)行計劃解讀、數(shù)據(jù)傾斜問題解決、Job優(yōu)化、Spark 3.0新特性詳解等。每個角度都提供了多種解決方案參考，并提出了詳細(xì)的配置參數(shù)，剖析了常見的故障排除手法，可解決工作中遇到的各種Spark疑難雜癥。

教程基于Spark 3.0版本，拆解了Spark 3.0的新特性：AQE（自適應(yīng)查詢執(zhí)行）、DPP（動態(tài)分區(qū)裁剪）、Hint增強，新增了謂詞下推、列剪裁、常量替換、基于CBO的優(yōu)化等Spark SQL優(yōu)化手段。教程內(nèi)容涉及面廣、系統(tǒng)性強，將常用的Spark優(yōu)化手段綜合分類，提供了多種解決方案，在講解常見問題的前提下，更注重培養(yǎng)解決問題的通用思路，讓學(xué)習(xí)者可以觸類旁通舉一反三。