Airflow

課程介紹

調(diào)度選得好，下班回家早；調(diào)度用得對，半夜安心睡。Airflow是一款Python語言編寫的工作流調(diào)度器，支持使用Python多種類庫，以DAG的形式設(shè)計任務(wù)依賴，并且支持多并發(fā)調(diào)度任務(wù)。

本套教程使用Miniconda部署Pyhton 3.8虛擬環(huán)境，采用Airflow 2.4.3，根據(jù)生產(chǎn)要求修改底層數(shù)據(jù)庫為MySQL，更改執(zhí)行器為本地執(zhí)行器。教程分為四個部分：Airflow概述、安裝部署、使用優(yōu)化、案例展示，帶你根據(jù)開發(fā)需求修改調(diào)度腳本完成Airflow部署！