Flink實(shí)時(shí)數(shù)倉(cāng)3.0

課程介紹

Flink實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目3.0，依托于真實(shí)電商巨頭的電商體系和實(shí)際業(yè)務(wù)場(chǎng)景，并參照離線數(shù)倉(cāng)的建模理論全力打造。新版項(xiàng)目重磅升級(jí)，在延續(xù)實(shí)用與硬核的基礎(chǔ)上，全面升級(jí)了實(shí)時(shí)數(shù)倉(cāng)的建模理論，建模體系更完善，數(shù)據(jù)分析更高效。

項(xiàng)目采用Flink作為核心的實(shí)時(shí)計(jì)算引擎，充分利用Flink的優(yōu)秀特性：狀態(tài)編程、自定義處理函數(shù)、CEP、CDC等，對(duì)每一個(gè)指標(biāo)的計(jì)算提供了基礎(chǔ)API和Flink SQL兩種實(shí)現(xiàn)方式。使用Maxwell作為業(yè)務(wù)數(shù)據(jù)采集框架，實(shí)時(shí)監(jiān)控業(yè)務(wù)數(shù)據(jù)庫(kù)變動(dòng)情況。同時(shí)，充分探討了多種大數(shù)據(jù)框架工具，如Redis、HBase、ClickHouse等，利用每個(gè)框架的特點(diǎn)發(fā)揮效用。

通過(guò)本套教程的學(xué)習(xí)，你將掌握企業(yè)實(shí)際開(kāi)發(fā)過(guò)程中實(shí)時(shí)數(shù)倉(cāng)的全流程搭建，深入理解Flink的高階應(yīng)用，掌握開(kāi)發(fā)環(huán)節(jié)的多種框架技術(shù)！Flink實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目3.0與電商數(shù)倉(cāng)5.0項(xiàng)目（即將發(fā)布）無(wú)縫對(duì)接，采用相同的數(shù)據(jù)源及數(shù)據(jù)采集體系，便于系統(tǒng)性學(xué)習(xí)。

教程內(nèi)容涵蓋：
搭建用戶(hù)行為數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)采集框架Flume-Kafka-Flink；采用Maxwell搭建業(yè)務(wù)數(shù)據(jù)采集體系；使用Flink CDC結(jié)合配置表、HBase完成數(shù)倉(cāng)DIM層的搭建；參照數(shù)倉(cāng)建模理論，分層搭建實(shí)時(shí)數(shù)倉(cāng)，包括DWD層、DWS層、ADS層；使用SpringBoot編寫(xiě)數(shù)據(jù)接口，結(jié)合Sugar完成實(shí)時(shí)指標(biāo)結(jié)果數(shù)據(jù)的可視化展示等。

教程關(guān)鍵技術(shù)點(diǎn)：
數(shù)倉(cāng)架構(gòu)深入講解、離線架構(gòu)與實(shí)時(shí)架構(gòu)對(duì)比分析、SpringBoot項(xiàng)目搭建講解、Flink CDC深入案例分析、使用側(cè)輸出流分流操作、Flink與HBase交互、Flink狀態(tài)編程應(yīng)用、Flink CEP循環(huán)模式匹配、雙流Join、旁路緩存、異步IO編碼、ClickHouse多引擎講解、Flink SQL、數(shù)據(jù)可視化接口編寫(xiě)、Flink實(shí)戰(zhàn)優(yōu)化方案等。