統(tǒng)一數(shù)倉項目

本項目是基于Apache Doris構(gòu)建的企業(yè)級實時離線統(tǒng)一數(shù)倉項目，以海量的電商用戶行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)為分析基礎(chǔ)，采用SeaTunnel、Flume、Kafka作為數(shù)據(jù)采集組件，Doris作為核心數(shù)據(jù)組織框架，使用DolphinScheduler作為工作流調(diào)度工具，F(xiàn)ineBI作為數(shù)據(jù)分析可視化工具。
實時離線統(tǒng)一數(shù)倉的理念解決了離線數(shù)倉延遲高、開發(fā)流程長等難題，統(tǒng)一了數(shù)據(jù)計算層和存儲層，統(tǒng)一了數(shù)據(jù)門戶，縮短了數(shù)據(jù)處理鏈路，大大提高了響應(yīng)速度。
通過本項目的學(xué)習(xí)，學(xué)員可以更深刻理解大數(shù)據(jù)的處理理念，感受數(shù)據(jù)處理方案的多樣化，豐富架構(gòu)設(shè)計經(jīng)驗。

適學(xué)人群

技術(shù)轉(zhuǎn)型者

IT小白向大數(shù)據(jù)領(lǐng)域邁進
掌握實用技能
高校畢業(yè)生

增長經(jīng)驗
搭建完善的項目
接觸廣泛技術(shù)面
IT從業(yè)者

學(xué)習(xí)前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
要求課程基礎(chǔ)

Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎(chǔ)框架

學(xué)習(xí)收獲

熟練使用Doris

充分掌握Doris概念與構(gòu)建流程

熟練應(yīng)用數(shù)倉建模理論

熟練掌握Doris與其他大數(shù)據(jù)框架的集成

統(tǒng)一數(shù)倉項目一數(shù)據(jù)建模

技術(shù)點

采用當(dāng)前大廠非常流行的Doris框架，實現(xiàn)統(tǒng)一數(shù)倉架構(gòu)；
多方參考大廠數(shù)倉分層體系，合理數(shù)據(jù)分層，降低數(shù)據(jù)耦合度，提高數(shù)據(jù)分析效率，降低數(shù)據(jù)計算成本。
采用SeaTunnel監(jiān)控業(yè)務(wù)數(shù)據(jù)變動情況，做到實時準(zhǔn)確的采集變動數(shù)據(jù)。
采用SeaTunnel采集用戶行為日志數(shù)據(jù)，實時同步到Doris；

ODS層、DWD層、DIM層、DWS層和ADS層之間采用Doris+ DolphinScheduler框架10分鐘調(diào)度一次處理，真正做到統(tǒng)一數(shù)倉。
采用FineBI對結(jié)果數(shù)據(jù)進行多圖表、儀表盤可視化展示；
分析總結(jié)項目搭建過程中遇到的問題，增加開發(fā)經(jīng)驗，提升實戰(zhàn)問題解決能力。

統(tǒng)一數(shù)倉項目一技術(shù)架構(gòu)