湖倉一體項目

本項目以Apache Hudi為項目核心框架，基于海量電商行業(yè)的真實用戶行為日志數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，構(gòu)建了一套完整可實施、可落地的湖倉一體系統(tǒng)。項目以Hudi作為核心數(shù)據(jù)組織框架、Flink作為數(shù)據(jù)計算引擎、HiveCatalog作為元數(shù)據(jù)持久化介質(zhì)，并沿用了數(shù)據(jù)倉庫建模理論提供的合理的數(shù)據(jù)分層結(jié)構(gòu)，進行了完整的數(shù)據(jù)調(diào)研、指標(biāo)體系構(gòu)建流程。
湖倉一體項目旨在為企業(yè)提供一種高效、可擴展、易維護的數(shù)據(jù)處理方案，可以滿足多種數(shù)據(jù)場景的需求。其摒棄了繁復(fù)的緩慢變化維度處理方案、避免了全量與增量表的分類構(gòu)建，為數(shù)據(jù)倉庫提供了極低延遲，并自動解決了小文件問題。
通過學(xué)習(xí)本項目，可以幫助學(xué)員對大數(shù)據(jù)的組織、存儲、分析處理等操作有更透徹的認(rèn)知，領(lǐng)略大數(shù)據(jù)前沿技術(shù)，掌控大數(shù)據(jù)的技術(shù)脈搏。