在線聽書項目

本項目借助真實音頻分享平臺的億級數(shù)據(jù)集，構(gòu)建了一套完整的離線和實時數(shù)據(jù)倉庫系統(tǒng)。通過本項目的學(xué)習(xí)，您將了解在線聽書領(lǐng)域如何打造全面完整的大數(shù)據(jù)分析體系，從零開始進行學(xué)習(xí)，順勢而為。該項目包羅萬象，覆蓋Hadoop、Spark、DataX、Maxwell、Flume、Kafka、Flink、SugarBI等眾多大數(shù)據(jù)技術(shù)框架，深度探索各框架間的協(xié)同工作之美。
本項目涵蓋多樣的大數(shù)據(jù)功能模塊，包括可供離線數(shù)據(jù)倉庫和實時數(shù)據(jù)倉庫共享的數(shù)據(jù)采集系統(tǒng)、真實企業(yè)級數(shù)據(jù)模擬體系、離線指標(biāo)分析體系、實時指標(biāo)分析體系等。同時全程融入AI輔助功能開發(fā)，助力您輕松掌握AI使用技巧，提升開發(fā)效率。項目功能設(shè)置完善，真實還原企業(yè)開發(fā)場景，與時俱進把握前沿技術(shù)，加入頗具科技感的AI課程內(nèi)容，讓您的技術(shù)感知力更上一層樓。

技術(shù)點

一、離線數(shù)倉

調(diào)研各大廠數(shù)倉建模體系，以阿里巴巴的數(shù)據(jù)倉庫建模理論為藍本，搭建實用有效的數(shù)倉建模體系；
應(yīng)用建模理論，提出可實踐性強的數(shù)倉建模流程，數(shù)據(jù)調(diào)研→明確數(shù)據(jù)域→構(gòu)建業(yè)務(wù)總線矩陣→維度模型設(shè)計→明確統(tǒng)計指標(biāo)→匯總模型設(shè)計→分層構(gòu)建數(shù)倉；
合理數(shù)倉分層，降低數(shù)據(jù)耦合度，提高數(shù)據(jù)分析效率，降低數(shù)據(jù)計算成本。
實戰(zhàn)式數(shù)據(jù)模擬策略，模擬生成全面的原始數(shù)據(jù)，針對真實數(shù)據(jù)執(zhí)行數(shù)據(jù)采集工作；
采用Flume采集用戶行為日志數(shù)據(jù)，調(diào)研組件選型，給出詳細貼近實戰(zhàn)的配置文件，自定義采集組件，解決時間戳零點漂移，優(yōu)化小文件存儲帶來問題，提供更多實戰(zhàn)經(jīng)驗；
采用流行數(shù)據(jù)采集框架DataX采集業(yè)務(wù)數(shù)據(jù)，提供詳細配置文件及腳本解讀，掌握更多腳本編寫技巧；
采用Maxwell監(jiān)控業(yè)務(wù)數(shù)據(jù)變動情況，做到更實時更準(zhǔn)確的變動數(shù)據(jù)采集；

真實數(shù)據(jù)ETL實操，掌握如何對原始數(shù)據(jù)進行清洗、脫敏、數(shù)據(jù)分類、整合；
基于業(yè)務(wù)總線矩陣構(gòu)建數(shù)據(jù)倉庫DWD層，完成事務(wù)型事實表、周期型事實表、累積快照事實表搭建和數(shù)據(jù)裝載；
基于業(yè)務(wù)總線矩陣構(gòu)建數(shù)據(jù)倉庫DIM層，針對緩慢變化維度，構(gòu)建拉鏈表；
基于指標(biāo)體系分析構(gòu)建DWS層，將相同粒度、統(tǒng)計周期的派生指標(biāo)整合統(tǒng)計為寬表，提高計算結(jié)果復(fù)用性；
安裝部署受各大廠歡迎的DolphinScheduler工作流調(diào)度系統(tǒng)，實現(xiàn)數(shù)據(jù)倉庫搭建全流程定時自動化調(diào)度以及故障自動郵件告警；
采用SuperSet對調(diào)度采集至RDBMS數(shù)據(jù)庫中的結(jié)果數(shù)據(jù)進行多圖表、儀表盤可視化展示；
采用Echarts，結(jié)合SpringBoot對結(jié)果數(shù)據(jù)進行可視化展示，充分掌握數(shù)據(jù)展示接口編寫流程；
基于企業(yè)級數(shù)據(jù)倉庫的海量數(shù)據(jù)計算業(yè)務(wù)，對整體項目進行性能調(diào)優(yōu)，掌握全面可實踐的性能調(diào)優(yōu)技巧。

二、實時數(shù)倉

項目包含數(shù)十個 Flink 實時計算任務(wù)、幾十個實時計算指標(biāo)和數(shù)萬行實時開發(fā)代碼。
遵循行內(nèi)大廠的數(shù)據(jù)倉庫建模理論，實時數(shù)據(jù)倉庫分為 ODS 層、DIM 層、DWD 層、DWS 層和 ADS 層，實現(xiàn)分層計算和數(shù)據(jù)分流，從而提高效率并降低耦合度。
利用 HBase 和 Phoenix 組合存儲 DIM 層的維度數(shù)據(jù)，顯著提升響應(yīng)速度。
通過 Flink CDC 和 MySQL 動態(tài)配置表，實現(xiàn)維度表配置的動態(tài)獲取和數(shù)據(jù)自動分流。
采用 Redis 實現(xiàn)旁路緩存，提高響應(yīng)速度，同時使用 Flink 提供的異步 IO 進行優(yōu)化。
提供適用于多種場景的雙流 Join 解決方案，深入分析各種解決方案的優(yōu)缺點，培養(yǎng)解決問題的能力。

靈活運用狀態(tài)編程、FlinkCEP、窗口函數(shù)、自定義處理函數(shù)等Flink技術(shù)點解決復(fù)雜需求。
為所有需求提供 Flink 的 Table API 和 Flink SQL 兩種解決方案，滿足不同企業(yè)的開發(fā)需求，培養(yǎng)多角度開發(fā)能力。
使用 FlinkCEP 技術(shù)識別不同用戶行為模式，分析用戶跳出行為。
采用 ClickHouse 存儲最終寬表數(shù)據(jù)，顯著提高數(shù)據(jù)查詢效率，并為用戶提供即席查詢和可視化報表展示的多種可能性。
利用 SpringBoot 編寫數(shù)據(jù)展示接口與 Sugar 對接，實現(xiàn)數(shù)據(jù)可視化大屏展示，并熟練掌握數(shù)據(jù)展示接口編寫流程。
針對企業(yè)級海量數(shù)據(jù)分析任務(wù)，詳細講解分析生產(chǎn)環(huán)境中可能遇到的反壓問題、數(shù)據(jù)傾斜問題、檢查點配置關(guān)鍵點、狀態(tài)調(diào)優(yōu)、鏈路延遲監(jiān)控等多種性能調(diào)優(yōu)問題。