渴望技術轉型
轉換行業(yè)的IT小白
有一定技術基礎
希望增長經(jīng)驗
接觸更廣技術面
從事一定年限技術開發(fā)
目標突破自我
學習大數(shù)據(jù)技術
突破職業(yè)瓶頸
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎框架
能全面了解數(shù)據(jù)倉庫建模理論充分熟悉電商行業(yè)數(shù)據(jù)分析指標體系快速掌握多種大數(shù)據(jù)技術框架
數(shù)據(jù)分析建模理論數(shù)據(jù)清洗數(shù)據(jù)采集了解認識多種數(shù)據(jù)倉庫技術模塊
定時調度郵件報警可視化圖表數(shù)據(jù)質量監(jiān)控性能調優(yōu)集群運維
項目涵蓋40多個Shell腳本，5大類用戶行為日志數(shù)據(jù)，34張業(yè)務數(shù)據(jù)原始表格，100多張電商大數(shù)據(jù)表格，100多個電商統(tǒng)計指標；
充分調研各大廠數(shù)倉建模體系，以阿里巴巴的數(shù)據(jù)倉庫建模理論為最終藍本，搭建實用且貼近生產(chǎn)實際的數(shù)倉建模體系；
應用建模理論，提出可實踐性強的數(shù)倉搭建理論過程，數(shù)據(jù)調研 → 明確數(shù)據(jù)域 → 構建業(yè)務總線矩陣 → 維度模型設計 → 明確統(tǒng)計指標 → 匯總模型設計 → 分層構建數(shù)倉；
多方參考大廠數(shù)倉分層體系，合理數(shù)據(jù)分層，降低數(shù)據(jù)耦合度，提高數(shù)據(jù)分析效率，降低數(shù)據(jù)計算成本；
基于五大主題指標，分析統(tǒng)計100余個指標，構建ADS層；
采用Flume采集用戶行為日志數(shù)據(jù)，適配組件廣泛調研，給出詳細貼近實戰(zhàn)的配置文件，自定義采集組件，解決時間戳零點漂移，優(yōu)化小文件存儲帶來問題，提供更多實戰(zhàn)經(jīng)驗；
采用流行數(shù)據(jù)采集框架DataX采集業(yè)務數(shù)據(jù)，提供詳細配置文件及腳本解讀，掌握更多腳本編寫技巧；
安裝部署受各大廠歡迎的DolphinScheduler工作流調度系統(tǒng)，實現(xiàn)數(shù)據(jù)倉庫搭建全流程定時自動化調度以及故障自動郵件告警；
基于業(yè)務總線矩陣構建數(shù)據(jù)倉庫DIM層，針對緩慢變化維度，構建拉鏈表；
基于指標體系分析構建DWS層，將相同粒度、統(tǒng)計周期的派生指標整合統(tǒng)計為寬表，提高計算結果復用性；
基于業(yè)務總線矩陣構建數(shù)據(jù)倉庫DWD層，完成事務型事實表、周期型事實表、累積快照事實表搭建和數(shù)據(jù)裝載；
真實數(shù)據(jù)ETL實操，掌握如何對原始數(shù)據(jù)進行清洗、脫敏、數(shù)據(jù)分類、整合；
采用SuperSet對調度采集至RDBMS數(shù)據(jù)庫中的結果數(shù)據(jù)進行多圖表、儀表盤可視化展示；
采用Echart，結合SpringBoot對結果數(shù)據(jù)進行可視化展示，充分掌握數(shù)據(jù)展示接口編寫流程；
基于企業(yè)級數(shù)據(jù)倉庫的海量數(shù)據(jù)計算業(yè)務，對CPU配置、內(nèi)存分配、任務提交、任務執(zhí)行計劃等方面進行廣泛性能調優(yōu)；
分析總結項目搭建過程中遇到的問題，增加開發(fā)經(jīng)驗，提升實戰(zhàn)問題解決能力；
采用Maxwell監(jiān)控業(yè)務數(shù)據(jù)變動情況，做到更實時更準確的變動數(shù)據(jù)采集，靈活使用Maxwell框架，掌握使用技巧。
