熟悉Linux、Hadoop、Hive、Flume、Kafka
Spark、Springboot、Flink、Vue等基礎框架
以一個數(shù)據(jù)平臺的搭建為切入點,了解數(shù)據(jù)治理的相關(guān)業(yè)務知識
通過獲取Hive元數(shù)據(jù),實現(xiàn)元數(shù)據(jù)的查詢、血緣查詢、數(shù)據(jù)治理等等
深度了解DolphinScheduler,實現(xiàn)對數(shù)倉的調(diào)度管理 ,并整合其底層數(shù)據(jù)實現(xiàn)一定的數(shù)據(jù)治理和質(zhì)量監(jiān)控
深度了解StreamX, 實現(xiàn)實時數(shù)倉的調(diào)度管理
學習數(shù)據(jù)質(zhì)量監(jiān)控的設計與實現(xiàn)
學習以評分績效方式對數(shù)據(jù)治理各個方便的管控
采集并分析Hive元數(shù)據(jù);
DolphinScheduler的使用及底層元數(shù)據(jù)整合;
StreamX的使用及底層元數(shù)據(jù)整合;
Neo4j實現(xiàn)數(shù)倉血緣管理;
利用Debezium實現(xiàn)接多種數(shù)據(jù)源的采集;
利用Presto實現(xiàn)即席查詢;
設計并實現(xiàn)自定義數(shù)據(jù)質(zhì)量監(jiān)控;
設計并實現(xiàn)動態(tài)數(shù)據(jù)治理評分;
對接多種預警平臺,包括企業(yè)號、微信、語言通話;
通過Vue.js 和 Echarts實現(xiàn)可視化及圖表展示。