車險離線數(shù)倉項目
車險離線數(shù)倉項目共分三大部分：數(shù)倉采集環(huán)境搭建、數(shù)倉分層計算、SuperSet可視化大屏展示。項目的核心內(nèi)容為對汽車保險核心業(yè)務(wù)的交易域、理賠域進行統(tǒng)計分析。
教程帶你從0到1完成數(shù)倉框架環(huán)境搭建、數(shù)倉建模分析，以及最終數(shù)據(jù)的可視化展示。幫助學(xué)習(xí)者深入了解數(shù)倉建模理論體系及實際應(yīng)用。還是尚硅谷一貫的風(fēng)格，保姆式講解，敗家式贈送，一站式學(xué)習(xí)，學(xué)習(xí)者參照視頻及教輔資料即可實現(xiàn)全部項目流程！
項目中使用的框架包括：Hadoop、Kafka、Flume、Zookeeper、DataX、DolphinScheduler、Hive、Maxwell、SuperSet等。教程通過精煉的業(yè)務(wù)體系邏輯，帶你快速掌握離線數(shù)倉所使用的技術(shù)手段！
教程目錄
001.數(shù)據(jù)采集課程內(nèi)容介紹
002.數(shù)據(jù)倉庫概念
003.項目需求分析
004.技術(shù)選型
005.系統(tǒng)流程設(shè)計
006.框架版本選擇
007.服務(wù)器選型
008.集群規(guī)模設(shè)計
009.資源規(guī)劃
010.業(yè)務(wù)流程說明
011.表結(jié)構(gòu)說明
012.安裝虛擬機
013.分發(fā)腳本
014.安裝JDK
015.環(huán)境變量配置說明
016.進程查看腳本
017.安裝Zookeeper
018.Zookeeper啟動腳本
019.Zookeeper客戶端常用指令
020.安裝Hadoop
021.Hadoop群起腳本
022.項目經(jīng)驗之存儲多目錄
023.項目經(jīng)驗之集群數(shù)據(jù)均衡
024.項目經(jīng)驗之參數(shù)調(diào)優(yōu)
025.安裝Kafka
026.Kafka群起腳本
027.Kafka常用指令之Topic相關(guān)
028.Kafka常用指令之生產(chǎn)者和消費者
029.Flume安裝與項目經(jīng)驗
030.安裝MySQL
031.模擬生成數(shù)據(jù)
032.同步策略介紹
033.數(shù)據(jù)同步工具介紹
034.DataX簡介和框架設(shè)計
035.DataX的運行與調(diào)度
036.DataX的安裝
037.MySQL數(shù)據(jù)導(dǎo)入HDFS之TableModel模式
038.MySQL數(shù)據(jù)導(dǎo)入HDFS之Querysql模式
039.DataX傳參
040.HDFS數(shù)據(jù)導(dǎo)入到MySQL
041.DataX優(yōu)化
042.Maxwell概述和輸出數(shù)據(jù)格式
043.MySQL原理
044.安裝Maxwell
045.Maxwell啟動腳本
046.Maxwell使用
047.生成DataX配置文件
048.全量數(shù)據(jù)導(dǎo)入腳本
049.增量數(shù)據(jù)同步-Maxwell配置
050.增量數(shù)據(jù)同步-Flume配置
051.增量數(shù)據(jù)同步-攔截器與采集
052.Maxwell時間戳問題
053.Flume啟動腳本
054.增量首日全量同步
055.安裝Hive
056.Hive中文亂碼問題
057.車險離線數(shù)倉課程內(nèi)容簡介
058.數(shù)倉的概念
059.數(shù)倉架構(gòu)
060.數(shù)倉建模的意義
061.ER模型
062.維度模型
063.事實表概述
064.事務(wù)型事實表概述
065.事務(wù)型事實表的設(shè)計
066.事務(wù)型事實表的不足-存量型指標(biāo)
067.事務(wù)型事實表的不足-多事務(wù)關(guān)聯(lián)指標(biāo)
068.周期型快照事實表的概念
069.周期型快照事實表設(shè)計與事實類型
070.累積型快照事實表
071.維度表設(shè)計
072.規(guī)范化與反規(guī)范化
073.全量快照維度表
074.拉鏈表
075.多值維度
076.多值屬性
077.數(shù)據(jù)倉庫的分層
078.數(shù)倉的構(gòu)建流程
079.據(jù)調(diào)研
080.明確數(shù)據(jù)域
081.業(yè)務(wù)總線矩陣
082.明確統(tǒng)計指標(biāo)
083.維度模型與匯總模型設(shè)計
084.Hive引擎簡介
085.Hive on Spark兼容性說明
086.Hive on Spark搭建
087.AM資源比例調(diào)整
088.DataGrip使用
089.模擬生成數(shù)據(jù)
090.Hive常見問題和解決方案
091.ODS層設(shè)計要點
092.數(shù)據(jù)格式說明
093.全量數(shù)據(jù)建表
094.復(fù)雜數(shù)據(jù)類型回顧
095.增量數(shù)據(jù)建表
096.ODS數(shù)據(jù)加載
097.DOS層部分表字段顯示問題
098.ODS層數(shù)據(jù)加載腳本
099.DIM層設(shè)計要點
100.地區(qū)維度表
101.保險產(chǎn)品維度表
102.保險經(jīng)理人維度表
103.投保人維度表首日數(shù)據(jù)加載
104.投保人維度表每日數(shù)據(jù)加載
105.車輛維度表首日數(shù)據(jù)加載
106.車輛維度表每日數(shù)據(jù)加載
107.DIM層首日數(shù)據(jù)加載腳本
108.DIM層每日數(shù)據(jù)加載腳本
109.DWD層設(shè)計要點
110.交易域投保事務(wù)事實表首日數(shù)據(jù)加載
111.交易域投保事務(wù)事實表每日數(shù)據(jù)加載
112.繳費成功事實表首日數(shù)據(jù)加載
113.繳費成功事實表每日數(shù)據(jù)加載
114.理賠域報案事務(wù)事實表數(shù)據(jù)加載
115.理賠流程累積快照事實表建表
116.理賠流程累積快照事實表首日數(shù)據(jù)加載
117.理賠流程累積快照事實表每日數(shù)據(jù)加載
118.DWD層首日數(shù)據(jù)加載腳本
119.DWD層每日數(shù)據(jù)加載腳本
120.DWD表設(shè)計要點
121.交易域城市車型粒度投保1日匯總表建表
122.交易域城市車型粒度投保1日匯總表數(shù)據(jù)加載
123.理賠域城市車型粒度出險1日匯總表建表
124.理賠域城市車型粒度出險1日匯總表數(shù)據(jù)加載
125.DWS 1d表首日數(shù)據(jù)加載腳本
126.DWS 1d表每日數(shù)據(jù)加載腳本
127.交易域城市車型粒度投保n日匯總表
128.理賠域城市車型粒度出險n日匯總表
129.DWS nd表數(shù)據(jù)加載腳本
130.ADS層設(shè)計要點
131.交易綜合統(tǒng)計
132.續(xù)保統(tǒng)計
133.產(chǎn)品交易統(tǒng)計
134.城市交易統(tǒng)計
135.理賠綜合統(tǒng)計
136.城市理賠統(tǒng)計
137.省份理賠統(tǒng)計
138.車型理賠統(tǒng)計
139.ADS數(shù)據(jù)加載腳本
140.MySQL建庫建表
141.HDFS數(shù)據(jù)同步到MySQL案例演示
142.ADS同步數(shù)據(jù)到MySQL腳本
143.DolphinScheduler簡介
144.DolphinScheduler部署說明
145.安裝DolphinScheduler
146.DolphinScheduler啟動停止命令
147.安全中心配置
148.創(chuàng)建工作流與運行工作流
149.定時
150.局部參數(shù)
151.全局參數(shù)
152.傳遞參數(shù)
153.參數(shù)優(yōu)先級
154.內(nèi)置參數(shù)
155.依賴資源
156.告警
157.失敗重試
158.模擬生成新數(shù)據(jù)
159.工作流調(diào)度
160.SuperSet簡介
161.安裝SuperSet
162.SuperSet啟動腳本
163.SuperSet可視化
