大數(shù)據(jù)線上問診實時數(shù)倉項目

尚硅谷線上問診實時數(shù)倉項目延續(xù)了離線數(shù)倉的業(yè)務(wù)邏輯,以線上問診開處方為基礎(chǔ)業(yè)務(wù)邏輯,真實表現(xiàn)了線上問診數(shù)據(jù)的實時分析統(tǒng)計。

線上問診實時數(shù)倉項目共分三大部分:實時數(shù)倉架構(gòu)介紹、數(shù)倉模型搭建、Suger可視化大屏展示。項目以線上問診采集項目為前置基礎(chǔ),使用采集項目中搭建的虛擬機(jī)環(huán)境,讀取采集項目實時監(jiān)控的業(yè)務(wù)數(shù)據(jù),對數(shù)據(jù)進(jìn)行實時的分析計算,最終得到指標(biāo)需求結(jié)果。

微信圖片_20230815150424.png

項目中使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、Phoenix、HBase、Redis、Doris、Suger等。教程通過精煉的業(yè)務(wù)體系邏輯,帶你快速掌握實時數(shù)倉所使用的技術(shù)手段!

教程目錄

01.線上問診實時數(shù)倉教程介紹
02.采集項目數(shù)據(jù)采集回顧
03.線上問診實時數(shù)倉概念介紹
04.線上問診實時數(shù)倉核心架構(gòu)介紹
05.實時數(shù)倉架構(gòu)的具體操作流程
06.數(shù)倉建模ER模型介紹
07.數(shù)倉建模ER模型三范式介紹
08.數(shù)倉建模維度模型介紹
09.維度建模事實表簡單概述
10.維度建模事務(wù)型事實表介紹
11.維度建模周期快照事實表
12.維度建模累積快照事實表
13.維度建模維度表設(shè)計流程
14.維度表設(shè)計規(guī)范化和反規(guī)范化
15.維度表設(shè)計維度變化的選擇
16.維度表設(shè)計多值維度和多值屬性
17.數(shù)倉分層規(guī)劃
18.數(shù)倉構(gòu)建流程簡單介紹
19.數(shù)倉數(shù)據(jù)調(diào)研介紹
20.數(shù)倉分配數(shù)據(jù)域
21.數(shù)倉構(gòu)建業(yè)務(wù)總線矩陣及維度模型設(shè)計
22.數(shù)倉指標(biāo)體系分析
23.IDEA開發(fā)環(huán)境準(zhǔn)備
24.Flink的環(huán)境準(zhǔn)備
25.HBase的環(huán)境部署
26.Redis的環(huán)境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.ODS_使用Kafka存儲原始數(shù)據(jù)
31.DIM_實時監(jiān)控實現(xiàn)動態(tài)配置維度表元數(shù)據(jù)信息原理介紹
32.FlinkCDC測試代碼編寫
33.DIM_整體代碼結(jié)構(gòu)介紹
34.DIM_流式環(huán)境創(chuàng)建的方法封裝
35.DIM_讀取Kafka主流ODS層數(shù)據(jù)
36.DIM_讀取配置表數(shù)據(jù)
37.DIM_封裝HBase獲取同步連接
38.DIM_創(chuàng)建HBase中的維度表
39.DIM_處理合并流完成主流過濾維度表的操作
40.DIM_寫出維度表數(shù)據(jù)到HBase
41.DIM_維度表代碼測試及整體邏輯回顧
42.DWD_FlinkSQL的使用方法
43.DWD_使用FlinkSQL讀取ODS層數(shù)據(jù)
44.DWD_問診事實表篩選數(shù)據(jù)
45.DWD_問診事務(wù)事實表數(shù)據(jù)寫出
46.DWD_問診支付成功事實表代碼編寫及演示
47.DWD_處方事實表代碼編寫
48.DWD_處方事實表數(shù)據(jù)測試
49.DWD_interval_Join的原理介紹
50.DWD_處方開單支付事務(wù)事實表編寫及測試
51.DWD_用戶注冊事務(wù)事實表
52.DWD_新增患者事務(wù)事實表
53.DWD_醫(yī)生注冊事務(wù)事實表
54.DWS_醫(yī)院性別年齡粒度問診聚合需求介紹
55.DWS_讀取DWD層數(shù)據(jù)并轉(zhuǎn)換結(jié)構(gòu)
56.DWS_使用異步連接優(yōu)化維度關(guān)聯(lián)
57.DWS_旁路緩存優(yōu)化介紹
58.DWS_實現(xiàn)維度關(guān)聯(lián)的抽象類設(shè)計
59.DWS_實現(xiàn)醫(yī)院id和患者信息的維度關(guān)聯(lián)
60.DWS_開窗聚合問診次數(shù)及問診金額代碼及演示
61.DWS_修復(fù)補全維度信息
62.DWS_將JavaBean保留需要的字段轉(zhuǎn)換為JsonString
63.DWS_Doris寫出工具類編寫
64.DWS_寫出數(shù)據(jù)到Doris演示
65.DWS_問診支付成功窗口聚合
66.DWS_處方開單窗口聚合
67.DWS_處方開單支付窗口聚合
68.DWS_用戶注冊的窗口聚合
69.DWS_患者添加窗口聚合
70.DWS_醫(yī)生注冊窗口匯總
71.DWS_醫(yī)院粒度評價表使用狀態(tài)找出新增評價
72.DWS_醫(yī)院粒度評價導(dǎo)出數(shù)據(jù)
73.大屏可視化流程介紹
74.大屏可視化內(nèi)網(wǎng)穿透展示
75.SugerBI實現(xiàn)可視化展示