基于阿里云搭建數(shù)據(jù)倉庫(離線)

視頻源碼課件筆記 學(xué)習(xí)人次 5w+

課程下載

本套教程及資料一鍵下載

谷粒學(xué)苑

在線視頻學(xué)習(xí)無需下載

技術(shù)交流

與1000w+谷粉共同進步

尚硅谷_基于阿里云搭建數(shù)據(jù)倉庫(離線)

課程介紹

一、項目簡介
該項目由阿里云大學(xué)和尚硅谷聯(lián)合打造。
本項目教程以國內(nèi)電商巨頭實際業(yè)務(wù)應(yīng)用場景為依托,同時以阿里云ECS服務(wù)器為技術(shù)支持,緊跟大數(shù)據(jù)主流場景,對接企業(yè)實際需求,對電商數(shù)倉的常見實戰(zhàn)指標進行了詳盡講解,讓你迅速成長,獲取更前沿的技術(shù)經(jīng)驗。

二、項目架構(gòu)
版本框架:Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等;
Flume:大數(shù)據(jù)領(lǐng)域被廣泛運用的日志采集框架;
DateHub:類似于傳統(tǒng)大數(shù)據(jù)解決方案中Kafka的角色,提供了一個數(shù)據(jù)隊列功能。對于離線計算,DataHub除了供了一個緩沖的隊列作用。同時由于DataHub提供了各種與其他阿里云上下游產(chǎn)品的對接功能,所以DataHub又扮演了一個數(shù)據(jù)的分發(fā)樞紐工作;
據(jù)上傳和下載通道,提供SQL及MapReduce等多種計算分析服務(wù),同時還提供完善的安全解決方案;
DataWorks:是基于MaxCompute計算引擎,從工作室、車間到工具集都齊備的一站式大數(shù)據(jù)工廠,它能幫助你快速完成數(shù)據(jù)集成、開發(fā)、治理、服務(wù)、質(zhì)量、安全等全套數(shù)據(jù)研發(fā)工作;
QuickBI & DataV:專為云上用戶量身打造的新一代智能BI服務(wù)平臺。

三、項目場景
數(shù)倉項目廣泛應(yīng)用于大數(shù)據(jù)領(lǐng)域,該項目技術(shù)可以高度適配電商、金融、醫(yī)療、在線教育、傳媒、電信、交通等各領(lǐng)域;

四、項目特色
本課程結(jié)合國內(nèi)多家企業(yè)實際項目經(jīng)驗。從集群規(guī)模的確定到框架版本選型以及服務(wù)器選型,手把手教你從零開始搭建基于阿里云服務(wù)器的大數(shù)據(jù)集群。采用阿里云ECS服務(wù)器作為數(shù)據(jù)平臺,搭建高可用的、高可靠的Flume數(shù)據(jù)采集通道,運用阿里云DateHub構(gòu)建中間緩沖隊列并擔(dān)任數(shù)據(jù)分發(fā)樞紐將數(shù)據(jù)推送至阿里自主研發(fā)的DataWorks對數(shù)據(jù)進行分層處理,采用MaxCompute作為處理海量數(shù)據(jù)的方案,將計算結(jié)果保存至MySQL并結(jié)合阿里的QuickBI工作做最終數(shù)據(jù)展示。

視頻目錄