數據中臺（大數據平臺）架構設計實驗課程

課程簡介

????從最初的“數據倉庫”到后來的“數據湖”，再到今天的“數據中臺”， 企業數據平臺的設計理念也在不斷進化，方法論革新的背后是大數據技術的強力支撐，本課程面向企業大數據平臺架構設計、開發、實施人員。將大數據平臺的架構設計和原型系統的具體實現結合在一起講解，希望能幫助學員有效地學習大數據平臺的設計方法和各項技術，并能融匯貫通。

課程面向中高級技術人員，側重與多項技術的整合，架構的實現，對其中某一單獨的技術細節并未太深入。

課程安排了實際操作，學員通過系統的部署，演示代碼的運行和測試數據的導入等來源于實踐的訓練，可以快速的掌握架構的核心并應用于實際項目。要求學員有在Linux下進行腳本編程的經驗。

時間

2-3天，視企業要求。

大綱

第一章 中臺簡介

第二章中臺架構

中臺的技術體系

基礎設施及集群規劃

第三章 系統典型組成

Linux

Redis

CDH

MySQL

Spark

Nginx

高可用概述

第四章 大數據平臺架構設計

案例簡介

架構方案講解

實驗

第五章 數據采集

技術堆棧與選型

?基于Camel的實時采集

實驗

第六章 主數據管理

建設策略

實驗

第7章 實時計算

技術堆棧與選型

流計算工程結構

集成Kafka

集成Hbase

實驗

第8章 大數據與數據倉庫

數據倉庫的基本理論

數據倉庫架構

源數據層的設計與構建

明細數據層的設計與構建

匯總數據層的設計與構建

實驗

第9章 數據存儲

NoSQL數據庫概覽

HBase

實驗

第10章 作業調度

技術堆棧與選型

工作流的組織策略

實現工作流

部署與提交工作流

實驗

?

第11章 擴展討論（選）

擴展：數據湖架構

數據中臺與業務中臺

業務中臺與微服務

區塊鏈結合