
大數(shù)據(jù)處理技術-基于Hadoop/Yarn的大數(shù)據(jù)技術培訓
第一講云計算及大數(shù)據(jù)處理技術介紹
1)云計算的概念
2)云計算發(fā)展現(xiàn)狀
3)大數(shù)據(jù)的概念
4)大數(shù)據(jù)的應用
5)大數(shù)據(jù)關鍵技術
第二講Google的關鍵技術
1)GFS分布式文件系統(tǒng)
2)Chubby并發(fā)鎖機制
3)MapReduce計算模型
4)Bigtable大表管理技術
第三講Hadoop系統(tǒng)及HDFS
1) Hadoop及其運行架構
2) Yarn中的隔離和調度機制
3) HDFS分布式文件及塊
4) Seqenence file等DFS文件格式
5) HA和Federation
第四講MapReduce計算模型設計
1) MapReduce產(chǎn)生背景
2) MapReduce編程模型
3) MapReduce實現(xiàn)機制
4) MapReduce案例分析
第五講Pig 數(shù)據(jù)流處理工具
1)Pig 設計的
2)Pig Latine介紹
3)Pig關鍵性技術
4)Pig的實用案例
第六講 云數(shù)據(jù)倉庫Hive
1) Hive設計
2) Hive數(shù)據(jù)模型
3) Hive關鍵性技術
4) Hive的使用案例
第七講HBase和NoSQL
1)NoSQL技術及其應用介紹
2)HBase數(shù)據(jù)處理機制
3)HBase列族設計及API
4)HBase高并發(fā)讀/寫的實現(xiàn)
5)ZooKeeper并發(fā)控制模型
第八講 數(shù)據(jù)抽取工具Sqoop
1)云中數(shù)據(jù)與DBMS數(shù)據(jù)的交換
2)Sqoop數(shù)據(jù)抽取關鍵技術
3)Sqoop數(shù)據(jù)抽取策略
4)Sqoop的使用實例
第九講 Hadoop與其他云數(shù)據(jù)處理技術的融合
1)其他云環(huán)境中大數(shù)據(jù)處理技術介紹
2)與Spark實時處理技術的融合
3)與Storm流數(shù)據(jù)處理技術的融合
4)與Docker等其它云工具的融合
5)基于Hadoop/Yarn的大數(shù)據(jù)挖掘應用
六、培訓
1,了解基于Hadoop/Yarn的大數(shù)據(jù)處理相關知識。
2,學習Hadoop/Yarn的核心技術方法以及應用特征。
3,深入學習Hadoop/Yarn相關工具在大數(shù)據(jù)中的實操使用。
4,了解Hadoop與Storm、Spark、Docker等技術的融合使用。