曙海教學(xué)優(yōu)勢
本課程面向企事業(yè)項(xiàng)目實(shí)際需要,秉承二十一年積累的教學(xué)品質(zhì)，IBM公司spark培訓(xùn)-以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,老師將會與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。線上/線下/上門皆可,IBM公司spark培訓(xùn)-專家,課程可定制,熱線:4008699035。
曙海的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。曙海的課程在業(yè)內(nèi)有著響亮的知名度。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬+。
Spark及其在機(jī)器學(xué)習(xí)中的應(yīng)用
?
課程目標(biāo)：
?
通過該課程的學(xué)習(xí)，學(xué)員應(yīng)能夠熟練掌握 Spark 并能利用 Spark 解決機(jī)器學(xué)習(xí)的相關(guān)問題；?具體的，學(xué)員將了解： 1.Spark在Ubuntu虛擬機(jī)上的分布式集群環(huán)境搭建; 2.基于Python的Spark編程基礎(chǔ); 3.Spark MLlib的使用（.py文件）包括回歸預(yù)測、聚類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)預(yù)測; 4.Spark在阿里云的使用（.py文件) ; 5.Spark在AWS亞馬遜云的使用。
?
課程大綱：
?
|
時(shí)間 |
主題 |
內(nèi)容 |
|
|
第一天 ? |
上午 |
? ? Spark簡介及環(huán)境搭建 |
? l?Spark 簡介 l?Spark 環(huán)境搭建(Ubuntu , 分布式集群).使用的是 Hadoop 2.7.3 和 Spark 2.0.1 版本 ? |
|
下午 |
? ? ? 基于Python的Spark 編程 ? |
? l?基于 Python 的 Spark 常用函數(shù)及其使用方法。map/reduce/groupByKey/reduceByKey/filter/ flatMap/saveAsTextFile/join 等 l?基于 Python 的 Spark 編程樣例。通過基本的統(tǒng)計(jì)分析和數(shù)據(jù)處理樣例說明該怎樣進(jìn)行基于 Python 的 Spark 編程 ? |
|
|
? ? 第二天 ? |
上午 |
? ? Spark 和機(jī)器學(xué)習(xí) ? |
? l?MLLib 全方位介紹 。MLLib 包含的各種算法函數(shù)的介紹。個(gè)別算法根據(jù)情況可以講解源代碼 l?MLLib 編程樣例 (回歸預(yù)測 , 聚類 , 關(guān)聯(lián)規(guī)則, ?神經(jīng)網(wǎng)絡(luò)預(yù)測等) ? |
|
下午 |
? 云環(huán)境下的 Spark 以及預(yù)測的簡介 |
? l?Spark 在阿里云的使用 l?Spark 在 AWS 亞馬遜云的使用 l?預(yù)測方法簡介：包括時(shí)間序列預(yù)測，機(jī)器學(xué)習(xí)方法進(jìn)行預(yù)測（GBDT, 邏輯回歸等） ? |
|
?
