關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級工程師”
實(shí)戰(zhàn)培訓(xùn)班的通知
各有關(guān)單位：
當(dāng)下是大數(shù)據(jù)時代，為構(gòu)建大數(shù)據(jù)平臺，技術(shù)人員需要對分布式計(jì)算平臺有一定深入的理解和應(yīng)用。MapReduce作為一個經(jīng)典的分布式計(jì)算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問題，包括迭代式計(jì)算和DAG計(jì)算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問題，新型計(jì)算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺。因此*軟件行業(yè)產(chǎn)業(yè)培訓(xùn)網(wǎng)決定開展“Spark大數(shù)據(jù)處理與案例分析高級工程師”實(shí)戰(zhàn)培訓(xùn)班，本次培訓(xùn)由中聯(lián)軟博（北京）科技有限公司具體承辦，望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:
一、 培訓(xùn)時間及地點(diǎn)
北京 上海 廣州 成都 常年開課
二、課程目標(biāo)
本課程將為大家全面而又深入的介紹Spark、Hadoop平臺的構(gòu)建流程，涉及Spark、系統(tǒng)基礎(chǔ)知識，概念及架構(gòu)， Spark實(shí)戰(zhàn)技巧，Spark經(jīng)典案例等。
通過本課程實(shí)踐，幫助學(xué)員對Spark生態(tài)系統(tǒng)有一個清晰明了的認(rèn)識；理解Spark、系統(tǒng)適用的場景；掌握Spark等*級應(yīng)用開發(fā)技能；搭建穩(wěn)定可靠的Spark集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)；了解和清楚大數(shù)據(jù)應(yīng)用的幾個行業(yè)中的經(jīng)典案例，包括阿里巴巴等
三、培訓(xùn)對象
各地*云計(jì)算物聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)負(fù)責(zé)人，各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對于懷有設(shè)計(jì)疑問和問題，需要梳理解答的團(tuán)隊(duì)和個人
四、師資介紹
張老師：阿里大數(shù)據(jù)高級專家，國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、*移動某省移動公司請賬單系統(tǒng)和某省移動詳單實(shí)時查詢系統(tǒng)、*銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營商*用戶上網(wǎng)記錄、某省交通*違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項(xiàng)目等。
五、頒發(fā)證書
參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：
1.工業(yè)和信息化部頒發(fā)的《*計(jì)算機(jī)專業(yè)技術(shù)人才證書》-大數(shù)據(jù)處理高級工程師。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。
注：請學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。
六、培訓(xùn)特色
本課程將分別從理論基礎(chǔ)知識，系統(tǒng)搭建以及應(yīng)用案例三方面對spark進(jìn)行介紹。
采用循序漸進(jìn)的課程講授方法，首先講解Spark系統(tǒng)基礎(chǔ)知識，概念及架構(gòu)，之后講解Spark實(shí)戰(zhàn)技巧，*詳盡地介紹Spark經(jīng)典案例，使培訓(xùn)者從概念到實(shí)戰(zhàn)，均會有收獲和提高。
七、培訓(xùn)費(fèi)用及須知
培訓(xùn)費(fèi)6800元。（含培訓(xùn)費(fèi)、資料費(fèi)、考試費(fèi)、證書費(fèi)、講義光盤費(fèi)等）。需要住宿學(xué)員請?zhí)崆巴ㄖ山y(tǒng)一安排，費(fèi)用自理。
八、培訓(xùn)大綱（3天課程）
課程模塊 課程主題 主要內(nèi)容(內(nèi)容可以根據(jù)學(xué)員的要求可以現(xiàn)場調(diào)整）
模塊一 Spark
生態(tài)介紹 ? Mapreduce、storm和spark模型的比較和使用場景介紹
? Spark產(chǎn)生背景
? Spark（內(nèi)存計(jì)算框架）
? SparkSteaming（流式計(jì)算框架）
? Spark SQL（ad-hoc）
? Mllib（MachineLearning）
? GraphX（bagel將被代）
? DlinkDB介紹
? SparkR介紹
模塊二 Spark
安裝部署 ? Spark安裝簡介
? Spark的源碼編譯
? Spark Standalone安裝
? Spark應(yīng)用程序部署工具spark-submit
? Spark的高可用性部署
模塊三 Spark
運(yùn)行架構(gòu)和解析 ? Spark的運(yùn)行架構(gòu)
? 基本術(shù)語
? 運(yùn)行架構(gòu)
? Spark on Standalone運(yùn)行過程
? Spark on YARN 運(yùn)行過程
? Spark運(yùn)行實(shí)例解析
? Spark on Standalone實(shí)例解析
? Spark on YARN實(shí)例解析
? 比較 Standalone與YARN模式下的優(yōu)缺點(diǎn)
模塊四 Spark
scala編程 ? Scala基本語法與高階語法
? Scala基本語法
? Scala開發(fā)環(huán)境搭建
? Scala開發(fā)Spark應(yīng)用程序
? 使用java編程
? 使用scala編程
? 使用python編程
模塊五 Spark
編程模型和解析 ? Spark的編程模型
? Spark編程模型解析
? RDD的特點(diǎn)、操作、依賴關(guān)系
? Spark應(yīng)用程序的配置
? Spark的架構(gòu)
? spark的容錯機(jī)制
? 數(shù)據(jù)的本地性
? 緩存策略介紹
寬依賴與窄依賴
模塊六 Spark 數(shù)據(jù)挖掘 ? Mllib的介紹
? graphX核心原理
? table operator和graph operator區(qū)別
? vertices、edges和triplets介紹
? 構(gòu)建一個graph
? SparkR原理
? SparkR實(shí)戰(zhàn)
模塊七 Spark Streaming原理和實(shí)踐 ? Spark Streaming與Strom的區(qū)別
? Kafka的部署
? Kafka與Spark Streaming的整合
? Spark Streaming原理
? Spark流式處理架構(gòu)
? DStream的特點(diǎn)
? Dstream的操作和RDD的區(qū)別
? 帶狀態(tài)的transformation與無狀態(tài)transformation
? Spark Streaming的優(yōu)化
? Spark Streaming實(shí)例
? Streaming的容錯機(jī)制
? streaming在yarn模式下的注意事項(xiàng)
對于需結(jié)合第三方存儲機(jī)制的與流式處理方案
? 文本實(shí)例
? 網(wǎng)絡(luò)數(shù)據(jù)處理
? Kafka+Spark Streaming實(shí)現(xiàn)日志的實(shí)時分析案例
模塊八 Spark的優(yōu)化 ? 序列化優(yōu)化——Kryo
? Spark參數(shù)優(yōu)化實(shí)戰(zhàn)
? Spark 任務(wù)的均勻分布策略
? Partition key傾斜的解決方案
? Spark任務(wù)的監(jiān)控
? GC的優(yōu)化
? Spark Streaming吞吐量優(yōu)化
? Spark RDD使用內(nèi)存的優(yōu)化策略
? Spark在使用中的感想分享
模塊九 Spark的數(shù)據(jù)源 ? Spark與HDFS的整合
? HDFS RDD原理和實(shí)現(xiàn)
? Spark與Hbase的整合
? Spark與Cassendera整合
? Hbase RDD的分區(qū)讀取
? Hbase RDD的原理和實(shí)現(xiàn)
? Spark parallelism RDD的工作機(jī)制
模塊十 Spark Streaming應(yīng)用及案例分析 ? Spark Streaming產(chǎn)生動機(jī)
? Spark Streaming程序設(shè)計(jì)
（1）創(chuàng)建DStream
（2）基于DStream進(jìn)行流式處理
? Spark Streaming容錯與性能優(yōu)化
（1）Spark Streaming容錯機(jī)制
（2）如何對spark Streaming進(jìn)行優(yōu)化
? Spark Streaming案例分析
基于Spark Streaming的用戶標(biāo)簽系統(tǒng)，內(nèi)容包括項(xiàng)目背景，項(xiàng)目架構(gòu)以及實(shí)施方法
模塊十一 典型項(xiàng)目
案例實(shí)戰(zhàn) ? 基于spark日志分析
? 個性化推薦系統(tǒng)：帶你揭開其神秘面紗
? 在線投放引擎
? 揭開淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗
? 淘寶數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時計(jì)算平臺
