深圳大數(shù)據(jù)處理運用開發(fā)培訓

課程亮點

以課堂講解、演示、案例分析為主,輔以互動研討、現(xiàn)場答疑、學以致用。

適用對象

不限

學習目標

了解大數(shù)據(jù)業(yè)內(nèi)*新發(fā)展趨勢,深入掌握Hadoop的原理,Hadoop生態(tài)系統(tǒng)

課程內(nèi)容

大數(shù)據(jù)背景與思維

1. 什么是大數(shù)據(jù)

2. 大數(shù)據(jù)技術(shù)的產(chǎn)生背景

3. 大數(shù)據(jù)應用場景

4. 大數(shù)據(jù)思維

5. 大數(shù)據(jù)產(chǎn)業(yè)鏈

6. 大數(shù)據(jù)是如何變革各行業(yè)的技術(shù)架構(gòu)、商業(yè)模

式和組織方式

大數(shù)據(jù)應用-運營商案例分析

大數(shù)據(jù)時代的數(shù)據(jù)特征與數(shù)據(jù)來源分析

大數(shù)據(jù)時代的發(fā)展趨勢—軟件應用的泛互聯(lián)網(wǎng)化

大數(shù)據(jù)時代的發(fā)展趨勢—行業(yè)應用垂直整合

大數(shù)據(jù)時代的發(fā)展趨勢—數(shù)據(jù)銀行的誕生

大數(shù)據(jù)時代處理數(shù)據(jù)理念的三個大改變

大數(shù)據(jù)時代的核心技術(shù)-數(shù)據(jù)分析技術(shù)(Hadoop、MPI、BSP)

大數(shù)據(jù)時代的核心技術(shù)-數(shù)據(jù)挖掘

大數(shù)據(jù)分析的核心技術(shù)-可視化技術(shù)精解

大數(shù)據(jù)時代的精髓-預測技術(shù)

目前運營商大數(shù)據(jù)利用現(xiàn)狀

利用大數(shù)據(jù)存在的問題

數(shù)據(jù)質(zhì)量分析

場景不足

數(shù)據(jù)不統(tǒng)一的問題解決

如何進化金融行業(yè)的大數(shù)據(jù)基礎(chǔ)數(shù)據(jù)

案例分享: 對外數(shù)據(jù)服務-數(shù)據(jù)到價值的轉(zhuǎn)換, 我們能夠提供的對外大數(shù)據(jù)服務

案例分享:位置數(shù)據(jù)貨幣化-如何為俏江南提供選址報告

互聯(lián)網(wǎng)金融大數(shù)據(jù)應用案例深度解析

大數(shù)據(jù)在互聯(lián)網(wǎng)金融及傳統(tǒng)金融公司的應用案例解析-以下幾個案例將貫穿整個培訓內(nèi)容, 作為每個章節(jié)的案例分析細化到每個大數(shù)據(jù)的知識點

互聯(lián)網(wǎng)企業(yè)遇到大數(shù)據(jù)的問題

案例分享:海量數(shù)據(jù)金融解決方案

案例分享:基于區(qū)塊鏈的金融信任體系海量數(shù)據(jù)解決方案

案例分享:淘寶飛天平臺實踐

案例分享:微信紅包大數(shù)據(jù)分析

案例分享:互聯(lián)網(wǎng)金融的大數(shù)據(jù)分析

案例分享:金融行業(yè)在風控, 營銷, 產(chǎn)品設(shè)計, 營業(yè)網(wǎng)點分析等領(lǐng)域的大數(shù)據(jù)分析

案例分享:一個大型銀行的核心信用系統(tǒng)大數(shù)據(jù)項目分析案例深入剖析

大數(shù)據(jù)企業(yè)級平臺選型方案

開源方案:Hadoop,Spark

海量數(shù)據(jù)處理系統(tǒng)

的架構(gòu)設(shè)計

這個部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計,針對海量數(shù)據(jù)的問題設(shè)計海量數(shù)據(jù)的架構(gòu)解決方案。

海量數(shù)據(jù)處理的系統(tǒng)場景

大數(shù)據(jù)時代的數(shù)據(jù)架構(gòu)解決方案

海量數(shù)據(jù)處理的架構(gòu)匯總

8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計比較

分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計

海量數(shù)據(jù)處理設(shè)計

典型案例分析:結(jié)合一個500強實時數(shù)據(jù)系統(tǒng)的實例案例進行分析,詳細分析海量數(shù)據(jù)處理的架構(gòu)設(shè)計

Hadoop集群架構(gòu)搭建及實踐案例沙盤演練

Hadoop版本介紹與選擇

Hadoop部署實踐

系統(tǒng)環(huán)境配置

進程分布規(guī)劃與啟動

Hadoop基本使用操作

HDFS核心架構(gòu)分析

開發(fā)環(huán)境準備

讀文件

寫文件

Eclipse與Hadoop的集成

基于HDFS的命令總結(jié)

基于的API編程模型及其開發(fā)演練

Hadoop集群架構(gòu)搭建方法

Hadoop集群架構(gòu)性能管理

Namenode單點問題改進

HDFS,NameNode,DataNode的調(diào)優(yōu)和節(jié)點擴展*佳實踐

主要調(diào)優(yōu)工具和性能監(jiān)控工具

Hadoop集群對于硬件的要求和選型

Hadoop集群中對硬件、操作系統(tǒng)的調(diào)優(yōu)方法

實際案例分析

基于Hadoop的集群解決方案

典型案例分析:結(jié)合一個大型金融行業(yè)大數(shù)據(jù)系統(tǒng)的實例案例分析及演練Hadoop集群架構(gòu)搭建過程

典型案例分析:通過HDFS API完成一個復雜數(shù)據(jù)系統(tǒng)的操作過程

動手實驗:完成Hadoop整體集群體系的搭建,配置與優(yōu)化

HDFS原理及高級程序?qū)崙?zhàn)演練(深入理解HDFS)

HDFS架構(gòu)及原理

HDFS NameNode、DataNode解析

HDFS 副本機制塊機制解析

HDFS實戰(zhàn)-命令行等使用

HDFS命令行工具

啟動、停止HDFS服務

如何查看HDFS日志

如何查看HDFS Web控制臺

HDFS參數(shù)配置

PB級Hadoop存儲架構(gòu)設(shè)計