南京大數(shù)據(jù)工程師

萬和大數(shù)據(jù)課程體系

課程設(shè)置無縫對(duì)接企業(yè)用人需求，萬和四個(gè)月，勝讀四年書

大數(shù)據(jù)基礎(chǔ)

大數(shù)據(jù)基礎(chǔ)

1.什么是大數(shù)據(jù)？-大數(shù)據(jù)概念； 2.大數(shù)據(jù)主要分類類型； 3.大數(shù)據(jù)和普通數(shù)據(jù)的區(qū)別；

大數(shù)據(jù)現(xiàn)狀

1.現(xiàn)有企業(yè)應(yīng)用場景； 2.大數(shù)據(jù)生態(tài)圈介紹；

群組討論

1."自我定義的大數(shù)據(jù)"-群組討論； 2.學(xué)員技能摸底，情況歸檔；

Linux基礎(chǔ)

Linux基本命令解析

1.熟悉Linux歷史背景； 2.了解Linux基本命令；

虛擬機(jī)-Centos安裝

1.安裝虛擬機(jī)； 2.安裝Mvn，Jdk等工具

Zookeeper

Zookeeper熟悉和用途綜述

1.Z****eper介紹 2.Z****eper基礎(chǔ)知識(shí) 3.體系結(jié)構(gòu) 4.數(shù)據(jù)模型

Zookeeper環(huán)境搭建

1.集群搭建和測試 2.命令行客戶端操作 3.**at

Zookeeper開發(fā)

1.*****es、Node詳解 2.*PI介紹 3.**va Client開發(fā) 4.實(shí)戰(zhàn)內(nèi)容（現(xiàn)場實(shí)驗(yàn)環(huán)節(jié)）

Zookeeper集群搭建、 命令行Client操作

1.Z****eper 節(jié)點(diǎn)類型與體系結(jié)構(gòu) 2.Z****eper Watch 3.Z****eper 與 HBase 的關(guān)系 4.Z****eper 更新Server 實(shí)例實(shí)現(xiàn) 5.Z****eper 分布式鎖

Hbase數(shù)據(jù)庫

Hbase熟悉和用途綜述

1.***se介紹 2.***se基礎(chǔ)知識(shí) 3.體系結(jié)構(gòu) 4.數(shù)據(jù)模型

Hbase環(huán)境搭建

1.集群搭建和測試 2.命令行客戶端操作 3.**at

Hbase開發(fā)

1.***se增刪改查 2.***se的基礎(chǔ)get，scanner等命令

Hadoop

hadoop的前世今生

1.大數(shù)據(jù)背景及hadoop出現(xiàn)的契機(jī) 2.****op概述 3.****op生態(tài)系統(tǒng) 4.****op分布式文件系統(tǒng)HDFS 5.****op計(jì)算框架MapReduce 6.****op版本發(fā)展歷史 7.****op行業(yè)應(yīng)用案例分析 8.****op與云計(jì)算和大數(shù)據(jù)的關(guān)系

hadoop的前世今生

1.****op 核心組件簡單介紹 2.****op 部署角色簡單介紹 3.****op 試驗(yàn)集群的部署結(jié)構(gòu) 4.****op 安裝依賴關(guān)系 5.****op 生產(chǎn)環(huán)境的部署結(jié)構(gòu) 6.****op 集群部署 7.****op 高可用配置方法 8.****op 集群簡單測試方法 9.****op 集群異常debug方法

hadoop YARN架構(gòu)設(shè)計(jì)和核心概念

1.**RN的出現(xiàn)的背景 2.**RN的設(shè)計(jì)思想和背景 3.**RN的基礎(chǔ)架構(gòu) 4.**RN的工作流程 5.**RN的基礎(chǔ)類庫詳解 6.**RN的核心模塊ApplicationMaster詳解 7.**RN的核心模塊ResourseManager剖析 8.**RN的核心模塊NodeManager詳解 9.**RN 資源調(diào)度器詳細(xì)介紹

Spark

Spark的發(fā)展歷程

1.大數(shù)據(jù)背景及sPARK出現(xiàn)的契機(jī) 2.***rk概述 3.***rk生態(tài)系統(tǒng) 4.***rk核心組件原理和架構(gòu) 5.***rk分布式文件系統(tǒng)HDFS 6.***rk計(jì)算核心算法 7.***rk部署角色 8.***rk版本發(fā)展歷史 9.***rk行業(yè)應(yīng)用案例分析

安裝Spark

1.***rk 核心組件簡單介紹 2.***rk 部署角色簡單介紹 3.***rk 試驗(yàn)集群的部署結(jié)構(gòu) 4.***rk 安裝依賴關(guān)系 5.***rk 生產(chǎn)環(huán)境的部署結(jié)構(gòu) 6.***rk 集群部署 7.***rk 高可用配置方法 8.實(shí)戰(zhàn)內(nèi)容（現(xiàn)場實(shí)驗(yàn)環(huán)節(jié)）

Spark 部署模式剖析

1.***rk的工作流程 2.***rk的多種調(diào)度模式區(qū)別 3.***rk的調(diào)度通信機(jī)制

Spark 高級(jí)編程,Spark Streaming高級(jí)編程

1.***rk 核心API介紹 2.****le 算法介紹 3.***rk異?；貪L機(jī)制介紹 4.***rk Sql剖析 5.***rk Streaming剖析 6.***rk RDD剖析 7.實(shí)戰(zhàn)內(nèi)容（現(xiàn)場實(shí)驗(yàn)環(huán)節(jié)）

Spark 及Spring搭配

1.***rk和Spring集成 2.實(shí)戰(zhàn)內(nèi)容（現(xiàn)場實(shí)驗(yàn)環(huán)節(jié)）

Spark編程模型及調(diào)優(yōu)

1.***rk編程模型及調(diào)優(yōu) 2.實(shí)戰(zhàn)內(nèi)容（現(xiàn)場實(shí)驗(yàn)環(huán)節(jié)）

storm

Storm基礎(chǔ)知識(shí)

1.包括storm基本概念 2.***rm應(yīng)用場景 3.應(yīng)用現(xiàn)狀和發(fā)展趨勢 4.***rm與hadoop的區(qū)別

Storm的架構(gòu)與原理

1.****us進(jìn)程與Supervisor進(jìn)程 2.***rm集群環(huán)境搭建 3.z****eper集群的搭建 4.***rm配置文件配置項(xiàng)講解 5.***rm常用組件和編程API 6.******gy、Spout、Bolt、Storm分組策略 7.（Stream Groupings） 8.***rm項(xiàng)目maven環(huán)境的搭建 9.實(shí)戰(zhàn)內(nèi)容（現(xiàn)場實(shí)驗(yàn)環(huán)節(jié)）

storm可靠性機(jī)制

1.消息處理的含義 2.***rm的ack/fail機(jī)制 3.***rm如何保證可靠性 4.***rm如何實(shí)現(xiàn)可靠性

storm高并發(fā)策略

1.工作進(jìn)程、執(zhí)行器與任務(wù)的區(qū)別 2.配置topology的并行度 3.******gy實(shí)例 4.如何改變運(yùn)行中topology的并行度

流分組

1.什么是流分組 2.6種不同的流分組方式

組件詳解

1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象類:BaseComponent抽象類、BaseRichSpout抽象類、BaseRichBolt抽象類、BaseBasicBolt抽象類

storm批處理事務(wù)處理

1.***rm批處理詳解 2.***rm事務(wù)工作原理深入講解 3.***rm事務(wù)相關(guān)API詳解 4.***rm事務(wù)案例分析 5.***rm分區(qū)事務(wù)與不透明分區(qū)事務(wù)

Kafka

kafka概述

1.***ka是什么:kafka概念詳解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.***ka的應(yīng)用場景 3.***ka的體系架構(gòu)與設(shè)計(jì)原理

kafka的安裝部署

1.***ka集群環(huán)境的搭建 2.***ka配置項(xiàng)的配置與講解 3.分布與訂閱的原理 4.分布與訂閱的接口

kafka使用zookeeper進(jìn)行協(xié)調(diào)管理

1.z****eper在kafka中的作用 2.z****eper如何進(jìn)行協(xié)調(diào)管理