 班級(jí)規(guī)模及環(huán)境--熱線(xiàn):4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線(xiàn)白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線(xiàn)大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開(kāi)課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
| |
Hadoop大數(shù)據(jù)時(shí)代培訓(xùn)
?
Hadoop大數(shù)據(jù)時(shí)代：Hadoop&YarnSpark企業(yè)級(jí)最佳實(shí)踐培訓(xùn)
培訓(xùn)內(nèi)容
第一部分
第1個(gè)主題：Hadoop三問(wèn)（徹底理解Hadoop）
1、?Hadoop為什么是云計(jì)算分布式大數(shù)據(jù)的事實(shí)開(kāi)源標(biāo)準(zhǔn)軟件框架？
2、Hadoop的具體是如何工作？
3、Hadoop的生態(tài)架構(gòu)和每個(gè)模塊具體的功能是什么？
第2個(gè)主題：Hadoop集群與管理（具備構(gòu)建并駕馭Hadoop集群能力）
1、?Hadoop集群的搭建
2、?Hadoop集群的監(jiān)控
3、?Hadoop集群的管理
4、?集群下運(yùn)行MapReduce程序
第3主題：徹底掌握HDFS(具備開(kāi)發(fā)自己網(wǎng)盤(pán)的能力)
1、HDFS體系架構(gòu)剖析
2、NameNode、DataNode、SecondaryNameNode架構(gòu)
3、保證NodeName高可靠性最佳實(shí)踐
4、DataNode中Block劃分的原理和具體存儲(chǔ)方式
5、修改Namenode、DataNode數(shù)據(jù)存儲(chǔ)位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第4主題：徹底掌握HDFS(具備修改HDFS具體源碼實(shí)現(xiàn)的能力)
1、RPC架構(gòu)剖析
2、源碼剖析Hadoop構(gòu)建于RPC之上
3、源碼剖析HDFS的RPC實(shí)現(xiàn)
4、源碼剖析客戶(hù)端與與NameNode的RPC通信
第二部分
第1個(gè)主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執(zhí)行的具體過(guò)程并具備開(kāi)發(fā)MapReduce代碼的能力）
1、MapReduce執(zhí)行的經(jīng)典步驟
2、wordcount運(yùn)行過(guò)程解析
3、Mapper和Reducer剖析
4、自定義Writable
5、新舊API的區(qū)別以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行運(yùn)行
第2個(gè)主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力）
1、?Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對(duì)的？
2、?源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對(duì)的過(guò)程實(shí)現(xiàn)
3、?源碼剖析轉(zhuǎn)化為鍵值對(duì)后供Map調(diào)用的過(guò)程實(shí)現(xiàn)
第3個(gè)主題：徹底掌握MapReduce（具備掌握MapReduce內(nèi)部運(yùn)行和實(shí)現(xiàn)細(xì)節(jié)并改造MapReduce的能力）
1、?Hadoop內(nèi)置計(jì)數(shù)器及如何自定義計(jì)數(shù)器
2、?Combiner具體的作用和使用以及其使用的限制條件
3、?Partitioner的使用最佳實(shí)踐
4、?Hadoop內(nèi)置的排序算法剖析
5、?自定義排序算法
6、?Hadoop內(nèi)置的分組算法
7、?自定義分組算法
8、?MapReduce常見(jiàn)場(chǎng)景和算法實(shí)現(xiàn)
第4個(gè)主題：某知名電商公司Hadoop實(shí)施全程揭秘（具備掌握商業(yè)級(jí)別Hadoop的分析、開(kāi)發(fā)、部署的全過(guò)程的能力）
通過(guò)電商公司現(xiàn)場(chǎng)案例展示商業(yè)級(jí)別一個(gè)完整項(xiàng)目的分析、開(kāi)發(fā)、部署的全過(guò)程
第三部分
第1個(gè)主題：YARN（具備理解和使用YARN的能力）
1、YARN的設(shè)計(jì)思想
2、YARN的核心組件
3、YARN的共組過(guò)程
4、YARN應(yīng)用程序編寫(xiě)
第2個(gè)主題：ResourceManager深度剖析（具備深刻理解ResourceManager的能力）
1、ResourceManager的架構(gòu)
2、ClientRMService?與AdminService?
3、NodeManager
4、?Container
5、?Yarn的?HA機(jī)制
第3個(gè)主題：NodeManager深度剖析（具備掌握NodeManager及Container的能力）
1、?NodeManager架構(gòu)
2、?Container?Management
3、?Container??lifecycle
4、??資源管理與隔離
第4堂課：Spark的架構(gòu)設(shè)計(jì)(具備掌握Spark架構(gòu)的能力)
1.1?Spark生態(tài)系統(tǒng)剖析
1.2?Spark的架構(gòu)設(shè)計(jì)剖析
1.3?RDD計(jì)算流程解析
1.4?Spark的出色容錯(cuò)機(jī)制
第四部分
第1堂課：深入Spark內(nèi)核
1?Spark集群
2?任務(wù)調(diào)度
3?DAGScheduler
4?TaskScheduler
5?Task內(nèi)部揭秘
第2堂課：Spark?SQL
1?Parquet支持
2?DSL
3?SQL?on?RDD
第3堂課：Spark的機(jī)器學(xué)習(xí)
1?LinearRegression
2?K-Means
3?Collaborative?Filtering
第4堂課：Spark的圖計(jì)算GraphX
1?Table?Operators
2?Graph?Operators
3?GraphX
?
?
|
首頁(yè) 課程表 在線(xiàn)聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)