 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
第一部分除了Hadoop框架以外，大數據界的現狀與展望，機遇與挑戰，開源項目的注意事項（尤其對大型企業）也會在課程中介紹和研討，內容以思路，框架和架構為主
第二部分邊學變練，內容以應用編程為主，掌握基本的Hadoop編程原理
第三部分邊學邊練，了解MapReduce之上的封裝Pig以及Hive，以及數據跨平臺傳輸工具Sqoop，研討關系型數據庫與大數據框架的主要應用差異
第四部分邊學邊練，了解NOSQL計算框架HBase，流計算框架Storm，了解高可用配置管理工具ZooKeeper
課程大綱：
第1部分
大數據基礎與Hadoop框架 數據分析概述
數據的演變
傳統數據庫面臨的挑戰
大數據處理的機遇
業務分析經典案例：啤酒與尿布
IT分析經典場景：數據中心容量規劃
IBM Watson——基于大數據的認知計算
大數據的人才需求:大數據方案 ≠ Hadoop
大數據的人才需求:大數據總體架構?
大數據的人才培養：從云計算起源說起?
大數據的人才培養：理論結合實踐?
Hadoop概述
數據存儲與分析
數據的并行訪問
Hadoop的核心組件
Hadoop的基本特征
Hadoop的生態圈
Hadoop與大數據
Hadoop與關系型數據庫
Hadoop發展簡史
開源項目注意事項
組織結構
技術路線把控
協議與授權
構建Hadoop集群
集群安裝與配置
SSH的配置
Hadoop的配置
安全相關的考慮
集群性能指標
云上的Hadoop
第2部分
MapReduce與HDFS MapReduce
什么是MapReduce
使用MapReduce進行數據分析
MapReduce橫向擴展
MapReduce數據流
Combine函數
MapReduce 2.0
非Java語言支持
實踐：基于Eclipse的Hadoop開發環境搭建
實踐：使用MapReduce編寫北京市小汽車搖號中簽姓名統計程序
實踐：編寫MapReduce程序的單元測試程序
實踐：編寫MapReduce程序的驅動程序
實踐：在單機環境下運行MapReduce程序
實踐：使用Ant腳本部署MapReduce程序并在分布式環境下運行
實踐：使用Hadoop Web控制臺查看作業輸出
HDFS(2小時講授)
什么是HDFS
HDFS的優勢與劣勢
HDFS的數據塊
Namenode與Datanode
Hadoop客戶端
Namenode的高可用
Hadoop支持的各種文件系統
Hadoop支持的各種接口
文件讀取的數據流
文件寫入的數據流
網絡拓撲與hadoop
CAP定理在Hadoop中的展現：一致性模型與應用注意事項
distcp并行復制
集群的均衡
文件的歸檔
實踐：編寫Hadoop程序打印系統配置
實踐：編寫Hadoop程序將本地文件拷貝到HDFS上
實踐：編寫Hadoop程序顯示文件內容
實踐：編寫Hadoop程序列出文件狀態
第3部分
Pig，Hive，Sqoop Pig Latin及其使用
Pig 設計的目標
Pig Latine介紹
Pig關鍵性技術
Pig的實用案例
HIVE：分布式環境下的數據分析平臺
MapReduce與關系型數據模型
什么是HIVE
HIVE系統架構
HIVE數據模型
HIVE數據類型
HIVE查詢語言
HIVE查詢實例與應用場景
HIVE列存儲的優劣
HIVE的擴展屬性
Sqoop
什么是Sqoop
導入數據的數據流
導入數據的查詢劃分
直接模式數據導入
使用導入的數據
導入數據到HIVE
大對象
導出數據的數據流
導出與事物
關系型數據庫與大數據系統進行數據遷移的注意事項
??
第4部分
流數據處理，
高可用配置管理與跨平臺數據遷移工具 HBASE：非結構化數據NOSQL平臺
Hbase概述
HBase的數據模型
HBase的實現
HBase的運行時
服務器的寫操作與宕機恢復
服務器的讀操作
使用hbase shell進行表相關操作
通過Java客戶端實現表相關操作
通過MapReduce程序實現數據處理
將數據加載到HBase中
數據加載的性能
HBase與關系型數據庫
Hadoop用戶在HBase的常見問題
分布式流數據處理
Storm概述
Storm的拓撲組成
Storm的簡單實例與應用
Spark概述
Spark計算模型
Spark工作機制
Spark實例
ZooKeeper：分布式環境下的高可用架構
什么是ZooKeeper
分布式環境的部分失效
ZooKeeper的特點
一個分布式的問題
ZooKeeper的組、成員與節點
實踐：編寫程序創建組、加入組、列出組成員與刪除組
分布式問題的回顧
ZooKeeper服務的數據模型
ZooKeeper服務的操作類型
ZooKeeper服務的高可用
ZooKeeper服務的一致性
實踐：編寫程序使用ZooKeeper構建高可靠的分布式配置服務
使用ZooKeeper時的異常處理
使用ZooKeeper實現鎖服務
更多的分布式數據結構和協議 |
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
