| |
Spark與Storm系列大數據處理技術應用實戰培訓課程
|
| |
 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
一、課程背景概述
大數據平臺技術已經給新興互聯網企業（如電子商務網站、搜索引擎、社交網站、互聯網廣告服務提供商等）、銀行金融證券企業、電信運營商行業、高端裝備制造企業、IT基礎設施提供商等帶來了巨大的商業機遇，大數據平臺在整個企業的價值增值鏈中發揮著至關重要的決定性作用?；ヂ摼W+大數據時代的到來，一方面為企業帶來了潛在的巨大發展機遇，能有效推動企業的信息化轉型升級和科學決策分析；另一方面由于企業缺乏大數據技術專業人才和大數據平臺建設實施經驗，對企業實行大數據發展戰略也帶來了較大的挑戰。本次課程帶大家領略大數據技術的魅力和廣闊前景，系統地講解大數據處理技術的產生背景、發展歷程、主流平臺、核心組件、關鍵技術、平臺架構、大數據解決方案以及大數據應用案例集錦。結合業界使用最廣泛的主流大數據平臺技術，重點剖析Hadoop + Spark + Storm大數據處理技術生態圈，包括大數據存儲管理、分布式并行計算處理、實時內存計算處理、流式數據處理技術、大型NoSQL與NewSQL數據庫、分布式數據檢索與搜索處理技術（ElasticSearch）、大型數據倉庫平臺、大數據分析挖掘處理平臺，以及這些大數據技術的平臺部署運維與開發實踐應用技巧。通過本次課程培訓讓學員掌握主流的Hadoop與Spark大數據平臺技術架構、大數據項目實施的關鍵技術，培訓過程中穿插著已經落地的成功大數據項目實施應用案例，分享大數據應用項目解決方案咨詢服務，讓學員掌握如何構建可行的大數據平臺技術解決方案。本次培訓緊密結合行業市場需求和國際國內最新技術發展趨勢與潮流，為促進企業實施大數據戰略，實現大數據的商業價值提供一種可行的方案思路，共同擁抱“云-網-端”以及“互聯網+大數據”時代的光明前景！
二、授課人群
1. 大數據平臺技術架構師
2. 大數據項目應用開發人員
3. 大數據平臺集群運維人員
4. 大數據項目解決方案工程師
5. 大數據應用業務人員
三、課程目標
1. 本課程讓學員充分掌握大數據處理平臺（Hadoop、Spark、Storm）技術架構、以及平臺的安裝部署、運維配置、應用開發實戰技能，熟悉國內外主流的大數據處理解決方案、以及大數據應用案例
2. 本課程強調主流的大數據關鍵技術及其在不同行業中企業的實際應用，立足于實際的行業應用需求，旨在讓企業學員能夠掌握大數據平臺技術及應用如何落地，以及基于大數據平臺的應用程序開發，以及大數據集群的運維技術，讓學員掌握業界主流的大數據平臺的應用和部署，并且結合當前（移動）互聯網環境下產生的大規模結構化與非結構化數據管理以及分析處理需求，詳細講解有機地集成大數據平臺各個功能組件（大數據收集、大數據存儲、大數據管理、大數據挖掘、大數據分析和大數據可視化組件）設計大數據項目，并分享大數據項目應用實施案例。
3. 讓學員掌握主流大數據Hadoop平臺和Spark實時處理平臺的技術架構和實際應用，并用結合實際的生產系統案例進行教學，講解利用Hadoop+Spark對行業大數據進行存儲管理和分析挖掘的技術應用，掌握基于Hadoop大數據平臺的數據挖掘和數據倉庫分布式系統平臺應用，以及主流的大數據平臺產品剖析。
4. 讓學員掌握業界最流行Hadoop與Spark大數據平臺，深入講解Hadoop生態系統組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數據存儲管理、分布式數據庫、大型數據倉庫、大數據查詢與搜索、大數據分析挖掘與分布式處理技術的實踐應用。
5. 本課程采用技術原理與項目實戰相結合的方式進行教學，在講授原理的過程中，穿插實際的系統操作，本課程講師也精心準備的實際的應用案例供學員動手訓練。
四、培訓特色
定制授課+ 案例分析講解 + 互動交流討論，共2天
五、培訓大綱
時間 授課內容 課堂演示/實踐說明
第1天 1. 大數據技術的發展歷程和應用背景、大數據產業鏈概況，以及大數據技術在通信運營商、互聯網金融業、網上銀行、電子商務、零售業、制造業、電子政務、移動互聯網、教育信息化等行業中的應用實踐；
2. 解析目前業界主流的標準化大數據平臺Hadoop + Spark平臺架構，重點講解它們在大數據存儲、管理、分析處理方面的應用方案，以及在大數據離線分析、近線分析、實時在線分析處理方面的優化組合方案及其優勢；
3. Hadoop大數據平臺的生態系統組件、平臺架構以及工作原理
4. Hadoop大數據存儲系統HDFS的技術原理及應用實戰，HDFS分布式存儲系統的核心關鍵技術、設計精髓、基本工作原理、系統架構、文件存儲模式、工作機制、存儲擴容與吞吐性能擴展。
5. 大數據平臺中的并行計算處理與函數式編程技術原理，以及數據并行技術—MapReduce技術的工作機制、工作原理、性能調優和大數據處理架構，以及MapReduce技術的發展趨勢
6. Hadoop MapReduce并行處理平臺的系統架構、核心功能模塊、MapReduce編程應用開發實踐、MapReduce程序Debug調試與任務調度技術
7. 第二代大數據計算框架Yarn的工作原理以及DAG并行執行機制、MapReduce應用開發環境的部署，以及大數據并行處理應用程序開發
8. MapReduce高級編程技巧與性能優化實踐、MapReduce與Yarn項目案例實踐
9. 常見的Hadoop平臺故障錯誤分析策略以及監控工具詳解，云文件存儲系統狀態以及海量作業執行狀態監控與故障解決經驗介紹 1. VMware虛擬機管理軟件的安裝部署，以及創建、啟動、遷移、熱備虛擬機操作
2. VMware環境下部署配置CentOS虛擬機集群模擬真實的物理集群
3. 在CentOS虛擬集群上部署Hadoop平臺以及配置操作
4. 基于HDFS實現大規模在線文件存儲程序
5. 基于Hadoop MapReduce實現網頁數據統計程序
第1天 10. 目前業界行業云數據中心的大規模非結構化數據管理技術實現與平臺應用，以及SQL、NoSQL和NewSQL關鍵技術詳解，系統平臺技術及應用實踐
11. Hadoop半結構化與非結構化大數據管理系統HBase集群的應用及其發展趨勢，HBase半結構化大數據管理集群管理、運維監控、性能優化、負載均衡，以及與Hadoop核心組件HDFS和MapReduce的數據協同操作應用
12. 大型數據倉庫HIVE集群的技術原理及應用，Hive文件與記錄存儲格式、Hive與HBase數據庫整合、Hive大數據統計分析技術、Hive功能操作實踐，以及云計算數據中心的Hive大型數據倉庫集群在BAT公司和通信運營商中的案例分析，以及HBase和數據倉庫HIVE的框架整合技術及其應用
13. Spark大數據實時處理平臺的技術原理、集群架構及其在大型互聯網公司和運營商企業中的應用實踐案例
14. Spark內存實時處理平臺架構，Spark分布式實時處理框架及工作原理
15. Spark集群的平臺架構及其生態系統組件剖析，SparkSQL和Spark Streaming應用技巧 6. 部署HBase大數據管理系統，配置、參數調優、性能監控， HBase數據表操作，以及項目應用開發實踐
7. 配置部署HIVE數據倉庫集群，以及性能調優實戰
8. 基于給定的實驗數據集加載至HIVE以及HBase中，并且根據實驗要求設計實現應用程序
9. 部署和配置Spark分布式集群?
第2天 16. 基于Spark集群的GraphX圖處理技術剖析以及應用實踐
17. 基于Spark集群的MLib和MLBase實時機器學習平臺技術剖析及其應用實踐
18. Spark集群的安裝部署、開發環境搭建，以及根據實驗數據集完成數據的加載、查詢檢索和分析統計程序的設計實現，以及和HBase+Hadoop的數據對接
19. 基于Hadoop+Mahout大數據分析挖掘處理平臺技術架構，以及大數據挖掘在互聯網電商和電信行業中的應用案例分析
20. Mahout大數據協同過濾分析、頻繁模式挖掘分析、聚類分析、分類分析、推薦分析的應用程序開發實現
21. ElasticSearch分布式搜索引擎的平臺架構設計、關鍵技術和核心組件剖析
22. ElasticSeach集群的分布式安裝部署與運維配置，以及與Hadoop平臺集成技術應用實踐
23. 流式大數據處理技術的基礎知識以及應用介紹
24. Storm流式大數據處理平臺的技術原理、平臺架構以及核心組件剖析
25. Storm集群的安裝部署、開發環境部署、程序開發及其實際應用案例分析
26. Storm日志分析項目的應用實踐
27. VMware虛擬化集群管理軟件，以及Hadoop + HBase + ElasticSearch + HIVE + Storm + Spark的大數據平臺集成解決方案的應用實踐案例分享
28. 基于真實的互聯網數據和實驗指導手冊在講師的引導下完成實際的項目案例，鞏固學過的大數據平臺技術知識以及應用技能 10. 部署配置Storm集群，以及開發環境
11. 基于Storm處理平臺實現日志流分析系統設計
12. 結合云計算與大數據平臺實現一個真實的互聯網行業數據搜索系統，以及搜索日志分析與推薦系統應用案例，構建一個Hadoop, MapReduce, Storm, HBase, HIVE, Spark, ElasticSearch, Mahout的大數據平臺集成解決方案 |
|
|
|
|
|
|
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
