一、Spark Streaming基礎(chǔ)?
?? ?
1、Spark Streaming簡(jiǎn)介
?? ?
2、Spark Streaming的特點(diǎn)
?? ?
3、Spark Streaming的內(nèi)部結(jié)構(gòu)
?? ?
4、小小案例:wordcount程序:NetworkWordCount
?? ?
5、開(kāi)發(fā)自己的NetworkWordCount
二、Spark Streaming進(jìn)階?
?? ?
1、StreamingContext 對(duì)象詳解
?? ?
2、離散流: DStream
?? ?
3、DStream的轉(zhuǎn)換操作
?? ?
4、窗口操作
?? ?
5、DStream的輸入:基本數(shù)據(jù)源
?? ?
6、DStream的輸出操作和foreachRDD的設(shè)計(jì)模式
?? ?
7、DataFrame和SQL操作
?? ?
8、緩存和持久化
?? ?
9、檢查點(diǎn)
三、高級(jí)數(shù)據(jù)源?
?? ?
1、集成Flume
?? ?
2、集成Kafka
四、性能優(yōu)化?
?? ?
1、減少批數(shù)據(jù)的執(zhí)行時(shí)間
?? ?
2、如何設(shè)置批的容量
?? ?
3、內(nèi)存調(diào)優(yōu)