更新時間:2020-05-14 來源:黑馬程序員 瀏覽量:
flink從入門到精通視頻教程 | ||
中級 | 共106節課 | |
了解Flink,了解集群環境搭建運維,學習Flink中重要概念、原理和API的用法,通過知識點 + 案例教學法幫助小白快速掌握Flink。提取碼:zdsz | ||
課程亮點:
1.知識體系完備,從小白到大神各階段讀者均能學有所獲。
2.生動形象,化繁為簡,講解通俗易懂。
3.結合工作實踐及分析應用,培養解決實際問題的能力。
4.每一塊知識點, 都有配套案例, 學習不再迷茫。
課程內容:
1.Flink框架簡介
2.Flink集群搭建運維
3.Flink Dataset開發
4.Flink 廣播變量,分布式緩存,累加器
5.Flink Datastream開發
6.Flink Window操作
7.Flink watermark與側道輸出
8.Flink狀態計算
9.Flink容錯checkpoint與一致性語義
10.Flink進階 異步IO,背壓,內存管理
11.Flink Table API與SQL
適用人群:
1.對實時計算領域或者Flink感興趣的在校生及應屆畢業生。
2.對目前職業有進一步提升要求,希望從事大數據行業高薪工作的在職人員。
3.對大數據行業感興趣的相關人員。
推薦了解黑馬成員大數據培訓課程。
課程目錄介紹
第一章 Flink簡介
01.Flink的引入
02.什么是Flink
03.Flink流處理特性
04.Flink基石
05.批處理與流處理
第二章 Flink架構體系
01.Flink中重要角色
02.無界數據流與有界數據流
03.Flink數據流編程模型
04.Libraries支持
第三章 Flink集群搭建
01.環境準備工作
02.local模式
03.Standalone集群模式
04.Standalone-HA集群模式
05.Flink On Yarn模式-介紹
06.Flink On Yarn模式-準備工作
07.Flink On Yarn模式-提交方式-Session會話模式
08.Flink On Yarn模式-提交方式-Job分離模式
09. Flink運行架構-Flink程序結構
10. Flink運行架構-Flink并行數據流
11. Flink運行架構-Task和Operator chain
12. Flink運行架構-任務調度與執行
13. Flink運行架構-任務槽與槽共享
第四章 Dataset開發
01.入門案例
02.入門案例-構建工程、log4j.properties
03.入門案例-代碼運行yarn模式運行
04.DataSource-基于集合
05.DataSource-基于文件
06.Transformation開發
07.Datasink-基于集合
08.Datasink-基于文件
09.執行模式-本地執行
10.執行模式-集群執行
11.廣播變量
12.累加器
13.分布式緩存
14.擴展并行度的設置
第五章 DataStream開發
01.入門案例-流處理流程
02.入門案例-示例、參考代碼
03.流處理常見Datasource
04.Datasource基于集合
05.Datasource基于文件
06.Datasource基于網絡套接字
07.Datasource-自定義source-SourceFunction
08.Datasource-自定義source-ParallelSourceFunction
09.Datasource-自定義source-RichParallelSourceFunction
10.Datasource-自定義source-MysqlSource
11.Datasource-自定義source-KafkaSource
12.DataStream-transformations
13.DataSink-輸出數據到本地文件
14.DataSink-輸出數據到本地集合
15.DataSink-輸出數據到HDFS
16.DataSink-輸出數據到mysql,kafka,Redis
第六章 Flink中Window
01.為什么需要window
02.什么是window
03.Flink支持的窗口劃分方式
04.Time-window之tumbling-time-window
05.Time-window之sliding-time-window
06.Time-window之session-window
07.Count-window之tumbling-count-window
08.Count-window之sliding-count-window
09.window-Apply函數
第七章 Eventime-watermark
01.時間分類
02.watermark之數據延遲產生
03.watermark之解決數據延遲到達
04.watermark綜合案例
05.watermark之數據丟失
06.watermark+側道輸出保證數據不丟失
第八章 Flink狀態管理
01.狀態管理概述之無狀態計算
02.狀態管理概述之有狀態計算
03.狀態管理概述之有狀態計算場景
04.狀態的類型之Managed State&Raw State
05.狀態的類型之Keyed State&Operator State
06.API演示之ValueState
07.API演示之MapState
08.案例之OperatorState
09.案例之BroadcastState
第九章 Flink容錯&重啟策略
01.checkpoint是什么
02.checkpoint執行流程
03.checkpoint持久化存儲
04.案例之checkpoint設置演示
05.Flink重啟策略之重啟策略配置
06.案例之重啟策略演示
07.Savepoint與checkpoint區別
08.案例之savepoint演示
09.端到端一致性語義解釋
10.案例之kafka實現EndToEnd一致性語義
11.案例之Mysql實現EndToEnd一致性語義
第十章 Flink擴展_異步IO_反壓_內存管理
01.異步IO之使用前提
02.異步IO之核心API Async IO
03.案例之異步IO案例
04.什么是反壓問題
05.Flink如何解決反壓問題
06.Flink內存管理
07.定制化內存管理
08.定制化序列化框架
09.使用堆外內存
第十一章 Flink-sql開發
01.Flink sql背景
02.sql常用算子之select
03.sql常用算子之where
04.sql常用算子之distinct
05.sql常用算子之group by
06.sql常用算子之union_union all
07.sql常用算子之join
08.sql常用算子之group window
09.案例之批處理sql案例
10.案例之流處理sql案例