TibaMe
系統初始化失敗,請重新整理頁面
若持續無法載入頁面,請 聯絡客服

Mark Yang

Spark首部曲:實務基礎入門篇

NT$1,200
人工智慧資料處理

這門課程將讓你了解Spark的核心基礎與環境建置、 學習Scala語言到實作Streaming串流分析。在熟悉Hadoop基礎概念後,若想要深入學習大數據,那你的下一步絕對要學Spark!這堂課程中,我們將用Spark玩轉資料,挑戰背後無限商機!並讓您透過此三部曲學程輕鬆進入大數據分析領域。

NT$1,200

目前尚無任何課程公告
講師將會在這發佈與課程相關的公告或是通知課程內容更新的公告。

最新討論

答案格式錯誤難以理解
李旻謙 · 2022/09/22 15:50
安裝hadoop問題
Chung-Chun Huang · 2021/10/02 11:28
課程的投影片
沈佩璇 · 2020/08/21 21:55
測驗:RDD操作效能優化
沈佩璇 · 2020/08/21 16:48
查看更多討論

課程資訊

default clock課程時長 3 小時 0 分
default video課程共 3 單元 54 小節
default download3 個可下載的 學習資源
default plan提供制定 學習計畫建議學習 3 週 (每週 2 小時)

適合對象

✔ 對大數據處理、分析、應用有興趣者
✔ 系統架構師或系統網路管理人員
✔ 商業資料分析部門主管及相關人員

你可以學到

| 本課程中我們將帶您學習
✔ 了解Spark核心基礎與環境建置

✔ 學習Scala語言
✔ 實作Streaming

課程介紹

| 為什麼我該學Spark?
在熟悉Hadoop基礎概念後,若想要深入學習大數據,那你的下一步絕對要學Spark!就讓我們在這堂課程中,用Spark玩轉資料,挑戰背後無限商機!並讓您透過此課程輕鬆進入大數據分析領域。

根據104人力銀行預測指出,20185大資料經濟職務需求趨勢(如下圖所示),可以意識到Spark技術已成為大數據分析領域不可或缺的新核心,讓我們一起為自己打造未來,奠定大數據技術的穩固基石吧!


| 初學者免擔心!我們將從Spark基礎開始
●此學程重點包含:
1.了解Spark核心基礎與環境建置
2.學習Scala語言以掌握Spark精髓
3.從資料收集開始,實作Streaming串流分析。

●深入看Spark:

 1.Spark基於記憶體運算,相較於Hadoop上的MapReduce效能快上許多,課程中會介紹Spark整體架構設計原理以及如何建置Spark環境;最後,當然不會錯過Spark中最基礎也是最重要的資料結構-RDD,我們將一起學習什麼是RDD,以及又該如何最有效率地操作RDD

2.
Scala作為Spark的原生語言,了解Scala一些基本語法,有助於理解Spark的操作。在這個課程中我們將介紹Scala一些特點,包括OOFP的實現以及Scala的編譯器-SBT

3.Spark StreamingSpark延伸的API,具備可擴展,高吞吐及容錯的流式處理架構。在這堂課,將會學到Streaming架構,DStream的操作,以及與Kafka的整合。

Spark將Hadoop Ecosystem的元素統合,透過簡潔語法完成Map Reduce,並在同一套件中完成資料串流;利用簡單API完成Machine Learning,Hadoop的MapReduce在執行完工作後,會將中介資料存放到磁碟中。Spark使用記憶體內運算技術,能在資料尚未寫入硬碟時即在記憶體內分析運算。且執行程式的運算速度能做到比Hadoop MapReduce快上100倍,即便是在硬碟執行程式時,Spark也能快上10倍速度。

Spark允許用戶將資料加載至叢集記憶體內存,並多次對其進行查詢,非常適合用於機器學習演算法。國際大廠包括 AWS IBM SAP皆將Spark作為底層技術來使用,學習本課程有助於將 Hadoop Ecosystem 轉移到Spark系統中,Spark 較容易上手以及豐富生態系,讓使用者可以更專精處理數據。

| Spark三部曲完整學程,由淺入深學習

Spark首部曲:實務基礎入門篇
Spark第二部曲: SQL輕鬆處理半結構化資料技巧
Spark第三部曲: MLlib完成資料挖掘與機器學習實戰

學習前基本能力

Linux
基礎物件導向概念
具備基本網路概念

學習前準備

✔ 無


課程資訊

default clock課程時長 3 小時 0 分
default video課程共 3 單元 54 小節
default download3 個可下載的 學習資源
default plan提供制定 學習計畫建議學習 3 週 (每週 2 小時)

關於講師

Mark Yang

●統計本科畢業,畢業後誤入程式叢林,熱愛軟體架構設計及數據分析。
●現任手機資料分析工程師,為HadoopCon2015的講者,目前常出沒於Spark台灣社群,致力於推廣Spark技術與Scala。
1. Spark安裝簡介與原理
23 小節
video common icon

Hadoop Review

video common icon

Spark vs Hadoop

試看
video common icon

Spark生態系

01:11
quiz common icon

測驗:Spark的特色

video common icon

Spark集群元件介紹及運作流程

video common icon

佈署Spark Standalone模式(1)

video common icon

佈署Spark Standalone模式(2)

video common icon

佈署Spark Standalone模式(3)

quiz common icon

測驗:Spark運作流程

video common icon

什麼是RDD?

video common icon

RDD的基本操作

quiz common icon

測驗:Transformation及Action

video common icon

key-value RDD常見操作

quiz common icon

測驗:字數統計

video common icon

寬依賴及窄依賴視圖

video common icon

理解Stage邊界

quiz common icon

測驗:RDD操作效能優化

video common icon

創建專案

video common icon

實作WordCount專案

video common icon

打包專案

video common icon

spark-submit提交

quiz common icon

測驗:spark專案

video common icon

總結

2. Spark核心語言 - Scala
16 小節
試看
video common icon

什麼是Scala

02:46
video common icon

安裝Scala,Sbt及IntelliJ

video common icon

Java vs Scala

quiz common icon

測驗:val 與var

video common icon

Scala OOP

quiz common icon

測驗:Scala OOP

video common icon

Scala 匿名函數(1)

video common icon

Scala 匿名函數(2)

quiz common icon

測驗:Tuple

video common icon

Scala 匿名函數(3)

quiz common icon

測驗:字數統計

video common icon

創建專案

video common icon

引用外部類庫

video common icon

打包

quiz common icon

測驗:如何正確執行Jar檔

video common icon

總結

3. 用 Spark Streaming讀取即時資料
15 小節
video common icon

什麼是Spark Streaming

quiz common icon

測驗:理解Spark Streaming

video common icon

什麼是DStream

quiz common icon

測驗:理解DStream

video common icon

簡單的Word Count

video common icon

DStream操作(1)-Transformations

video common icon

DStream操作(2)-Transformations

quiz common icon

測驗:理解Transformations

video common icon

DStream操作-Ouput

quiz common icon

測驗:foreachRDD設計模式

video common icon

Receivers

quiz common icon

測驗:Spark Streaming支持的數據源

video common icon

Kafka原理與安裝

video common icon

Spark Streaming+Kafka

video common icon

總結

學習附件

file-icon
Spark第一單元補充資料.txt
1.30 KB
stage arrow to bottom
file-icon
Spark第二單元補充資料.txt
1.75 KB
stage arrow to bottom
file-icon
Spark第三單元補充資料.txt
820.00 Bytes
stage arrow to bottom

購買此課程後,才能使用留言功能

沒有回應的問題

目前尚無任何討論主題

成為第一個發問的人!在問答中找到學習的捷徑。

關於講師

Mark Yang

●統計本科畢業,畢業後誤入程式叢林,熱愛軟體架構設計及數據分析。
●現任手機資料分析工程師,為HadoopCon2015的講者,目前常出沒於Spark台灣社群,致力於推廣Spark技術與Scala。
立即加入成為Line官方好友
become line friend
返回主選單
課程類型
影音課程
直播課程
實體課程
返回主選單
返回主選單
返回主選單
返回主選單