取消
顯示的結果
而不是尋找
你的意思是:

我應該/可以使用火花流批處理工作負載?

User16783855534
新的貢獻者三世

它比火花流(δ)用於批處理工作負載而不是常規的批處理。觸發。一旦觸發時流的工作是開始它將處理任何可用的源(卡夫卡/運動/文件係統)和跟蹤進展的流檢查點位置。所以成功後,當您再次運行工作,它將利用檢查點知道從哪裏開始。

2回答2

User16826994223
尊敬的貢獻者三世

它比火花流(δ)用於批處理工作負載而不是常規的批處理。觸發。一旦觸發時流的工作是開始它將處理任何可用的源(卡夫卡/運動/文件係統)和跟蹤進展的流檢查點位置。所以成功後,當您再次運行工作,它將利用檢查點知道從哪裏開始

User16869510359
尊敬的貢獻者

流檢查點機製是獨立的觸發類型。檢查站的工作方式是創建一個抵消文件在處理一次批處理和批處理完成後它會創建一個提交申請,批在檢查站目錄中。無論觸發器的類型,當一批開始,它將首先調和抵消和檢查點目錄確定它已經恢複。

這些文件是可讀的,可以看到在檢查站目錄中。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map