我應該/可以使用火花流批處理工作負載?

[User16783855534]

它比火花流(δ)用於批處理工作負載而不是常規的批處理。觸發。一旦觸發時流的工作是開始它將處理任何可用的源(卡夫卡/運動/文件係統)和跟蹤進展的流檢查點位置。所以成功後,當您再次運行工作,它將利用檢查點知道從哪裏開始。

[User16826994223]

它比火花流(δ)用於批處理工作負載而不是常規的批處理。觸發。一旦觸發時流的工作是開始它將處理任何可用的源(卡夫卡/運動/文件係統)和跟蹤進展的流檢查點位置。所以成功後,當您再次運行工作,它將利用檢查點知道從哪裏開始

[User16869510359]

流檢查點機製是獨立的觸發類型。檢查站的工作方式是創建一個抵消文件在處理一次批處理和批處理完成後它會創建一個提交申請,批在檢查站目錄中。無論觸發器的類型,當一批開始,它將首先調和抵消和檢查點目錄確定它已經恢複。

這些文件是可讀的,可以看到在檢查站目錄中。