取消
顯示的結果
而不是尋找
你的意思是:

如何重新設置一個自動裝卸機嗎?

Scouty
新的因素

我使用一個自動裝卸機Azure磚:

df = (spark.readStream.format (“cloudFiles”)

.options (* * cloudfile)

.load (“abfss: / / dev@std * * * * * *.dfs.core.windows.net/ * * / * * * * *))

在我的目標checkpointLocation文件夾有一些文件和子目錄創建的結果。

它將檢測和處理新文件就可以了。

還當我重新啟動集群,將再次過程隻有新文件,這是好的。

但是如果我想重新啟動自動裝卸機為了處理文檔源文件夾的所有文件我又找不到任何如何這樣做。

有人可以請給我一個暗示。

1接受解決方案

接受的解決方案

AmanSehgal
尊敬的貢獻者三世

改變檢查點位置或刪除現有的檢查點位置。

新的檢查點位置意味著以前流已被拋棄和新流已經開始。

在原帖子查看解決方案

2回答2

AmanSehgal
尊敬的貢獻者三世

改變檢查點位置或刪除現有的檢查點位置。

新的檢查點位置意味著以前流已被拋棄和新流已經開始。

匿名
不適用

@Aman Sehgal -我的名字叫風笛手,我的版主之一磚。我想跳的很快謝謝你如此慷慨的與你的知識。:slightly_smiling_face:

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map