自動裝卸機集群

[RK_AV]

我想設置自動裝卸機處理數據文件從Azure湖(Blob)自動每當新的文件到達。對於這個工作,我想知道如果集群自動裝卸機要求在所有的時間。

[Hubert_Dudek1]

克裏希那@Venkata Alvakonda,不,它不是必需的。最後的位置存儲在檢查點文件。檢測到新文件目錄清單或存儲在隊列中。

[RK_AV]

@Hubert杜德克,謝謝你的反應。我的問題是:集群必須在所有時間利用汽車裝載機嗎?如果一個文件到達blob存儲和集群了。它自動啟動集群,然後讀取文件調用自動裝卸機流程?還是下次啟動時,它會撿起嗎?

[Kaniz · Accepted solution]

嗨@Venkata室利羅摩克裏希納Alvakonda,如果您的數據隻有到達每小時或每一天,例如,您可以在批處理模式運行自動裝卸機通過指定“觸發一次”選項,然後設置筆記本運行調度工作。

在“觸發一次”模式下,自動裝卸機仍然跟蹤即使有新文件不一個活躍的集群運行——它隻是等待過程,直到您重新運行自動裝卸機代碼手動或作為計劃的一部分工作。

[RK_AV]

由於@Kaniz Fatma響應。不幸的是我不有一組頻率文件的到來。它是非常特別的。讓我問你這個問題。是事件網格可以觸發一個磚的工作嗎?