如果兩個數據工廠管道同時運行或分享一個窗口執行他們共享數據磚火花集群(如果兩個有相同的鏈接服務)?(集群的創建工作,相關服務)中定義。

[irfanaziz]

繼續上麵的情況下,這意味著如果我有幾個喜歡5 ADF管道定期安排在同一時間,它的更好的使用現有的集群作為所有的ADF管道將共享相同的集群,因此成本會低嗎?

[werners1]

ADF管道將執行筆記本如下:

如果你使用一個專用集群和你同時運行2筆記本專用集群,其實它將運行。

注意,專用集群比工作更昂貴的集群。

同樣可以通過使用筆記本工作流,你叫平行筆記本在一個單獨的筆記本(ADF)計劃。就像你不需要使用專用的集群,而使用集群工作。

的主要缺點是集群可能會重創,因為並行運行。不一定,但這絕對是一個問題。

所以你也可以選擇一個集群池,您可以使用在ADF。不是一模一樣使用單個集群但不需要工人,可以用於其他工作,直到他們的不活動超時x分鍾後。

所以根據你的情況你可以這樣或那樣的方式。

我,我從不使用專用集群,因為價格。所以我使用單獨的集群工作,筆記本工作流和池。

[irfanaziz]

通過ADF以來所有的管道都是精心策劃,我們主要使用專用集群,但規模很小。所以通過單一運行多個筆記本筆記本不是一個最優解。

所以我認為如果你有幾個管道和每一個使用集群工作最終的結果將會與更高的成本,我認為工作創建集群並不像他們之間共享工作。

[werners1]

使用工作簿工作流可以同時使用集群工作幾個筆記本。

隻關注集群負載。

這是最便宜的選擇。

集群池也有一個選項可以使用現貨實例可以省錢的啟動時間節點。

[Atanu · Accepted solution]

adf或集群工作運行我們總是喜歡工作。但對於流媒體,您可以考慮使用集群互動。但是不管怎樣你需要監控集群負載,如果負載很高會有機會工作緩慢以及失敗。數據大小也將是一個因素。@nafri一