取消
顯示的結果
而不是尋找
你的意思是:

如果兩個數據工廠管道同時運行或分享一個窗口執行他們共享數據磚火花集群(如果兩個有相同的鏈接服務)?(集群的創建工作,相關服務)中定義。

irfanaziz
因素二世

繼續上麵的情況下,這意味著如果我有幾個喜歡5 ADF管道定期安排在同一時間,它的更好的使用現有的集群作為所有的ADF管道將共享相同的集群,因此成本會低嗎?

1接受解決方案

接受的解決方案

Atanu
尊敬的貢獻者
尊敬的貢獻者

adf或集群工作運行我們總是喜歡工作。但對於流媒體,您可以考慮使用集群互動。但是不管怎樣你需要監控集群負載,如果負載很高會有機會工作緩慢以及失敗。數據大小也將是一個因素。@nafri一

在原帖子查看解決方案

4回複4

werners1
尊敬的貢獻者三世

ADF管道將執行筆記本如下:

如果你使用一個專用集群和你同時運行2筆記本專用集群,其實它將運行。

注意,專用集群比工作更昂貴的集群。

同樣可以通過使用筆記本工作流,你叫平行筆記本在一個單獨的筆記本(ADF)計劃。就像你不需要使用專用的集群,而使用集群工作。

的主要缺點是集群可能會重創,因為並行運行。不一定,但這絕對是一個問題。

所以你也可以選擇一個集群池,您可以使用在ADF。不是一模一樣使用單個集群但不需要工人,可以用於其他工作,直到他們的不活動超時x分鍾後。

所以根據你的情況你可以這樣或那樣的方式。

我,我從不使用專用集群,因為價格。所以我使用單獨的集群工作,筆記本工作流和池。

irfanaziz
因素二世

通過ADF以來所有的管道都是精心策劃,我們主要使用專用集群,但規模很小。所以通過單一運行多個筆記本筆記本不是一個最優解。

所以我認為如果你有幾個管道和每一個使用集群工作最終的結果將會與更高的成本,我認為工作創建集群並不像他們之間共享工作。

werners1
尊敬的貢獻者三世

使用工作簿工作流可以同時使用集群工作幾個筆記本。

隻關注集群負載。

這是最便宜的選擇。

集群池也有一個選項可以使用現貨實例可以省錢的啟動時間節點。

Atanu
尊敬的貢獻者
尊敬的貢獻者

adf或集群工作運行我們總是喜歡工作。但對於流媒體,您可以考慮使用集群互動。但是不管怎樣你需要監控集群負載,如果負載很高會有機會工作緩慢以及失敗。數據大小也將是一個因素。@nafri一

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map