取消
顯示的結果
而不是尋找
你的意思是:

司機工作節點計算有哈?

MarsSu
新的貢獻者二世

我想確認和討論HA對司機計算節點的工作機製。因為我們可以形象司機集群節點和主節點一樣。在AWS EMR,我們可以設置2主節點,這樣一個主節點失敗,另一個主節點可以迅速取代。

但我有了官方文件,似乎隻有一個司機在磚計算節點。這意味著是否磚司機節點沒有HA的機製?

如果你有任何想法,請分享或討論。我將很感激。

1接受解決方案

接受的解決方案

karthik_p
尊敬的貢獻者

@Mars蘇作為@Werner Stinckens提到的可能性更小司機死亡。一件事如果你不添加多負載un-necessary筆記本,如果任何未使用的筆記本電腦有你的工作更好的分離他們的一部分。

image.png圖像

在原帖子查看解決方案

3回複3

werners1
尊敬的貢獻者三世

afaik是正確的,如果司機死了你的工作將會失敗。

還要檢查這個話題

有辦法運行火花哈,但我不認為這是可能的在此刻磚:

https://gist.github.com/aseigneurin/3af6b228490a8deab519c6aea2c209bc

如果你絕對需要HA的主/司機,我接觸到磚的支持。

就其價值而言:我不遇到任何問題與大師/司機死亡,除非我寫壞的代碼(錘打司機的數據)。火花司機本身通常很放鬆。工人們/執行人塞滿了工作。

karthik_p
尊敬的貢獻者

@Mars蘇作為@Werner Stinckens提到的可能性更小司機死亡。一件事如果你不添加多負載un-necessary筆記本,如果任何未使用的筆記本電腦有你的工作更好的分離他們的一部分。

image.png圖像

Vidula_Khanna
主持人
主持人

嗨@Mars蘇

我們一直沒有收到你自從上次反應@Werner Stinckens @karthik p,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map