05-11-2023下午07:23
我想確認和討論HA對司機計算節點的工作機製。因為我們可以形象司機集群節點和主節點一樣。在AWS EMR,我們可以設置2主節點,這樣一個主節點失敗,另一個主節點可以迅速取代。
但我有了官方文件,似乎隻有一個司機在磚計算節點。這意味著是否磚司機節點沒有HA的機製?
如果你有任何想法,請分享或討論。我將很感激。
05-12-202306:42我
@Mars蘇作為@Werner Stinckens提到的可能性更小司機死亡。一件事如果你不添加多負載un-necessary筆記本,如果任何未使用的筆記本電腦有你的工作更好的分離他們的一部分。
在原帖子查看解決方案
05-12-2023零點
afaik是正確的,如果司機死了你的工作將會失敗。
還要檢查這個話題。
有辦法運行火花哈,但我不認為這是可能的在此刻磚:
https://gist.github.com/aseigneurin/3af6b228490a8deab519c6aea2c209bc
如果你絕對需要HA的主/司機,我接觸到磚的支持。
就其價值而言:我不遇到任何問題與大師/司機死亡,除非我寫壞的代碼(錘打司機的數據)。火花司機本身通常很放鬆。工人們/執行人塞滿了工作。
05-22-2023上午12:23
嗨@Mars蘇
我們一直沒有收到你自從上次反應@Werner Stinckens @karthik p,我檢查看看她的建議幫助你。
否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。
同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。