02-07-202301:15點
當有節點緩慢,有時工作需要調整其數量的集群達到所需數量的節點。有什麼方法可以確保沒有代碼運行之前所有節點都安全嗎?謝謝你！
02-08-202313點
有一個選項來關閉,優化功能呢?當一些工人被添加後,我經曆了一些奇怪的連接丟失問題的讀/寫數據時在運行代碼。一切工作當所有節點都在開始工作之前做好了準備。
02-08-202304:46我
@Leo包我認為你說的話是“我如何保證我的工作不能開始,直到所有的工人在火花集群中的節點都準備”?如果這是你想要的,設置集群大小如5工人和禁用自動定量。這種方式,磚將確保所有工人準備提交代碼前。
02-08-202308:35我
謝謝你的澄清。這正是我的意思。我不使用自動定量,因為我已經提交一份工作運行所需數量的工人節點。從我的觀察來看,即使一些工人沒有準備好,集群將開始一旦一個像樣的工作節點的數量。磚的描述顯示的一些節點采取更長的時間變得比其他人好,並已跳過為了疏通集群啟動”。我的問題我需要確保所有工人節點準備然後運行代碼。
02-08-202304:24點
你為什麼需要所有的工人開始在同一時間嗎?
02-09-2023十一21點
如果你想讓你的工人準備提交代碼前就設置集群大小7、3工人和禁用自動定量
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
