如何保障所有集群,然後開始運行代碼嗎

[Leodatabricks]

當有節點緩慢,有時工作需要調整其數量的集群達到所需數量的節點。有什麼方法可以確保沒有代碼運行之前所有節點都安全嗎?謝謝你！

[Leodatabricks]

已經禁用自動定量。當您設置更多的工作節點,你可能不會得到。可能需要調整。

[BilalAslamDbrx]

@Leo包我跟一個工程師和發現更多關於你遇到什麼。首先,這聽起來像是我們應該研究它,因為它不應該發生——你能打開一個支持機票?

與此同時,你可以做的第一步工作隻是等待所有執行者成為積極的通過沿著這些線路和睡覺直到你看到所需的數量= =活動執行人。

[Leodatabricks]

再次感謝你的回複。你能請讓我知道我如何打開一個支持機票?也解決你提到的,我用工作提交而不是互動的筆記本電腦,所以我不確定什麼時候所有的執行人將時間調整集群各不相同。如果有一種方法可以檢查是否所有節點都準備好了,請讓我知道我可以使用scala代碼。謝謝!

[BilalAslamDbrx]

@Leo保在這裏如何創建一個文檔支持的票。這裏有一些代碼——它應該做你正在尋找。請調整等待時間,我將其設置為10分鍾。

def numWorkers: Int = sc.getExecutorMemoryStatus。大小- 1 def waitForWorkers (requiredWorkers: Int, Int):單位={(我< - 0 (tries-1)){如果(numWorkers > = requiredWorkers) {println (s”等${我}。numWorkers / targetWorkers美元工人做好準備")返回}如果(我% 60 = = 0)println (s”等待${我}。對於工人做好準備,隻有numWorkers /美元targetWorkers工人”)線程睡眠1000}拋出新的異常(s“超時等待工人做好準備後${嚐試}。")}waitForWorkers (targetWorkers, 600) / /等待10米

[Vidula_Khanna]

嗨@Leo保

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!