已經禁用自動定量。當您設置更多的工作節點,你可能不會得到。可能需要調整。
再次感謝你的回複。你能請讓我知道我如何打開一個支持機票?也解決你提到的,我用工作提交而不是互動的筆記本電腦,所以我不確定什麼時候所有的執行人將時間調整集群各不相同。如果有一種方法可以檢查是否所有節點都準備好了,請讓我知道我可以使用scala代碼。謝謝!
@Leo保在這裏如何創建一個文檔支持的票。這裏有一些代碼——它應該做你正在尋找。請調整等待時間,我將其設置為10分鍾。
def numWorkers: Int = sc.getExecutorMemoryStatus。大小- 1 def waitForWorkers (requiredWorkers: Int, Int):單位={(我< - 0 (tries-1)){如果(numWorkers > = requiredWorkers) {println (s”等${我}。numWorkers / targetWorkers美元工人做好準備")返回}如果(我% 60 = = 0)println (s”等待${我}。對於工人做好準備,隻有numWorkers /美元targetWorkers工人”)線程睡眠1000}拋出新的異常(s“超時等待工人做好準備後${嚐試}。")}waitForWorkers (targetWorkers, 600) / /等待10米