更好的工作節點核心利用率

[DennisB]

大家好！

希望有人能幫我了這個問題。我有一個尷尬的並行工作負載,我parallelising / 4工人節點(Standard_F4類型的,所以4芯)。每個工作負載是單線程的,所以我相信隻有一個核心實際上是被用於每個任務。我想理想運行2 +任務在每個工人。

我試著增加執行人的數量(人均擁有多個)通過以下,但它似乎並不工作。

spark.executor。核心1
spark.executor。內存2 g
spark.executor。在stances 16 // this is 4 workers * 4 cores = 16 executors

我也試過動態分配執行人,每這個線程堆棧溢出的答案,但這也是不工作:java——如何設置數量的火花執行者?——堆棧溢出。

任何幫助將非常感激。如果需要我可以提供更多的細節。

[Tharun-Kumar]

嗨@DennisB

你用threadpool並行運行工作負載?

同時,我建議刪除這三個款,你有提到。現在,如果你創建一個16個線程池,然後你會看到16分發生在執行人前線(16芯被利用)。

[DennisB]

我沒有試過threadpool,不過謝謝你的建議。在發布之前,我曾多處理池,但沒有工作(我希望在每個工人現在使用多處理,即。,Spark to distribute to worker nodes, then multiprocessing to distribute to each core, but I couldn't get it to work -- I didn't think to try threadpool though).

[Vidula_Khanna]

嗨@DennisB

我們還沒有聽到來自你自從上次反應@Tharun-Kumar,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[DennisB · Accepted solution]

我設法讓1-core-per-executor工作成功。不是工作的一點spark.executor。記憶——這太高了,但降低它的和執行人內存~ 90%的工人節點的內存允許它正常工作。