大家好!
希望有人能幫我了這個問題。我有一個尷尬的並行工作負載,我parallelising / 4工人節點(Standard_F4類型的,所以4芯)。每個工作負載是單線程的,所以我相信隻有一個核心實際上是被用於每個任務。我想理想運行2 +任務在每個工人。
我試著增加執行人的數量(人均擁有多個)通過以下,但它似乎並不工作。
spark.executor。核心1
spark.executor。內存2 g
spark.executor。在stances 16 // this is 4 workers * 4 cores = 16 executors
我也試過動態分配執行人,每這個線程堆棧溢出的答案,但這也是不工作:java——如何設置數量的火花執行者?——堆棧溢出。
任何幫助將非常感激。如果需要我可以提供更多的細節。
我沒有試過threadpool,不過謝謝你的建議。在發布之前,我曾多處理池,但沒有工作(我希望在每個工人現在使用多處理,即。,Spark to distribute to worker nodes, then multiprocessing to distribute to each core, but I couldn't get it to work -- I didn't think to try threadpool though).
我們還沒有聽到來自你自從上次反應@Tharun-Kumar,我檢查看看她的建議幫助你。
否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。
同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。