如何限製任務/執行器的數量?

[saipujari_spark]

一般來說,每一個任務的核心是如何引發執行任務。

如果我們想限製任務提交給執行器的數量內存比得到更多的任務,如何實現?

[Kaniz]

你好@賽!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。

[saipujari_spark · Accepted solution]

我們可以使用一個配置稱為“spark.task.cpus”

這將指定核的數量為每個任務分配。

默認值是1

如果我們指定說2,它意味著更少的任務將分配給執行器。