火花獨立集群配置(火花3.0.0)
我用氣流SparkSubmitOperator提交工作引發的主人集群模式。有多個(~ 20)熟練的技藝在氣流引發提交工作。這些熟練的技藝將基於cron表達式。同時,所有火花工作有相同的配置- 1驅動核心,1執行人與核心。
現在在某種程度上氣流引發8相應工作同時對這些8工作8引發工人司機了。但是我隻有8核工人,這些驅動程序最終把所有核心,不允許任何遺囑執行人產卵,導致所有8應用程序等待狀態。火花主UI快照。正如你所看到的圖像中集群處於一種僵局狀態,什麼都不能動了。氣流繼續提交更多的應用程序隊列——當我殺死任何等待狀態的應用程序,一個司機排隊的應用產生。
我不能改變cron表情熟練的技藝傳播這些應用程序,因為這些是由用戶配置。我試圖通過以下方法來解決這個問題
- 限製數量的並發應用程序可以運行在集群的火花——我找不到任何這樣的集群配置獨立的火花
- 副司機專門的工人——這樣我可以使用一個工人產卵司機和其他產卵執行人專門(分布式係統並沒有多大意義,好像整個集群這個節點下降是無法使用的,但在當前形勢下,我將)。很多研究隻建議後,這是我能找到的-https://stackoverflow.com/a/45962256,但是這個沒有工作建議,司機還是產卵的工人。
還有其他方法或配置,我可以嚐試解決這個問題?
