問題

在Spark UI中，您正在查看集群上活動的Apache Spark作業數量，但數量過高，不準確。

如果重新啟動集群，Spark UI中顯示的作業數量一開始是正確的，但隨著時間的推移，它會異常地增加。

導致

由於事件丟失，Spark UI對於大型或長時間運行的集群並不總是準確的。Spark UI需要終止條目來知道活動作業何時完成。如果由於錯誤或意外失敗，作業錯過了此條目，作業可能會停止運行，同時在Spark UI中錯誤地顯示為活動。

解決方案

您不應該使用Spark UI作為集群上活動作業的真實來源。

該方法.getActiveJobIds sc.statusTracker () ()在Spark API中是跟蹤活動作業數量的可靠方法。

請參閱Spark狀態跟蹤器文檔獲取更多信息。