問題

你正在評估活動Apache火花工作一個集群的數量在火花UI,但太高,數量是準確的。

如果你重新啟動集群,喬布斯火花UI中顯示的數量是正確的,但隨著時間的推移,它變得異常高。

導致

火花UI並不總是準確的為大,或長時間運行,集群由於事件滴。火花UI需要終止條目知道當一個活躍的工作已經完成。如果錯過這個工作條目,由於錯誤或意想不到的失敗,工作可能停止運行而錯誤地顯示活躍的火花UI。

解決方案

你不應該使用火花UI作為積極工作的事實來源一個集群。

該方法.getActiveJobIds sc.statusTracker () ()在火花API是一個可靠的方法來跟蹤活動工作的數量。

請檢查火花狀態跟蹤文檔的更多信息。