問題

在集群上有太多並發工作,你經常看到一些工作停留在火花UI沒有任何進展。這複雜識別活動工作/階段與死者的工作階段。

導致

每當有太多並發工作一個集群上運行,有可能引發內部eventListenerBus下降的事件。這些事件是用來跟蹤工作進展引發的UI。每當事件監聽器下降事件你開始看到死工作/階段火花UI,從未完成。的工作實際上是完成但不顯示為完成火花UI。

你看到以下跟蹤在司機日誌:

18/01/25 06:37:32警告LiveListenerBus:自1月25日星期四下跌5044 SparkListenerEvents 06:36:32 UTC時間2018

解決方案

沒有辦法從火花UI中刪除死工作而不需要重新啟動集群。不過,您可以識別積極工作和階段通過運行以下命令:

% scala sc.statusTracker.getActiveJobIds() / /返回一個數組,其中包含id的所有活動的工作。sc.statusTracker.getActiveStageIds() / /返回一個數組,其中包含所有活動階段的id。