Saprk界麵不顯示任何正在運行的任務

[guruv]

你好,

我運行一個筆記本工作調用JAR (c#應用程序代碼implmented)代碼。在火花UI頁麵將近2小時,甚至'w不顯示任何任務和CPU使用率低於20%,內存使用量非常小。在此之前2小時窗口顯示taks和CPU使用率。

從應用程序代碼,寫2表。和之前2小時沒有任務窗口中,已經寫入1號表的數據。2小時後窗口後,再開始寫2表顯示任務。

工作是運行在7.3 LTS總300核心和應該處理不到4000萬行

這是一些用戶體驗問題或實際工作沒有做任何任務。附件是用戶體驗如何顯示。

我想提高性能,因此任何指針如何理解和優化的工作是做什麼這段時間將是有益的。

[Hubert_Dudek1]

在我看來與代碼和架構問題。它不是標準的所以我認為你需要繼續調試。

[guruv]

Thanksfor回複。任何指針/應該尋找什麼解決這個問題。

[Atanu · Accepted solution]

因此可能是問題引發UI對火花的工作不同步了。也許你可以看看這個-https://docs.microsoft.com/en-us/azure/databricks/kb/scala/spark-ui-not-in-sync-with-job

[Atanu]

如果我正確地理解這個問題。