我運行一個java / jar結構化流工作在單個節點集群(磚運行時的8.3)。這項工作包含一個查詢從多個讀取記錄Azure事件中心使用火花卡夫卡功能和輸出結果該數據庫在Azure使用foreachBatch下沉。沒有從以前的檢查站時,通常工作12 - 14小時停止運行。這項工作將從一個檢查站成功重啟後死亡,已經觀察到再次運行了19小時前停止。為什麼停止我的工作?
根據日誌,工作停止司機似乎第一次自發之前嚐試重啟(我找不到之前的日誌這一點這將表明,重啟會發生):
21/07/21 01:30:12信息StaticConf美元:DB_HOME: /磚21/07/21 01:30:14信息DriverDaemon美元:當前JVM版本1.8.0_282 21/07/21 01:30:14信息DriverDaemon美元:= = = = = = = = = =司機啟動= = = = = = = = = = 21/07/21 01:30:14信息DriverDaemon美元:Java: Azul Systems, Inc . 1.8.0_282 21/07/21 01:30:14信息DriverDaemon美元:操作係統:Linux / amd64 5.4.0-1051-azure 21/07/21 01:30:14信息DriverDaemon:美元:慢性消耗性疾病/磚/司機……
接著是火花的日誌配置等等。
幾秒鍾後然後我們得到的
21/07/21 01:30:47錯誤RShell:未能評估init腳本路徑“/ local_disk0 / tmp / _CleanRShell.r1768656956904795188resource。r r ' 21/07/21 01:30:47錯誤RDriverLocal:開始翻譯失敗了。com.databricks.backend.daemon.driver。RDriverLocal RProcessFatalException com.databricks.backend.daemon.driver.RShell。anonfun美元新1美元(RShell.scala: 57) scala.collection.immutable.List.foreach (List.scala: 392) com.databricks.backend.daemon.driver.RShell。< init > (RShell.scala: 50) com.databricks.backend.daemon.driver.RDriverLocal.init (RDriverLocal.scala: 631)美元com.databricks.backend.daemon.driver.RDriverLocal .init (RDriverLocal.scala: 1078) com.databricks.backend.daemon.driver.RDriverWrapper.instantiateDriver (DriverWrapper.scala: 819) com.databricks.backend.daemon.driver.DriverWrapper.setupRepl (DriverWrapper.scala: 331) com.databricks.backend.daemon.driver.DriverWrapper.run (DriverWrapper.scala: 220) java.lang.Thread.run (Thread.java: 748)
其次是一些相關的錯誤。
工作jar成功廣泛應用重新啟動集群根據日誌,但是這份工作似乎並沒有重新啟動集群之後下降以來我配置集群“終止”設置一個小時。我沒有配置自動重啟調試這個問題更容易的工作。
如果是感興趣的,數據庫作為水槽非常緩慢和查詢的主要瓶頸,導致每個micro-batch ~ 100000記錄每個逐漸不再,開始~ 5分鍾和20 micro-batches後2小時左右。我希望這不會造成問題,因為我不希望工作死如果這些數據庫瓶頸效應將發生在生產。
同時,這份工作需要存儲大約50 GB的數據狀態上可用的RAM(超過我的集群)。不耗盡內存我使用磚RocksDB存儲狀態。
謝謝
