意外引發司機已經停止和r……-磚- 5256

JKR · ‎04-25-2023

得到以下錯誤

背景:使用磚共享互動集群調度運行多個並行工作每5分鍾後在同一時間。當我檢查Ganglia,司機節點的內存幾乎達到最大,然後重啟司機發生和重複相同的過程。我不使用任何以下操作:

收集()操作符,給司機帶來了大量的數據。
轉換的一個大型DataFrame熊貓DataFrame使用toPandas()函數。

. lang。OutOfMemoryError:無法創建新的本地線程

在java.lang.Thread。start0(本地方法)

java.lang.Thread.start (Thread.java: 719)

java.util.concurrent.ThreadPoolExecutor.addWorker (ThreadPoolExecutor.java: 957)

java.util.concurrent.ThreadPoolExecutor.execute (ThreadPoolExecutor.java: 1367)

在scala.concurrent.impl.ExecutionContextImpl.execute (ExecutionContextImpl.scala: 24)

scala.concurrent.impl.CallbackRunnable.executeWithValue (Promise.scala: 72)

在scala.concurrent.impl.Promise KeptPromise Kept.onComplete美元(Promise.scala: 372)

在scala.concurrent.impl.Promise KeptPromise Kept.onComplete美元$ (Promise.scala: 371)

在scala.concurrent.impl.Promise KeptPromise Successful.onComplete美元(Promise.scala: 379)

scala.concurrent.impl.Promise.transform (Promise.scala: 33)

在scala.concurrent.impl.Promise.transform美元(Promise.scala: 31)

在scala.concurrent.impl.Promise KeptPromise Successful.transform美元(Promise.scala: 379)

scala.concurrent.Future.map (Future.scala: 292)

在scala.concurrent.Future.map (Future.scala: 292美元)

在scala.concurrent.impl.Promise KeptPromise Successful.map美元(Promise.scala: 379)

在美元scala.concurrent.Future蘋果(Future.scala: 659)

com.databricks.backend.daemon.driver.JupyterKernelListener BackgroundPollTask.start美元(JupyterKernelListener.scala: 174)

在com.databricks.backend.daemon.driver.JupyterKernelListener。< init > (JupyterKernelListener.scala: 340)

在com.databricks.backend.daemon.driver.JupyterDriverLocal。anonfun startPython美元1美元(JupyterDriverLocal.scala: 708)

在scala.runtime.java8.JFunction0專門sp.apply美元(美元JFunction0 mcV $ sp.java: 23)

在美元scala.util.Try蘋果(Try.scala: 213)

在com.databricks.backend.daemon.driver.JupyterDriverLocal.com磚後台守護進程驅動美元美元JupyterDriverLocal withRetry美元美元(JupyterDriverLocal.scala: 663)

com.databricks.backend.daemon.driver.JupyterDriverLocal.startPython (JupyterDriverLocal.scala: 680)

在com.databricks.backend.daemon.driver.JupyterDriverLocal。< init > (JupyterDriverLocal.scala: 403)

com.databricks.backend.daemon.driver.PythonDriverWrapper.instantiateDriver (DriverWrapper.scala: 781)

com.databricks.backend.daemon.driver.DriverWrapper.setupRepl (DriverWrapper.scala: 350)

com.databricks.backend.daemon.driver.DriverWrapper.run (DriverWrapper.scala: 246)

java.lang.Thread.run (Thread.java: 750)