磚筆記本花太長時間運行的工作相比,當從筆記本中觸發

[返老還童]

我不知道這個問題已經被覆蓋,但都過去了,我有一個筆記本,我可以運行使用筆記本的“運行”按鈕手動或工作。

直接從筆記本中運行時當我運行大約是2個小時。但是當我執行工作,運行時是巨大的(約8小時)

。這段代碼花費的時間最長是調用一個applyInPandas函數,進而調用一個pandas_udf列車auto_arima模型(pmdarima)。

誰能幫我找出可能發生嗎?我笨。

謝謝!

[Kaniz · Accepted solution]

嗨@Vidisha Kanodia,

有一個類似的線程)https://community.www.eheci.com/s/question/0D53f00001pCk29CAC/performance-for-pyspark-dataframe-is-..。

請您看一看。

[Kaniz]

嗨@Vidisha Kanodia,隻是一個友好的後續。你還需要幫助嗎?請讓我們知道。

[波長]

我們看到相同的行為。使用集群互動良好的性能。

使用相同大小的集群,工作性能不好。

什麼好主意嗎?