我想要運行一個ETL工作,當工作結束我想停止SparkSession免費集群的資源,這樣我可以避免重新啟動集群,但當調用
spark.stop ()
返回工作狀態失敗的盡管它已經成功完成,因為筆記本自動分離,出現以下錯誤:
火花上下文已經停止和司機重新啟動。你的筆記本將會自動重新連接。
我讀過的這個社區的文章停止引發會話不推薦,但我不明白這背後的原因。據我所知,建議結束引發會話結束工作後為了jvm和免費資源。
有沒有推薦的方法停止/啟動SparkSession磚的工作嗎?