如何重啟引發會話中沒有重新連接筆記本電腦筆記本嗎?

[chandan_a_v]

你好,

我想要運行一個ETL管道順序的方式在我的DB筆記本。如果我運行它沒有重置火花會話或重新啟動集群,我得到一個數據幀關鍵錯誤。我認為這可能是由於火花緩存,因為如果我重新啟動集群和運行序列的下一個項目我不明白這個問題。我清理緩存的火花ETL管道每次運行但是,我麵臨著同樣的問題。我想停止引發會話並再次開始將解決這個問題,但這將重新接上筆記本。和執行從一開始不是從序列中的下一個項目。

謝謝,

的孩子叫

[Kaniz]

嗨@Chandan Angadi,你能請分享您的集群的參數嗎?

[chandan_a_v]

嗨@Kaniz開羅,

[g_krilis]

有上述問題的解決方案嗎?我還想重啟SparkSession免費集群的資源,但當調用

spark.stop ()

筆記本自動分離,出現以下錯誤:

火花上下文已經停止和司機重新啟動。你的筆記本將會自動重新連接。

有沒有推薦的方法重新啟動SparkSession嗎?