意外錯誤:火花驅動程序已經停止並重新啟動。你的筆記本將會自動重新連接。

[SaraCorralLou]

這個問題是什麼?

我得到這個錯誤我每次運行python筆記本我在磚的回購。

背景

筆記本我在哪裏得到這個錯誤是一個筆記本,創建一個dataframe,最後一步是編寫dataframe三角洲表已經創建在磚。

dataframe創造了大約16000000條記錄。

在thenotebook我沒有任何顯示(),打印(),…命令,隻有建立這種dataframe通過其他dataframes創建。

這個筆記本相同數量的記錄工作幾天前,但是現在我得到錯誤。我一直在其他討論閱讀聊天和看到,可能是內存的問題,所以我已經采取了以下措施:

• 我改變了集群的配置,我運行它。這個配置包括:
  • 工作類型:Standard_DS4_V2 28 gb內存,8核
  • 驅動程序類型:Standard_DS5_V2 56 gb內存,16個核心
  • 最小的工人:2和馬克斯工人:8
  • spark.databricks.io.cache。使真正的
  • spark.databricks.driver。disableScalaOutput真實
• 我筆記本電腦作為工作的一部分,為了使用集群工作。
• 我刪除了部分代碼的數據複製到現有的三角洲表來檢查問題不是在這部分,我仍有同樣的錯誤。
• 我有嚐試重新啟動集群,不要將它附加到我的筆記本。

你能幫我嗎?我不知道這個問題來自於集群配置或從那裏,因為幾天前我能夠運行筆記本沒有任何問題。

非常感謝,我期待著你。

[Lakshay]

嗨@Sara畜欄,當司機在內存壓力。很難告訴從所提供的信息是什麼導致司機受到內存壓力。但是這裏有一些選項你可以試試:

1. 設置spark.driver。maxResultSize = 6克(默認值是4 g。也嚐試運行將其設置為0,如果6克不工作)
2. 請確保你不是做收集操作大數據幀
3. 司機和工人的大小增加到一個更大的實例

[SaraCorralLou]

謝謝你的快速反應。

不幸的是,我已經試了所有你提到的變化但它仍然不工作。我也在你的網站上閱讀更多關於集群大小的建議(https://docs.www.eheci.com/clusters/cluster-config-best-practices.html)和我跟著他們(我試過小數量的工人,而是更大尺寸的),但結果仍然是同樣的錯誤。

這是我當前配置集群。

我也試圖采取的樣本隻有5條記錄(現在我們dataframe 5條記錄,而不是15.000.000)和令人驚訝的是我在這個錯誤後超過1 h30運行:

致命錯誤:Python的內核是反應遲鈍。

在原始dataframe的修改沒有問題,我得到了錯誤當我試著將數據複製到一個表(df.format(“δ”)。…)。

為了檢查是否問題是寫三角洲的表,我已經取代了一步顯示(df)(目前隻有5條記錄),我得到完全相同的錯誤。

知道接下來將會發生什麼嗎?

非常感謝你在先進。

[Lakshay · Accepted solution]

請設置這個配置spark.databricks.python.defaultPythonRepl pythonshell“致命錯誤:Python的內核是反應遲鈍的”錯誤。

然而,我希望我最初的問題。e”意外錯誤:火花驅動程序已經停止並重新啟動“不會得到解決。但是你可以試一試。

[Vidula_Khanna]

嗨@Sara畜欄

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!