這個問題是什麼?
我得到這個錯誤我每次運行python筆記本我在磚的回購。
背景
筆記本我在哪裏得到這個錯誤是一個筆記本,創建一個dataframe,最後一步是編寫dataframe三角洲表已經創建在磚。
dataframe創造了大約16000000條記錄。
在thenotebook我沒有任何顯示(),打印(),…命令,隻有建立這種dataframe通過其他dataframes創建。
這個筆記本相同數量的記錄工作幾天前,但是現在我得到錯誤。我一直在其他討論閱讀聊天和看到,可能是內存的問題,所以我已經采取了以下措施:
你能幫我嗎?我不知道這個問題來自於集群配置或從那裏,因為幾天前我能夠運行筆記本沒有任何問題。
非常感謝,我期待著你。
請設置這個配置spark.databricks.python.defaultPythonRepl pythonshell“致命錯誤:Python的內核是反應遲鈍的”錯誤。
然而,我希望我最初的問題。e”意外錯誤:火花驅動程序已經停止並重新啟動“不會得到解決。但是你可以試一試。
謝謝你的快速反應。
不幸的是,我已經試了所有你提到的變化但它仍然不工作。我也在你的網站上閱讀更多關於集群大小的建議(https://docs.www.eheci.com/clusters/cluster-config-best-practices.html)和我跟著他們(我試過小數量的工人,而是更大尺寸的),但結果仍然是同樣的錯誤。
這是我當前配置集群。
我也試圖采取的樣本隻有5條記錄(現在我們dataframe 5條記錄,而不是15.000.000)和令人驚訝的是我在這個錯誤後超過1 h30運行:
致命錯誤:Python的內核是反應遲鈍。
在原始dataframe的修改沒有問題,我得到了錯誤當我試著將數據複製到一個表(df.format(“δ”)。…)。
為了檢查是否問題是寫三角洲的表,我已經取代了一步顯示(df)(目前隻有5條記錄),我得到完全相同的錯誤。
知道接下來將會發生什麼嗎?
非常感謝你在先進。