取消
顯示的結果
而不是尋找
你的意思是:

Python筆記本崩潰與“Python內核是反應遲鈍的”

故事
新的貢獻者二世

在使用Python的筆記本,在我的機器上它崩潰在同一點的錯誤“Python內核是反應遲鈍”和“Python程序退出,退出碼134 (SIGABRT:流產)。”但是沒有加調試問題的筆記本或磚集群的日誌輸出(和沒有內存峰值監測)。我能做些什麼來調試這個問題?

7回複7

Kaniz
社區經理
社區經理

@TalY,

•對Python的筆記本崩潰調試故障排除步驟:
——檢查最近的代碼更改或更新,可能導致了這個問題。
——尋找大熊貓或收集的操作可能會導致記憶問題。
-監控內存使用的司機在一個交互式節點集群。
——檢查代碼並檢查是否數據集大小超過可用的驅動程序內存集群的工作。
——考慮ADF管道的可能性引發現貨實例的筆記本並檢查問題。
——看一堆轉儲司機和分析它的內存泄漏或過度的內存使用。
•檢查筆記本代碼、集群配置和最近的變化來確定問題的根源。
•接觸磚如果問題持續的支持。
•來源:
- - - - - -https://docs.www.eheci.com/languages/pandas-spark.html
- - - - - -//www.eheci.com/blog/2020/03/31/10-minutes-from-pandas-to-koalas-on-apache-spark.html

故事
新的貢獻者二世

我一直在使用Ganglia UI但是我沒有看到內存耗盡,監控內存使用的是正確的方法嗎?有更多的選擇嗎?

Kaniz
社區經理
社區經理
@TalY, 監控內存使用的驅動節點在集群互動,檢查CPU、內存、磁盤I / O和網絡I / O利用率指標。
•使用Ganglia檢查集群健康和下載日誌火花故障排除。
•使堆轉儲捕獲內存的Java進程的快照。
•使用提供的代碼,使堆轉儲。
•一旦代碼運行時,一個名叫databricks_debug_script_collect_driver_stats . sh文件。sh提供路徑下創建。
•這個腳本指向集群init腳本參數並重新啟動集群。
•驅動堆轉儲生成指定路徑的監測和診斷內存使用的驅動節點集群互動。

sean_owen
尊敬的貢獻者二世
尊敬的貢獻者二世

這幾乎是肯定伯父。是的你使用集群中的指標選項卡界麵看到內存使用。然而,你可能沒有觀察內存使用量高伯父,也許之前分配大量的內存。

我認為這些問題都是可解決的90%的代碼檢查。一步失敗了呢?是司機拉很多東西嗎?你分配一個巨大的數據集嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map