致命錯誤:Python的內核是反應遲鈍

[Orianh]

嘿,夥計們,

我用petastorm培訓款,首先我將火花df make_spark_convertor物化數據集,然後打開一個讀者。

雖然我隻在開始訓練子集的數據沒問題,但每件事當我用所有數據集與Python 500批我的筆記本崩潰後的內核是反應遲鈍,你們知道這發生了什麼嗎?

我看到有點類似的問題,我已把線程轉儲,但沒有理解它。

除了我得到很多未來的警告petastorm pyarrow,知道如何避免所有這些警告嗎?

[230134年]

同樣的錯誤。這開始在筆記本電腦前幾天過去用於運行良好。現在,我無法完成一個筆記本。

我已經禁用幾乎所有輸出直播結果緩衝區,但問題依然存在。我剩下< 50行被記錄/打印。如果磚不能處理這樣一個最少的輸出,它不是一個可用的解決方案。

[230134年]

在我的例子中,這是一個內存的問題。不管是什麼原因,磚不適當提高MemoryError。所以你離開掛,必須弄明白自己。

[susodapop]

謝謝你分享你的發現。你怎麼確定這是一個“MemoryError”?

[230134年]

我打開終端向集群監控htop。我可以看到內存使用量上升,達到極限,進入交換,然後下降到基礎水平的同時FatalError長大。