Python筆記本崩潰與“Python內核是反應遲鈍的”

[故事]

在使用Python的筆記本,在我的機器上它崩潰在同一點的錯誤“Python內核是反應遲鈍”和“Python程序退出,退出碼134 (SIGABRT:流產)。”但是沒有加調試問題的筆記本或磚集群的日誌輸出(和沒有內存峰值監測)。我能做些什麼來調試這個問題?

[故事]

我確實注意到幾次日誌消息的日誌對內存分配失敗,所以我試著兩件事一是使用小dataframe(從200 k行10 k)和第二個是優化使用熊貓並沒有幫助。周末一些搜索之後,我發現,防止崩潰中添加以下行:

logging.getLogger (“py4j”).setLevel (logging.ERROR)
logging.getLogger (“py4j.java_gateway”).setLevel (logging.ERROR)

我也已經成功地運行,筆記本在我的個人電腦32 gb和磚司機是一個“m5d。4超大“64 gb。

我更喜歡一種更簡潔的解決方案離岸金融中心,所以鑒於這種伯父的方向仍然是最有可能的一個?

[shan_chandra]

@TalY——你能請讓我們知道DBR版本用於運行嗎?請嚐試DBR 12.2 LTS或以上。

為了調試這個問題,將會有一個hs_err_pid。日誌文件JVM提供的有問題的細節在“python內核沒有響應”錯誤堆棧跟蹤。

[故事]

我使用下麵的DBR12.2 LTS(包括Apache火花3.3.2,Scala 2.12)。

致命錯誤:Python內核是反應遲鈍。

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Python程序退出,退出碼134 (SIGABRT:流產)。 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 過程的最後10 KB的stderr和stdout下麵可以找到。看到司機日誌完全日誌。 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 最後上stderr消息: 星期二2023年8月1 18:02:57連接從PID 2632火花 星期二2023年8月1 18:02:57網關初始化在端口45165上 星期二2023年8月1 18:02:57連接到火花。 [IPKernelApp]警告|沒有這樣的通訊:LSP_COMM_ID [IPKernelApp]警告|沒有這樣的通訊:LSP_COMM_ID [IPKernelApp]警告|沒有這樣的通訊:LSP_COMM_ID (2023-08-01 18:06:22,007][信息]收到命令對象id p0 c (2023-08-01 18:06:22,030][信息]收到命令對象id p0 c

和:

去年在stdout消息:注意:當使用ipython內核的入口點,ctrl - c不會工作。退出,您必須顯式地放棄這個過程,通過發送“退出”從客戶機,或者使用Ctrl - \類unix環境。閱讀更多關於這個,明白了https://github.com/ipython/ipython/issues/2049

這些日誌行讓我的方向改變日誌級別