致命錯誤:Python的內核是反應遲鈍。

[Data_Analytics1]

我在這項工作中使用多流創建8並行工作。失敗的一天幾次,有時陷入任何Python筆記本電池的過程。在這裏

Python程序退出一個未知的退出代碼。

過程的最後10 KB的stderr和stdout下麵可以找到。看到司機日誌完全日誌。

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

最後上stderr消息:

星期二2023年2月7日17:10:18連接從PID 24461火花

2023年2月7日17:10:18星期二在端口34499上網關初始化

2023年2月7日17:10:19星期二與火花。

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

最後在stdout消息:

注意:當使用ipython內核的入口點,ctrl - c將不會工作。

退出,您必須顯式地放棄這個過程,通過發送

“退出”從客戶機,或者使用Ctrl - \類unix環境。

閱讀更多關於這個,明白了https://github.com/ipython/ipython/issues/2049

[deedstoke]

我們也麵臨著同樣的問題。

[luis_herrera]

反應遲鈍的Python筆記本或取消命令的原因可能是“致命錯誤:Python的內核是反應遲鈍。”This can be caused by a number of problems, such as metastore connectivity issues or conflicting libraries. To troubleshoot this issue, you can check for metastore connectivity and review the Cluster cancels Python command execution due to library conflict KB article for more information:

https://kb.www.eheci.com/python-command-cancelled

[luis_herrera]

嘿,看來這個問題與司機進行內存瓶頸,導致它崩潰的內存(伯父)條件,重新啟動或無法響應,由於頻繁的完整的垃圾收集。內存瓶頸的原因,其中包括,1)的驅動程序實例類型不是最優加載驅動程序上執行的,2)有內存密集型操作上執行驅動程序,或許多筆記本或工作在同一集群並行運行。從案件解決方案各不相同,但最簡單的方法解決問題缺乏具體細節是提高司機的記憶。其他需要考慮的幾點因素包括避免內存密集型操作,比如收集()操作符,這給司機帶來大量數據,轉換一個大型DataFrame熊貓,共享互動集群上運行批處理作業。還建議將工作負載分發到不同的集群。(https://kb.www.eheci.com/jobs/driver-unavailable)

有關故障診斷的更多信息反應遲鈍的Python筆記本或取消命令,請參考故障排除反應遲鈍的Python筆記本或取消命令條磚的文檔。

PS:檢查# DAIS2023會談