磚運行的細胞,但停止輸出,然後掛起。

[ThomasKastl]

tl;博士:單元執行純粹的頭節點停止打印輸出執行期間,但輸出仍然出現在集群日誌。執行細胞後,磚不注意細胞完成和卡住。當試圖取消,磚卡住,我們需要“明確的狀態”。

長版:

我們使用tsfresh庫(https://github.com/blue-yonder/tsfresh)在磚頭節點(無火花- Python)。在大多數運行時,筆記本電池的輸出僅僅停止,而細胞仍在執行。這意味著筆記本本身,沒有新的輸出顯示,即使細胞保持在後台運行。我們知道這個,因為這個細胞生成的文件還在寫,而且,在集群- >驅動程序日誌,輸出不斷出現。

這本身就不會是一個問題,然而,磚並不曾意識到細胞完成——這意味著接下來的細胞不會被執行。同時,細胞不能取消常規的方式,我們需要明確的狀態,意味著失去所有計算結果還沒有被寫出來。簡單地取消卡住。

這發生在運行時7.3 LTS,我們改用10.4 LTS現在仍存在的問題。我們嚐試不同的頭節點大小,有時卡住早,有時後,行為並不是一致的。我們推測這與tsfresh如何處理多任務,但問題似乎發生即使我們關閉多任務。

在本地版本的Python筆記本,這永遠不會發生,我們假定它是一個問題/缺陷與磚本身。

任何指針,我們可以試著/我們如何得到接觸磚的人來檢查呢?

[werners1]

我´d打開一張@磚的支持(可能要通過你的雲提供商)。

[Hubert_Dudek1]

作為圖書館工作在熊貓問題可以,它不支持大熊貓火花。在本地的版本,您可能使用運作熊貓。您可以檢查行為之間切換:

熊貓作為pd導入導入pyspark。熊貓作為pd

[ThomasKastl]

你的意思是,它使用火花即使我不告訴它,不知怎麼認識嗎?因為我沒有使用火花,我用相同的代碼在當地,當我檢查火花在磚機的工作沒有什麼(我期望……)。

我使用磚基本上為“本地”的機器,我可以快速部署在雲端,我不打算使用任何火花/集群功能……

[werners1 · Accepted solution]

它不會使用火花,除非你叫火花函數(將自動創建一個sparkcontext雖然)。

也許你可以嚐試使用iPython內核。11.0從磚是python的默認內核工作負載,所以我試試。