Pyspark抽樣與pytest失敗

[丹妮]

當我調用抽樣api pytest期間,似乎模塊”序列化器。py pyspark下“無法找到任何其他模塊。

我已經在互聯網上抬頭,似乎pyspark模塊不正確導入其他模塊。

我看到那些正在經曆一個類似的問題。

https://stackoverflow.com/questions/53863576/modulenotfounderror-because-pyspark-serializer-is-not-a..。

我試著做一個整體火花打包成一個zip文件並加載時創建一個會話使用火花addPyFile()方法,但不幸的是沒有用的。

任何人都可以幫我嗎?

[匿名]

@hyunho李:聽起來你遇到一個問題與PySpark序列化器無法找到與Pytest必要的模塊在測試期間。你可以試試,一個解決方案是設置PYTHONPATH環境

環境變量包括PySpark安裝運行Pytest前之路。這可以通過添加以下行到您的測試腳本在運行Pytest之前:

進口os操作係統。環境[' PYTHONPATH '] = ' /路徑/ / pyspark '

替換/道路/ / pyspark實際pyspark安裝目錄路徑。

你可以嚐試另一個解決方案就是使用PYSPARK_PYTHON環境變量來指定要使用的Python可執行PySpark。你可以設置這個變量使用的Python可執行安裝PySpark。例如:

進口os操作係統。環境[' PYSPARK_PYTHON '] = /道路/ / python的

替換/道路/ / python與實際python可執行路徑。

我希望這可以幫助!讓我知道如果你有任何進一步的問題。