Pyspark工作運行Python的蛋包磚上使用火花提交

[ItsMe]

錯誤:缺少應用程序資源

讓這個錯誤在運行火花提交的工作。我給以下參數在創建工作:

- - - conf / python3 spark.yarn.appMasterEnv.PYSAPRK_PYTHON =磚/路徑

——py-files dbfs /道路/ /。蛋job_main.py

以上給定適當按期望由磚火花提交語法。

誰能請讓我知道如果有任何缺失的同時給予火花提交參數嗎?

[Kaniz]

你好@Dhananjay!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[User16752246494]

嗨@D M,

美好的一天。

你能請嚐試嗎

——py-files / dbfs /道路/ /。蛋job_main.py

以上將調用保險絲司機。

如果spark-submit仍然失敗,請提供完整的堆棧跟蹤嗎?

[User16752246494 · Accepted solution]

你好,

我們嚐試一個模擬的問題,我們所做的就是打包一個模塊內部whl文件。

現在訪問test_whl_locally.py輪文件我們創建另一個python文件。test_whl_locally內部。py訪問輪的內容文件首先你必須給予你想要的模塊或類來訪問

從< wheelpackagedirname > #語法#。<模塊>進口<類名> # refVar = <類名>()#的例子:從somewhlpackage。moduleTwo.print module_two進口ModuleTwo ModuleTwo = ModuleTwo () ()

現在上傳兩輪包在你的情況下,將雞蛋和調用python文件(在我們的例子中是test_whl_locally。py但在你的情況中,它是dbfs job_main.py)。一旦完成配置spark-submit。

["——py-files”、“dbfs: / FileStore /表/ whls / somewhlpackage-1.0.0-py3-none-any.whl”、“dbfs: / FileStore /表/ whls / test_whl_locally.py”)

如果你仔細看我們提供了——py-files dbfs的完全限定路徑。所以當py-files運行它將安裝輪子文件/蛋文件在它創建的虛擬環境。

[ItsMe]

非常感謝以上調查這個問題並提供解決方案但我預期的情況是在我想讀的主要功能從. zip . py文件包(包括py文件)的數量。你能告訴我如何通過主要功能python文件或它將如何引用?