錯誤:缺少應用程序資源
讓這個錯誤在運行火花提交的工作。我給以下參數在創建工作:
- - - conf / python3 spark.yarn.appMasterEnv.PYSAPRK_PYTHON =磚/路徑
——py-files dbfs /道路/ /。蛋job_main.py
以上給定適當按期望由磚火花提交語法。
誰能請讓我知道如果有任何缺失的同時給予火花提交參數嗎?
你好,
我們嚐試一個模擬的問題,我們所做的就是打包一個模塊內部whl文件。
現在訪問test_whl_locally.py輪文件我們創建另一個python文件。test_whl_locally內部。py訪問輪的內容文件首先你必須給予你想要的模塊或類來訪問
從< wheelpackagedirname > #語法#。<模塊>進口<類名> # refVar = <類名>()#的例子:從somewhlpackage。moduleTwo.print module_two進口ModuleTwo ModuleTwo = ModuleTwo () ()
現在上傳兩輪包在你的情況下,將雞蛋和調用python文件(在我們的例子中是test_whl_locally。py但在你的情況中,它是dbfs job_main.py)。一旦完成配置spark-submit。
["——py-files”、“dbfs: / FileStore /表/ whls / somewhlpackage-1.0.0-py3-none-any.whl”、“dbfs: / FileStore /表/ whls / test_whl_locally.py”)
如果你仔細看我們提供了——py-files dbfs的完全限定路徑。所以當py-files運行它將安裝輪子文件/蛋文件在它創建的虛擬環境。
你好,
我們嚐試一個模擬的問題,我們所做的就是打包一個模塊內部whl文件。
現在訪問test_whl_locally.py輪文件我們創建另一個python文件。test_whl_locally內部。py訪問輪的內容文件首先你必須給予你想要的模塊或類來訪問
從< wheelpackagedirname > #語法#。<模塊>進口<類名> # refVar = <類名>()#的例子:從somewhlpackage。moduleTwo.print module_two進口ModuleTwo ModuleTwo = ModuleTwo () ()
現在上傳兩輪包在你的情況下,將雞蛋和調用python文件(在我們的例子中是test_whl_locally。py但在你的情況中,它是dbfs job_main.py)。一旦完成配置spark-submit。
["——py-files”、“dbfs: / FileStore /表/ whls / somewhlpackage-1.0.0-py3-none-any.whl”、“dbfs: / FileStore /表/ whls / test_whl_locally.py”)
如果你仔細看我們提供了——py-files dbfs的完全限定路徑。所以當py-files運行它將安裝輪子文件/蛋文件在它創建的虛擬環境。