我新磚和pyspark。使用pycharm IDE構建pyspark應用程序。我已經測試了代碼在地方和想從IDE運行在集群磚本身。dbx文檔後,能夠成功地運行一個python文件。然而,我有一些定製的python模塊開發和調用某些函數的模塊在主python文件。在這種情況下我獲得模塊沒有找到錯誤。有人能幫助我嗎?
下麵是我的python項目結構
磚
應用程序
test.py
__init__ . py
跑龍套
GenericUtils. py
__init__ . py
__init__ . py
GenericUtils導入我的主python文件是哪一個test.py下麵是錯誤
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
運行入口點文件[dbx][2022-12-11 21:23:08.580]執行失敗,請按給定的誤差
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
ModuleNotFoundError回溯(最近調用最後)
<命令——1 >在<模塊>
從pyspark 1。sql進口SparkSession
- - - - - > 2 databricks.utils進口。GenericUtils作為GenUt
3
4 = SparkSession \火花
5 .builder \
/磚/ python_shell / dbruntime / PythonPackageImportsInstrumentation / __init__。py import_patch(名稱、全局當地人,fromlist,級別)
165 #進口所需的模塊。如果你看到這個調試失敗的導入,
166 #看看前麵的堆棧幀相關的錯誤信息。
- - > 167 original_result = python_builtin_import(名稱、全局當地人,fromlist,級別)
168年
169 is_root_import = thread_local。_nest_level = = 1
ModuleNotFoundError:沒有模塊命名“databricks.utils”
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
下麵是deployment.yaml
構建:
no_build:真
環境:
默認值:
工作流程:
名稱:“dbx-demo-job”
spark_python_task:
python_file:“文件:/ / src /磚/應用程序/ test.py”
下麵是使用dbx命令
dbx執行——cluster-id < cluster_id > dbx-demo-job——沒有包調試
