@Ryoji Kuwae否決權:
使用檔案與conda環境參數數據磚,可以遵循以下步驟:
1)為你的項目創建一個conda環境和出口. tar。gz文件:
conda創建——名稱myenv conda激活myenv conda安裝<所需包> conda myenv.tar.gz包——輸出
2)上傳myenv.tar。gz文件數據磚工作區目錄或到雲存儲位置如AWS S3或Azure Blob存儲。
3)在引發應用程序代碼中,指定檔案myenv.tar參數與路徑。gz文件:
spark-submit——myenv.tar檔案。廣州# myenv my_script.py
在這裏,my_script。py是主要的火花應用程序的Python腳本。#分離器用於指定的名稱conda環境內部存檔。在這種情況下,環境的名字是
myenv。
4)在你主要的Python腳本,激活conda環境使用spark-submit命令行選項- conf spark.pyspark.python =。/ myenv / bin / Python:
導入子流程導入操作係統env_dir = "。/ myenv”操作係統。環境(“路徑”)= env_dir +操作係統。pathsep +操作係統。環境(“路徑”)subprocess.call ([’。/ myenv / bin / python ', ' my_script.py '])
這集Python解釋器使用conda環境運行的Python的二進製代碼。env_dir變量設置為conda環境的目錄打開的火花。環境的bin目錄添加到PATH環境變量,因此所需的包可以加載。
注意,如果你conda環境包含非python依賴性,如編譯的庫,您可能需要額外的配置參數包含在您的火花在運行時應用程序來確保他們正確加載。
同樣,如果你想包你的整個項目作為輪文件,你可以把它存檔以及conda環境。然後,在主Python腳本中,您可以導入所需模塊使用sys輪文件。路徑和importlib模塊。
