我如何定義和運行工作,執行腳本中複製一個定製的磚集裝箱嗎?

[Thijs]

你好,我們正在構建自定義數據磚容器(https://docs.www.eheci.com/clusters/custom-containers.html)。容器構建過程中我們也安裝依賴和python腳本源代碼。我們現在想要運行這些腳本的一些工作,理想也提供命令行參數。然而,當創造就業機會,沒有見過一個容器內引用的代碼?什麼好主意嗎?

[匿名]

@Thijs van den Berg:

創建在磚的工作時,你可以參考代碼容器內使用dbutils模塊。這裏有一個例子如何引用一個Python文件myscript.py位於/ opt / myapp目錄的容器:

導入操作係統dbutils.fs.cp(“文件:/ opt / myapp / myscript。py”、“dbfs: / mnt / my-mount-point myscript.py”)操作係統。係統(“python / dbfs / mnt / my-mount-point / myscript。py __arg1最長長度”)

在這個例子中,我們首先複製myscript.py文件從容器文件係統使用dbutils.fs.cp DBFS掛載點()方法。然後我們運行Python腳本使用os.system()方法並傳遞命令行參數。您還可以使用databricks-cli自動化創造就業和DBFS上傳的文件。這裏有一個例子:

磚fs cp / opt / myapp / myscript。py dbfs: / mnt / my-mount-point / myscript。py磚工作創造的名字“我的工作”——python-task“python / dbfs / mnt / my-mount-point / myscript。py __arg1最長長度”——max-retries 0

下麵的例子使用了databricks-cli複製myscript.py文件DBFS和Python,然後創建一個新的工作任務和命令行參數運行腳本。

我希望這可以幫助!讓我知道如果你有任何進一步的問題。

[Thijs]

由於@Suteja卡努裏人回答。我問的問題是關於調度/運行“工作”的腳本,駐留在容器中通過Web接口:Worksflows >工作>創建工作。

我們最後做的是我們的工作腳本打包成一個python模塊,pip安裝模塊到容器中。,讓我們創建一個類型的工作“Python輪”,然後使用包名和代碼入口點對點的工作我們在模塊內部的存儲容器。

[Vidula_Khanna]

嗨@Thijs van den Berg

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!