在磚使用Python輪工作

一條巨蟒是一種標準的方式打包和分發文件要求運行Python應用程序。使用Python輪任務時,您可以確保快速、可靠的安裝Python代碼在你的磚的工作。本文提供了一個示例創建一個Python車輪和工作運行應用程序打包在車輪。在本例中,您將:

  • 創建Python文件定義一個示例應用程序。

  • 包的示例文件到一個Python輪。

  • 創建一個工作運行Python輪。

  • 運行工作,查看結果。

在你開始之前

你需要完成這個示例如下:

  • Python3

  • Pythonsetuptool包。您可以使用皮普安裝這些包。例如,您可以運行下麵的命令來安裝這些包:

    pip安裝setuptools輪

步驟1:創建一個本地目錄的例子

創建一個本地目錄來保存示例代碼和生成的工件,例如,databricks_wheel_test

步驟2:創建Python腳本示例

以下Python示例是一個簡單的腳本,它讀取輸入參數和輸出參數。複製這個腳本並將其保存到一個路徑my_test_code / __main__.py在您在前麵步驟中創建的目錄。

”“”Python的入口點”“”進口sysdef主要():#這個方法將打印所提供的參數打印(“你好我函數”)打印(的參數:)打印(sysargv)如果__name__= =“__main__ ':主要()

步驟3:創建一個元數據文件包

以下文件包含元數據描述了包。保存到一個路徑my_test_code / __init__ . py在您在步驟1中創建的目錄。

__version__=“0.0.1”__author__=“磚”

步驟4:創建輪

Python工件轉換成一個輪子需要指定包元數據,如包名稱和入口點。下麵的腳本定義元數據。

請注意

entry_points這個腳本中定義用於磚工作流的運行方案。在每個值entry_points,之前的值=(在這個例子中,運行)是入口點的名稱,用於配置輪任務。

  1. 這個腳本保存在一個文件命名setup . py在根目錄中創建的步驟1:

setuptools進口設置,find_packages進口my_test_code設置(的名字=“my_test_package”,版本=my_test_code__version__,作者=my_test_code__author__,url=“//www.eheci.com”,author_email=“john.doe@www.eheci.com”,描述=“我的測試輪”,=find_packages(包括=(“my_test_code”]),entry_points={“group_1”:運行= my_test_code.__main__:主要的},install_requires=(“setuptools”])
  1. 改變成您在步驟1中創建的目錄,並運行以下命令代碼打包成輪分布:

    python3設置。py bdist_wheel

這個命令創建輪並保存dist / my_test_package-0.0.1-py3.none-any.whl文件在你的目錄。

第5步。創建一個磚工作運行的Python輪

  1. 去你的磚的著陸頁,做以下之一:

    • 在側邊欄中,單擊工作圖標工作流並點擊創建工作按鈕

    • 在側邊欄中,單擊新圖標並選擇工作從菜單中。

  2. 在任務出現在對話框任務選項卡中,取代添加一個名稱為你的工作…對你的工作名稱,例如,Python例子

  3. 任務名稱任務,輸入一個名稱,例如,python_wheel_task

  4. 類型中,選擇Python輪

  5. 包名,輸入my_test_package。包的名稱是分配到的值的名字變量setup . py腳本。

  6. 入口點,輸入運行。入口點是中指定的值之一entry_points收集的setup . py腳本。在這個例子中,運行是唯一的入口點的定義。

  7. 點擊添加依賴庫。在添加依賴庫對話框,在庫類型,點擊Python Whl。點擊下降WHL這裏並選擇my_test_package-0.0.1-py3-none-any.whl在步驟4中創建的文件。

  8. 點擊添加

  9. 參數中,選擇位置參數關鍵字參數進入每個參數的鍵和值。這兩個位置參數和關鍵字參數都作為命令行參數傳遞給Python輪任務。

    • 進入位置參數,輸入參數作為json格式的字符串數組,例如:["第一參數”、“第一值”、“第二參數”、“第二價值”)

    • 進入關鍵字參數,點擊+添加並輸入一個鍵和值。點擊+添加再一次輸入多個參數。

  10. 點擊保存任務

第六步:運行作業,查看工作運行的細節

點擊現在運行按鈕運行工作流。查看細節的運行,點擊查看運行觸發運行彈出或點擊鏈接開始時間列的運行工作運行視圖。

運行完成後,輸出顯示的輸出麵板,包括參數傳遞給任務。

下一個步驟

想要了解更多關於創建和運行數據磚工作,明白了創建和運行數據磚的工作