數據管道管理依賴性

創建一個筆記本

這個例子使用一個筆記本,其中包含兩個單元:

• 第一個單元格包含一個磚實用程序的文本小部件定義一個變量命名問候設置為默認值世界。

• 第二個單元格打印的值問候變量的前綴你好。

創建筆記本:

1. 去你的磚著陸頁麵並選擇創建空白筆記本或者點擊創建在側邊欄並選擇筆記本從菜單中。的創建筆記本對話框出現了。

2. 在創建筆記本對話框中,給你的筆記本一個名字,例如你好氣流。集默認的語言來Python。離開集群設置為默認值。您將配置集群創建任務時使用這個筆記本。

3. 點擊創建。

4. 複製下麵的Python代碼粘貼到第一個單元格的筆記本。

   dbutils。小部件。文本(“問候”,“世界”,“問候”)問候=dbutils。小部件。得到(“問候”)

5. 添加一個新的細胞低於第一個單元格和下麵的Python代碼複製並粘貼到新的細胞:

   打印(“你好{}”。格式(問候))

創建一個工作

1. 點擊工作流在側邊欄。

2. 點擊。

   的任務選項卡顯示了創建任務對話框。

3. 取代添加一個名稱為你的工作…對你的工作名稱。

4. 在任務名稱字段中,輸入任務的名稱,例如,greeting-task。

5. 在類型下拉,選擇筆記本。

6. 使用文件瀏覽器來找到您創建的筆記本,點擊筆記本名稱,點擊確認。

7. 點擊添加下參數。在關鍵字段中,輸入問候。在價值字段中,輸入氣流用戶。

8. 點擊創建任務。

運行作業

立即運行任務,點擊在右上角。您還可以通過單擊運行工作運行選項卡並單擊現在運行在活躍的運行表。

查看運行細節

1. 單擊運行選項卡並單擊查看詳細信息在活躍的運行表或完成運行60天(過去)表。

2. 複製工作ID價值。這個值需要觸發工作從氣流。

創建一個磚個人訪問令牌

氣流連接使用磚磚個人訪問令牌(PAT)。看到個人訪問令牌為創建一個帕特的說明。

配置一個磚連接

磚的氣流安裝包含一個默認的連接。更新連接連接到您的工作空間中使用上麵創建的個人訪問令牌:

1. 在一個瀏覽器窗口,打開http://localhost: 8080 /聯係/清單/。

2. 下康涅狄格州ID,定位databricks_default並單擊編輯記錄按鈕。

3. 取代的價值主機場的工作區實例名你的磚部署。

4. 在額外的字段中,輸入下列值:

   {“令牌”:“PERSONAL_ACCESS_TOKEN”}

   取代PERSONAL_ACCESS_TOKEN與你的磚個人訪問令牌。

創建一個新的DAG

你在一個Python文件定義一個氣流DAG。創建一個DAG觸發的例子筆記本工作:

1. 在文本編輯器中或者IDE,創建一個新文件命名databricks_dag.py用下麵的內容:

   從氣流進口DAG從airflow.providers.databricks.operators.databricks進口DatabricksRunNowOperator從airflow.utils.dates進口days_agodefault_args={“主人”:“氣流”}與DAG(“databricks_dag”,start_date=days_ago(2),schedule_interval=沒有一個,default_args=default_args)作為dag:opr_run_now=DatabricksRunNowOperator(task_id=“run_now”,databricks_conn_id=“databricks_default”,job_id=JOB_ID)

   取代JOB_ID早些時候與工作ID的值保存。

2. 保存文件氣流/無進取心的人目錄中。氣流自動讀取和安裝DAG文件存儲在氣流/無進取心的人。

安裝和驗證DAG的氣流

觸發並驗證的DAG氣流界麵:

1. 在一個瀏覽器窗口,打開http://localhost: 8080 / home。氣流熟練的技藝屏幕上出現了。

2. 定位databricks_dag並單擊暫停/ Unpause DAG切換unpause DAG。

3. 觸發DAG點擊開始按鈕。

4. 點擊運行運行列視圖狀態和運行的細節。