管理數據管道中的依賴關係

創建一個筆記本

下麵的例子使用了一個包含兩個單元格的筆記本:

• 第一個單元格包含一個Databricks實用程序文本小部件定義一個名為問候設置為默認值世界．

• 的值，第二個單元格打印問候變量前綴你好．

創建筆記本:

1. 進入Databricks登錄頁麵並選擇創建空白筆記本或者點擊創建在側邊欄中選擇筆記本從菜單中。的創建筆記本對話框出現了。

2. 在創建筆記本對話，給你的筆記本起一個名字，例如你好氣流．集默認的語言來Python．離開集群設置為默認值。您將在創建使用此筆記本的任務時配置集群。

3. 點擊創建．

4. 複製下麵的Python代碼並將其粘貼到筆記本的第一個單元格中。

   dbutils．小部件．文本（“問候”，“世界”，“問候”）問候＝dbutils．小部件．得到（“問候”）

5. 在第一個單元格下麵添加一個新單元格，複製並粘貼以下Python代碼到新單元格:

   打印（“你好{}＂．格式（問候）)

創建一個工作

1. 點擊工作流在側邊欄。

2. 點擊．

   的任務選項卡顯示創建任務對話框。

3. 取代為你的工作添加一個名字……寫上你的工作名稱。

4. 在任務名稱字段中，輸入任務的名稱，例如greeting-task．

5. 在類型下拉,選擇筆記本．

6. 使用文件瀏覽器找到您創建的筆記本，單擊筆記本名稱，然後單擊確認．

7. 點擊添加下參數．在關鍵字段中,輸入問候．在價值字段中,輸入氣流用戶．

8. 點擊創建任務．

運行作業

若要立即運行作業，請單擊在右上角。還可以通過單擊運行選項卡並單擊現在運行在活躍的運行表格

查看運行細節

1. 單擊運行選項卡並單擊查看詳細信息在活躍的運行表或已完成的測試(過去60天)表格

2. 複製工作ID價值。要從氣流觸發作業，需要這個值。

創建一個Databricks個人訪問令牌

氣流使用Databricks個人訪問令牌(PAT)連接到Databricks。看到個人訪問令牌查看創建PAT的說明。

配置數據連接

你的氣流安裝包含一個默認的Databricks連接。使用上麵創建的個人訪問令牌更新連接到您的工作空間:

1. 在瀏覽器窗口中打開http://localhost:8080/connection/list/．

2. 下康涅狄格州ID,定位databricks_default並單擊編輯記錄按鈕。

3. 替換宿主場的工作區實例名您的Databricks部署。

4. 在額外的字段，輸入以下值:

   ｛“令牌”：“PERSONAL_ACCESS_TOKEN”｝

   取代PERSONAL_ACCESS_TOKEN與您的Databricks個人訪問令牌。

創建一個新的DAG

你可以在Python文件中定義一個氣流DAG。創建一個DAG來觸發示例notebook任務:

1. 在文本編輯器或IDE中，創建一個名為databricks_dag.py具體內容如下:

   從氣流進口DAG從airflow.providers.databricks.operators.databricks進口DatabricksRunNowOperator從airflow.utils.dates進口days_agodefault_args＝｛“主人”：“氣流”｝與DAG（“databricks_dag”，start_date＝days_ago（2)，schedule_interval＝沒有一個，default_args＝default_args）作為dag：opr_run_now＝DatabricksRunNowOperator（task_id＝“run_now”，databricks_conn_id＝“databricks_default”，job_id＝JOB_ID）

   取代JOB_ID使用前麵保存的作業ID的值。

2. 保存文件到氣流/無進取心的人目錄中。中存儲的DAG文件，氣流自動讀取並安裝氣流/無進取心的人．

在氣流中安裝並驗證DAG

在氣流界麵中觸發和驗證DAG:

1. 在瀏覽器窗口中打開http://localhost:8080/home．氣流熟練的技藝屏幕上出現了。

2. 定位databricks_dag並單擊暫停/ Unpause DAG切換以取消暫停DAG。

3. 控件觸發DAG開始按鈕。

4. 點擊運行運行列來查看運行的狀態和詳細信息。