用Apache風流編排Databricks作業

創建一個筆記本

這個例子使用了一個包含兩個單元格的筆記本:

• 第一個單元格包含Databricks實用程序文本小部件定義一個名為問候設置為默認值世界．

• 的值問候變量前綴為你好．

創建筆記本:

1. 轉到Databricks登錄頁並選擇創建空白筆記本，或按新在側欄中選擇筆記本．的創建筆記本對話框出現了。

2. 在創建筆記本對話，給你的筆記本起個名字，比如你好氣流．集默認的語言來Python．離開集群設置為默認值。您將在創建使用此筆記本的任務時配置集群。

3. 點擊創建．

4. 複製以下Python代碼並將其粘貼到筆記本的第一個單元格中。

   dbutils．小部件．文本（“問候”，“世界”，“問候”）問候＝dbutils．小部件．得到（“問候”）

5. 在第一個單元格下麵添加一個新單元格，並複製並粘貼以下Python代碼到新單元格中:

   打印（“你好{}＂．格式（問候）)

創造一個工作

1. 點擊工作流在側欄中。

2. 點擊．

   的任務選項卡將顯示創建任務對話框。

3. 取代為你的工作添加一個名字…你的工作名稱。

4. 在任務名稱字段，輸入任務的名稱，例如，greeting-task．

5. 在類型下拉,選擇筆記本．

6. 使用文件瀏覽器找到您創建的筆記本，單擊筆記本名稱，然後單擊確認．

7. 點擊添加下參數．在關鍵字段中,輸入問候．在價值字段中,輸入氣流用戶．

8. 點擊創建任務．

運行作業

如需立即運行作業，請單擊在右上角。控件，也可以運行作業運行標簽，點擊現在運行在活躍的運行表格

查看運行詳情

1. 單擊運行選擇並單擊查看詳細信息在活躍的運行表或已完成運行(過去60天)表格

2. 複製工作ID價值。此值用於從“氣流”觸發作業。

為氣流創建Databricks個人訪問令牌

氣流使用Databricks個人訪問令牌(PAT)連接到Databricks。看到個人訪問令牌查閱有關創建PAT的說明。

配置Databricks連接

氣流安裝包含Databricks的默認連接。要使用上麵創建的個人訪問令牌更新連接到您的工作區:

1. 在瀏覽器窗口中打開http://localhost:8080/connection/list/．

2. 下康涅狄格州ID,定位databricks_default然後點擊編輯記錄按鈕。

3. 中的值宿主字段的工作空間實例名稱您的Databricks部署。

4. 在額外的字段，輸入如下值:

   ｛“令牌”：“PERSONAL_ACCESS_TOKEN”｝

   取代PERSONAL_ACCESS_TOKEN使用Databricks個人訪問令牌。

創建一個新的氣流DAG

在Python文件中定義一個風流DAG。創建一個DAG來觸發示例筆記本作業:

1. 在文本編輯器或IDE中，創建一個名為databricks_dag.py其內容如下:

   從氣流進口DAG從airflow.providers.databricks.operators.databricks進口DatabricksRunNowOperator從airflow.utils.dates進口days_agodefault_args＝｛“主人”：“氣流”｝與DAG（“databricks_dag”，start_date＝days_ago（2)，schedule_interval＝沒有一個，default_args＝default_args）作為dag：opr_run_now＝DatabricksRunNowOperator（task_id＝“run_now”，databricks_conn_id＝“databricks_default”，job_id＝JOB_ID）

   取代JOB_ID使用之前保存的作業ID的值。

2. 將文件保存在氣流/無進取心的人目錄中。氣流自動讀取和安裝存儲在DAG文件氣流/無進取心的人．

在氣流中安裝並驗證DAG

要在氣流界麵中觸發和驗證DAG:

1. 在瀏覽器窗口中打開http://localhost:8080/home．氣流熟練的技藝屏幕上出現了。

2. 定位databricks_dag然後點擊暫停/ Unpause DAG切換以取消暫停DAG。

3. 觸發DAG通過點擊開始按鈕。

4. 中的運行運行列查看運行的狀態和詳細信息。