教程:管道運行第一個三角洲住表
本教程向您展示了如何配置一個三角洲生活表數據管道從代碼在一個磚筆記本和觸發更新。提供的指令一般足以滿足大多數筆記本電腦正確地定義三角洲生活表的語法。
您可以使用這些指令安排按照創建筆記本Python或SQL三角洲住表教程,或導入和使用的一個筆記本電腦這個頁麵上提供。
您可以配置三角洲生活表管道使用磚和觸發更新工作區UI或自動化工具選項如API和CLI。磚建議首先熟悉各種用戶界麵,可用於生成JSON編程式執行配置文件。
重要的
開始一個管道,你必須有集群創建權限或訪問集群政策定義一個三角洲集群生活表。三角洲生活表運行時創建一個集群在它運行你的管道和失敗如果你沒有正確的權限。
要運行這個例子,請選擇
蜂巢metastore當您創建管道的存儲選項。因為這個例子從DBFS讀取數據,不能運行這個例子與管道配置為使用統一目錄存儲選項。
創建一個管道
三角洲生活表創建管道通過筆記本或文件中定義(稱為解決依賴關係源代碼或庫)使用三角洲住表的語法。每個源代碼文件隻能包含一個語言,但是你可以在管道中混合圖書館不同的語言。
點擊
工作流在側邊欄,單擊三角洲生活表選項卡,並單擊創建管道。給管道名稱並單擊
選擇一個筆記本。選擇觸發為管道模式。
(可選)輸入存儲位置輸出數據的管道。係統使用一個默認的位置如果你離開存儲位置空的。
(可選)指定一個目標模式發布你的蜂巢metastore或數據集目錄和一個目標模式發布您的數據到統一目錄。看到發布數據集。
(可選)單擊通知配置一個或多個電子郵件地址為管道接收通知事件。看到為管道添加郵件通知事件。
點擊創建。
工作流在側邊欄,單擊三角洲生活表選項卡,並單擊創建管道。
選擇一個筆記本。係統顯示管道的細節你點擊後頁麵創建。您還可以訪問您的管道中通過單擊管道名稱三角洲生活表選項卡。
開始一個管道更新
開始一個更新的管道,單擊
按鈕在頂部麵板。係統返回一個消息確認你的管道是開始。
成功啟動更新後,三角洲生活表係統:
開始一個集群使用一個集群配置由三角洲生活表係統。你也可以指定一個自定義的集群配置。
創建任何表,並確保不存在任何現有表的模式是正確的。
最新的數據更新表。
關閉集群更新完成後。
請注意
執行模式設置生產默認情況下,為每個更新部署短暫的計算資源。您可以使用發展模式改變這種行為,允許相同的計算資源被用於多個管道更新在開發和測試期間。看到開發和生產模式。
發布數據集
你可以三角洲生活表數據集用於查詢通過發布表蜂巢metastore或統一目錄。如果你不指定一個目標為發布數據,表三角洲生活中創建表管道隻能訪問其他操作在同一管道。看到從三角洲住表發布數據蜂巢metastore管道和使用統一的目錄與三角洲住表管道。
示例源代碼筆記本
可以導入這些筆記本到磚工作區和使用它們來部署一個三角洲的生活表管道。更多地了解使用的邏輯和語法在這些筆記本,看到的與Python教程:聲明一個數據管道三角洲生活表或教程:聲明一個數據管道使用SQL在三角洲住表。