創建、運行和管理數據磚的工作

創建一個工作

1. 做下列之一:

   • 點擊工作流在側邊欄,然後單擊。

   • 在側邊欄中,單擊新並選擇工作。

   的任務選項卡創建任務對話框出現。

   

2. 取代添加一個名稱為你的工作…對你的工作名稱。

3. 輸入一個名稱的任務任務名稱字段。

4. 在類型下拉菜單中,選擇任務運行的類型。看到任務類型的選擇。

5. 配置任務運行的集群。在集群下拉菜單,選擇新工作的集群或現有通用的集群。

   • 新工作的集群:點擊編輯在集群下拉菜單並完成集群配置。

   • 現有通用的集群:選擇一個現有的集群中集群下拉菜單。在新頁麵中打開集群,單擊圖標右邊的集群名稱和描述。

   了解更多關於選擇和配置集群運行任務,明白了集群配置建議。

6. 添加依賴庫,點擊+添加旁邊依賴庫。看到依賴庫。

7. 你可以為你的任務傳遞參數。每個任務類型有不同的要求,格式和傳遞參數。

   • 筆記本:點擊添加並指定每個參數的鍵和值傳遞給任務。你可以覆蓋或添加額外的參數手動運行一個任務使用用不同的參數運行工作選擇。參數設置的值筆記本電腦部件指定的關鍵參數。使用任務參數變量通過一組有限的動態值作為參數值的一部分。

   • JAR:使用json格式的字符串來指定參數的數組。這些字符串作為參數傳遞給主類的主要方法。看到配置罐的工作參數。

   • 火花提交任務:參數指定為一個json格式的字符串數組。符合Apache火花spark-submit慣例,參數在JAR的路徑傳遞給主類的主要方法。

   • Python腳本:使用json格式的字符串來指定參數的數組。這些字符串作為參數傳遞,可以解析使用argparse在Python模塊。

   • Python輪:在參數下拉菜單,選擇位置參數輸入參數作為json格式的字符串數組,或選擇關鍵字參數>添加進入每個參數的鍵和值。這兩個位置參數和關鍵字參數都作為命令行參數傳遞給Python輪任務。

8. 為任務開始有選擇地接收通知,成功,或失敗,點擊+添加旁邊電子郵件。通知發送初始任務失敗和任何後續重試。

9. 可選配置重試策略的任務,點擊+添加旁邊重試。看到重試。

10. 可選配置的超時任務,點擊+添加旁邊在幾秒鍾內超時。看到超時。

11. 點擊創建。

創建第一個任務後,您可以配置工作水平設置,如通知、工作觸發器和權限。看到編輯的工作。

添加另一個任務,點擊在DAG視圖中。一個共享的集群選項如果您配置了一個提供新工作的集群前一個任務。您還可以配置一個集群為每個任務當您創建或編輯一個任務。了解更多關於選擇和配置集群運行任務,明白了集群配置建議。

任務類型的選擇

以下是可以添加到你的磚工作任務類型和可用的選項不同的任務類型:

• 筆記本:在源下拉菜單,選擇一個筆記本的位置;要麼工作空間對於一個筆記本或位於一個磚工作區文件夾Git提供者筆記本位於一個偏遠的Git存儲庫。

  工作空間:使用文件瀏覽器找到筆記本,點擊筆記本名稱,點擊確認。

  Git提供者:點擊編輯並輸入Git存儲庫信息。看到用筆記本從遠程Git存儲庫。

• JAR:指定主類。使用類的完全限定名稱包含的主要方法,例如,org.apache.spark.examples.SparkPi。然後單擊添加下依賴庫添加庫才能運行這個任務。這些庫必須包含主類之一。

  了解更多關於JAR任務,明白了JAR的工作。

• 火花提交:在參數文本框,指定主類,庫JAR的路徑,和所有參數,格式化為JSON字符串的數組。下麵的示例配置spark-submit任務運行DFSReadWriteTest從Apache火花的例子:

  (”——階級”,“org.apache.spark.examples.DFSReadWriteTest”,“dbfs: / FileStore /圖書館/ spark_examples_2_12_3_1_1.jar”,“/ dbfs / databricks-datasets / README.md”,“/ FileStore / /輸出例子/”]

  重要的

  有幾個限製spark-submit任務:

  • 您可以運行spark-submit任務隻有在新的集群。

  • Spark-submit不支持集群自動定量。學習更多關於自動定量,明白了集群自動定量。

  • Spark-submit不支持磚公用事業。使用磚工具,使用JAR任務。

  • 如果您使用的是統一Catalog-enabled集群,支持spark-submit隻有集群使用單用戶訪問模式。不支持共享訪問模式。

• Python腳本:在源下拉,選擇一個Python腳本的位置工作空間腳本在本地工作區,或DBFS / S3一個腳本位於DBFS和雲存儲。在路徑文本框中,輸入Python腳本的路徑:

  工作空間:在選擇Python文件並單擊對話框中,瀏覽到Python腳本確認。必須在您的腳本磚回購。

  DBFS:輸入一個Python腳本的URI DBFS和雲存儲;例如,dbfs: / FileStore / myscript.py。

  Git提供者:點擊編輯並輸入Git存儲庫信息。看到使用Python代碼從一個遠程Git存儲庫。

• 三角洲生活表管道:在管道下拉菜單,選擇一個已存在的三角洲生活表管道。

  重要的

  你隻可以使用管道的觸發管道的任務。不支持連續管道的工作任務。更多地了解和連續管道引起的,看到的連續與管道執行觸發。

• Python輪:在包名文本框,輸入包導入,例如,mywheel - 1.0 - py2.py3 any.whl——沒有。在入口點文本框中,輸入函數調用時開始。點擊添加下依賴庫添加庫才能運行這個任務。

• SQL:在SQL任務下拉菜單,選擇查詢,指示板,或警報。

  請注意

  • 的SQL任務是在公共預覽。

  • 的SQLSQL和任務需要磚serverless或支持SQL倉庫。

  查詢:在SQL查詢下拉菜單中,選擇查詢時所執行的任務。在SQL倉庫下拉菜單,選擇一個serverless或支持SQL倉庫運行的任務。

  指示板:在SQL儀表板下拉菜單,選擇一個儀表盤更新任務運行時。在SQL倉庫下拉菜單,選擇一個serverless或支持SQL倉庫運行的任務。

  警報:在SQL警告下拉菜單中,選擇警報觸發進行評估。在SQL倉庫下拉菜單,選擇一個serverless或支持SQL倉庫運行的任務。

• 印度生物技術部:看在磚使用印度生物技術部轉換工作對於一個詳細示例如何配置一個印度生物技術部的任務。

運行工作

1. 點擊工作流在側邊欄。

2. 選擇一份工作並單擊運行選項卡。您可以運行工作運行後立即或調度的工作。

如果一個或多個任務的工作與多個任務不成功,您可以重新運行失敗的任務的一部分。看到重新運行失敗,跳過任務。

當得到新的文件運行工作

觸發工作運行當新的文件到一個外部位置,使用文件到達觸發。

視圖的工作

點擊工作流在側邊欄。工作列表中出現。定義的工作頁麵列出了所有工作,集群定義,計劃,如果有的話,和最後一次運行的結果。

您可以過濾工作的工作列表:

• 使用關鍵字。如果你有增加就業限製功能支持該工作區,隻支持通過關鍵詞搜索的名稱、ID、工作和工作標記字段。

• 隻選擇你自己的工作。

• 選擇所有工作你有權限訪問。這種過濾要求工作訪問控製啟用。

• 使用標簽。尋找一個標簽創建隻有一個鍵,在搜索框輸入的關鍵。搜索鍵和值創建一個標簽,你可以搜索鍵,值,或鍵和值。例如,對於一個標簽的關鍵部門和價值金融,你可以搜索部門或金融找到匹配的工作。搜索的鍵和值,輸入鍵和值冒號隔開;例如,部門:財務。

您也可以點擊任意列標題進行排序的列表工作(上升或下降)這一列。增加就業限製功能啟用時,你可以隻的名字,工作ID,或創建通過。默認排序的名字以升序排序。

查看運行工作

您可以查看當前運行的列表和最近完成了工作你可以訪問,包括運行開始由外部編製工具,如Apache氣流或Azure數據工廠。查看最近的工作列表:

1. 點擊工作流在側邊欄。

2. 在的名字列,單擊工作名稱。的運行標簽出現的矩陣和列表視圖積極運行和運行完成。

矩陣視圖顯示運行的曆史工作,包括每個工作任務。

的運行總時間矩陣的行顯示的總運行時間和運行的狀態。查看運行的詳細信息,包括開始時間、持續時間、和地位,懸停在酒吧運行總時間行。

每個單元的任務行代表一個任務和相應的任務的狀態。查看每個任務的細節,包括開始時間、持續時間、集群和地位,懸停在細胞上的任務。

工作和任務跑酒吧的顏色表示的狀態運行。成功的運行是綠色的,不成功的運行是紅色的,和跳過運行是粉紅色的。個人工作的高度和任務跑酒吧提供了一個視覺指示的運行時間。

運行列表視圖顯示:

• 的開始時間。

• 運行標識符。

• 運行是否觸發的工作安排或一個API請求,或手動開始。

• 當前運行的時間工作,或者一個完整運行的總運行時間。

• 火花日誌的鏈接。

• 運行的狀態等待,運行,跳過,成功,失敗的,終止,終止,內部錯誤,定時出,取消了,取消,或等待為重試。

改變列顯示在列表視圖,點擊列並選擇或取消選擇列。

查看細節的工作運行的運行,點擊鏈接開始時間列在列表視圖。查看最近的成功運行的細節工作,點擊去最近的成功運行。

磚保持你的工作運行的曆史長達60天。如果你需要保持工作運行時,磚之前建議您導出結果的有效期。有關更多信息,請參見視圖血統信息工作。

查看工作運行細節

工作運行細節頁麵包含工作產出和日誌的鏈接,包括每個任務的成功或失敗的信息工作中運行。你可以訪問工作運行的細節運行選項卡。查看工作運行的細節運行選項卡中,單擊該鏈接的運行開始時間列在列表視圖。回到運行點擊選項卡的工作工作ID價值。

如果工作包含多個任務,點擊任務查看任務運行細節,包括:

• 集群的任務

  • 任務的火花UI

  • 日誌的任務

  • 指標的任務

單擊工作ID返回值運行選項卡。

查看最近的工作運行

您可以查看當前的運行在一個工作區和最近完成了運行工作訪問,包括運行開始由外部編製工具,如Apache氣流或Azure數據工廠。查看最近的工作列表:

1. 點擊工作流在側邊欄。工作列表中出現。

2. 單擊工作運行選項卡顯示工作列表。

的工作運行列表顯示:

• 的開始時間。

  • 的名字與運行相關的工作。

  • 工作運行的用戶名。

  • 運行是否觸發的工作安排或一個API請求,或手動開始。

  • 當前運行的時間工作,或者一個完整運行的總運行時間。

  • 運行的狀態等待,運行,跳過,成功,失敗的,終止,終止,內部錯誤,定時出,取消了,取消,或等待為重試。

  • 任何參數的運行。

查看工作運行細節,單擊鏈接開始時間列的運行。查看工作細節,單擊工作名稱工作列。

視圖血統信息工作

如果啟用了統一目錄在您的工作空間,您可以查看血統信息對於任何統一編目表中您的工作流。如果血統信息可供您的工作流,您將會看到一個鏈接中的上遊和下遊的計算表工作細節你的工作小組,工作運行細節小組工作運行,或任務運行細節麵板為任務運行。點擊鏈接來顯示表的列表。單擊表查看詳細信息數據瀏覽。

出口工作運行結果

您可以導出筆記本運行結果對所有工作類型和工作運行日誌。

編輯的工作

一些配置選項是可用的工作,個人和其他選項可用任務。例如,可以設置最大並發運行的工作,同時為每個任務參數必須定義。

改變配置工作:

1. 點擊工作流在側邊欄。

2. 在的名字列,單擊工作名稱。

側板顯示工作細節。你可以改變引發了工作,集群配置,通知並發運行的最大數量,添加或更改標簽。如果工作訪問控製啟用,您還可以編輯的工作權限。

編輯一個任務

設置任務配置選項:

1. 點擊工作流在側邊欄。

2. 在的名字列,單擊工作名稱。

3. 單擊任務選項卡。

任務依賴關係

您可以定義的順序執行的任務的工作使用取決於下拉菜單。你可以設置這個字段中的一個或多個任務的工作。

請注意

取決於如果工作不可見隻包含一個任務。

配置任務依賴關係創建一個有向無環圖(DAG)的任務執行,代表執行順序的一種常見方法作業調度器。例如,考慮以下四個任務組成的工作:

• 任務1根,不依賴於任何其他任務。

• Task 2和Task 3取決於任務1完成。

• 最後,Task 4取決於Task 2和Task 3成功完成。

磚上遊運行任務在運行下遊任務之前,盡可能多的在並行運行。下麵的圖表說明了處理這些任務的順序:

{“MyJobID”:“我的工作- {{job_id}}”}

克隆一個工作

您可以快速創建一個新的工作通過克隆現有工作。克隆的工作創造了一個相同的拷貝工作,除了ID的工作。在工作的頁麵中,點擊更多的…旁邊的名字並選擇的工作克隆從下拉菜單中。

克隆一個任務

你可以快速創建一個新的任務通過克隆現有的任務:

1. 在工作的頁麵中,單擊任務選項卡。

2. 克隆選擇任務。

3. 點擊並選擇克隆的任務。

刪除一個工作

刪除一個工作,在工作的頁麵中,點擊更多的…旁邊的名字並選擇的工作刪除從下拉菜單中。

刪除一個任務

刪除一個任務:

1. 單擊任務選項卡。

2. 選擇要刪除的任務。

3. 點擊並選擇刪除任務。

複製一個任務路徑

複製路徑的任務,例如,一個筆記本路徑:

1. 單擊任務選項卡。

2. 選擇包含路徑複製的任務。

3. 點擊接下來的任務路徑複製路徑到剪貼板。

最佳實踐

瓦爾goodSparkContext=SparkContext。getOrCreate()瓦爾goodSparkSession=SparkSession。構建器()。getOrCreate()

試一試{jobBody()}最後{jobCleanup()}

瓦爾cleanupThread=新線程{覆蓋def運行=jobCleanup()}運行時。getRuntime。addShutdownHook(cleanupThread)

% sh ls /磚/ jar

<依賴>< groupId >org.apache.spark< / groupId >< artifactId >spark-core_2.11< / artifactId ><版本>tripwire> < /版本<範圍>提供< / >範圍< / >的依賴<依賴>< groupId >org.apache.hadoop< / groupId >< artifactId >hadoop核心< / artifactId ><版本>1.2.1 "> < /版本<範圍>提供< / >範圍< / >的依賴

libraryDependencies+ =“org.apache.spark”% %“spark-core”%“tripwire”%“提供”libraryDependencies+ =“org.apache.hadoop”% %“hadoop核心”%“1.2.1”%“提供”