創建、運行和管理Databricks作業

創造一個工作

1. 做以下其中一件事:

   • 點擊工作流在側欄中，單擊．

   • 在側欄中，單擊創建並選擇工作菜單上的。

   的任務選項卡將顯示創建任務對話框。

   

2. 取代為你的工作添加一個名字…你的工作名稱。

3. 中輸入任務的名稱任務名稱字段。

4. 指定要運行的任務類型。在類型下拉,選擇筆記本，JAR，火花提交，Python,或管道．

   • 筆記本:在源下拉，為筆記本選擇一個位置;要麼工作空間用於位於Databricks工作區文件夾中的筆記本或Git提供者用於位於遠程Git存儲庫中的筆記本。

     工作空間:使用文件瀏覽器找到該筆記本，單擊該筆記本名稱，單擊確認．

     Git提供者:點擊編輯並輸入Git存儲庫信息。看到使用遠程Git存儲庫中的筆記本運行作業．

   • JAR:指定主類．使用包含主方法的類的完全限定名，例如，org.apache.spark.examples.SparkPi．然後單擊添加下依賴庫添加運行任務所需的庫。其中一個庫必須包含主類。

     要了解更多關於JAR任務的信息，請參見JAR的工作．

   • 火花提交:在參數文本框，指定主類、庫JAR的路徑和所有參數，格式化為JSON字符串數組。下麵的示例配置spark-submit任務來運行DFSReadWriteTest來自Apache Spark的例子:

     ［”——階級”，“org.apache.spark.examples.DFSReadWriteTest”，“dbfs: / FileStore /圖書館/ spark_examples_2_12_3_1_1.jar”，“/ dbfs / databricks-datasets / README.md”，“/ FileStore / /輸出例子/”］

     重要的

     有幾個限製spark-submit任務:

     • 隻能在新的集群上運行spark-submit任務。

     • Spark-submit不支持集群自動伸縮。要了解有關自動縮放的更多信息，請參見集群自動定量．

     • Spark-submit不支持磚公用事業．要使用Databricks實用程序，請改用JAR任務。

   • Python:在路徑文本框，輸入DBFS或雲存儲上Python腳本的URI;例如,dbfs: / FileStore / myscript.py．

   • 管道:在管道下拉，選擇已存在的Delta Live Tables簡介管道。

   • Python輪:在包名文本框中，輸入要導入的包。mywheel - 1.0 - py2.py3 any.whl——沒有．在入口點文本框中，輸入啟動車輪時要調用的函數。點擊添加下依賴庫添加運行任務所需的庫。

5. 配置任務運行的集群。在集群下拉，選擇新作業集群或現有的通用集群．

   • 新作業集群:點擊編輯在集群下拉菜單，並完成集群配置．

   • 現有通用集群:選擇已存在的集群集群下拉。若要在新頁麵中打開集群，請單擊集群名稱和描述右側的圖標。

   有關選擇和配置集群以運行任務的詳細信息，請參見集群配置技巧．

6. 您可以為任務傳遞參數。每種任務類型對格式化和傳遞參數都有不同的要求。

   • 筆記本:點擊添加並指定要傳遞給任務的每個參數的鍵和值。屬性手動運行任務時，可以覆蓋或添加其他參數運行帶有不同參數的作業選擇。參數設置筆記本電腦部件由參數的鍵指定。使用任務參數變量作為參數值的一部分傳遞一組有限的動態值。

   • JAR:使用json格式的字符串數組來指定參數。這些字符串作為參數傳遞給主類的主方法。看到配置JAR作業參數．

   • 火花提交task:參數被指定為json格式的字符串數組。符合Apache Spark Spark -submit按照慣例，JAR路徑後的參數被傳遞給主類的主方法。

   • Python:使用json格式的字符串數組來指定參數。這些字符串作為參數傳遞，可以使用argparse模塊。

   • Python輪:在參數下拉,選擇位置參數以json格式的字符串數組形式輸入參數，或選擇關鍵字參數>添加輸入每個參數的鍵和值。位置參數和關鍵字參數都作為命令行參數傳遞給Python輪任務。

7. 訪問其他選項，包括依賴庫、重試策略和超時,點擊高級選項．看到編輯任務．

8. 點擊創建．

9. 若要可選地設置作業計劃，請單擊編輯日程在工作細節麵板。看到安排一份工作．

10. 若要允許同一作業的多個並發運行，請單擊編輯並發運行在工作細節麵板。看到最大並發運行數．

11. 單擊，可選擇指定接收作業事件通知的電子郵件地址編輯通知在工作細節麵板。看到通知．

12. 單擊，可選地控製作業的權限級別編輯權限在工作細節麵板。看到控製對作業的訪問．

如需添加其他任務，單擊在剛剛創建的任務下麵。屬性，則提供共享集群選項新作業集群對於前一個任務。還可以在創建或編輯任務時為每個任務配置集群。有關選擇和配置集群以運行任務的詳細信息，請參見集群配置技巧．

運行作業

1. 點擊工作流在側欄中。

2. 選擇作業並單擊運行選項卡。您可以立即運行作業，也可以將作業安排在稍後運行。

如果具有多個任務的作業中的一個或多個任務不成功，則可以重新運行不成功任務的子集。看到修複不成功的作業運行．

視圖的工作

點擊工作流在側欄中。出現Jobs列表。Jobs頁麵列出了所有已定義的作業、集群定義、計劃(如果有的話)以及最後一次運行的結果。

您可以在“工作列表”中過濾工作:

• 使用關鍵字。如果您為這個工作空間啟用了增加的作業限製特性，則隻支持對名稱、作業ID和作業標記字段進行關鍵字搜索。

• 隻選擇你擁有的工作。

• 選擇您有權限訪問的所有作業。訪問此過濾器需要這樣做作業訪問控製啟用。

• 使用標簽．若要搜索僅使用密鑰創建的標記，請在搜索框中鍵入密鑰。要搜索用鍵和值創建的標記，可以根據鍵、值或鍵和值同時搜索。例如，對於帶有鍵的標記部門還有價值金融，你可以搜索部門或金融尋找匹配的工作。要通過鍵和值進行搜索，輸入鍵和值，用冒號分隔;例如,部門:財務．

還可以單擊任何列標題，按該列對作業列表進行排序(降序或升序)。啟用了增加的作業限製特性後，隻能按順序排序的名字，工作ID,或創建通過．默認的排序方式是按的名字按升序排列。

視圖為作業運行

1. 點擊工作流在側欄中。

2. 在的名字列中，單擊作業名稱。的運行選項卡顯示活動運行和已完成運行的表。

單擊，切換到矩陣視圖矩陣．矩陣視圖顯示作業的運行曆史記錄，包括每個作業任務。

的工作運行矩陣的行顯示運行的總持續時間和運行的狀態。控件中的工具條上方懸停，可以查看運行的詳細信息，包括開始時間、持續時間和狀態工作運行行。

中的每個單元格任務行表示任務和任務對應的狀態。若要查看每個任務的詳細信息，包括開始時間、持續時間、集群和狀態，請將鼠標懸停在該任務的單元格上。

作業運行和任務運行欄用顏色編碼，以指示運行狀態。成功運行為綠色，不成功運行為紅色，跳過運行為粉紅色。各個作業運行和任務運行欄的高度提供了運行持續時間的可視化指示。

Databricks最多可維護60天的作業運行曆史記錄。如果需要保存作業運行，Databricks建議在結果過期之前導出結果。有關更多信息，請參見導出作業運行結果．

查看作業運行詳情

作業運行詳細信息頁麵包含作業輸出和到日誌的鏈接，其中包括關於作業運行中每個任務的成功或失敗的信息。方法訪問作業運行詳細信息運行為工作付費。控件中查看作業運行的詳細信息運行選項卡中，單擊運行的鏈接運行的列已完成運行(過去60天)表格回到運行選項卡為作業，單擊工作ID價值。

單擊任務可查看任務運行詳情，包括:

• 運行任務的集群

  • 任務的Spark UI

  • 任務日誌

  • 任務的度量

單擊工作ID值返回運行為工作付費。單擊作業運行ID值返回作業運行詳細信息。

查看最近的作業運行情況

您可以查看您有權訪問的工作空間中所有作業的當前運行和最近完成的運行列表，包括由外部編排工具(如Apache workflow或Azure Data Factory)啟動的運行。查看最近作業運行的列表。

1. 點擊工作流在側欄中。出現Jobs列表。

2. 單擊工作運行選項卡。出現“作業運行”列表。

的工作運行列表顯示:

• 運行的開始時間。

• 與運行關聯的作業的名稱。

• 作業作為用戶名運行。

• 運行是由作業計劃或API請求觸發，還是手動啟動。

• 當前正在運行的作業所消耗的時間，或已完成運行的總運行時間。

• 運行的狀態等待，運行，跳過，成功，失敗的，終止，終止，內部錯誤，定時出，取消了，取消,或等待為重試．

查看作業運行詳細信息，單擊開始時間列為運行。控件中的作業名稱，查看作業詳細信息工作列。

導出作業運行結果

您可以導出所有作業類型的筆記本運行結果和作業運行日誌。

編輯作業

一些配置選項可用於作業，其他選項可用於個人任務．例如，隻能在作業上設置最大並發運行，而必須為每個任務定義參數。

更改作業的配置。

1. 點擊工作流在側欄中。

2. 在的名字列中，單擊作業名稱。

側麵麵板顯示工作細節．你可以更改時間表、集群配置、通知、最大並發運行數以及添加或更改標記。如果作業訪問控製啟用後，還可以編輯作業權限。

編輯任務

設置任務配置項。

1. 點擊工作流在側欄中。

2. 在的名字列中，單擊作業名稱。

3. 單擊任務選項卡。

任務依賴關係

方法定義作業中任務的執行順序取決於下拉。您可以將此字段設置為作業中的一個或多個任務。

請注意

取決於如果作業僅由單個任務組成，則不可見。

配置任務依賴關係將創建任務執行的有向無環圖(DAG)，這是在作業調度器中表示執行順序的常用方法。例如，考慮以下由四個任務組成的作業:

• 任務1是根任務，不依賴於任何其他任務。

• 任務2和任務3依賴於任務1先完成。

• 最後，Task 4取決於Task 2和Task 3是否成功完成。

Databricks在運行下遊任務之前運行上遊任務，盡可能多地並行運行它們。下圖說明了這些任務的處理順序:

｛“MyJobID”：“我的工作- {{job_id}}”｝

克隆一份工作

通過克隆現有作業，可以快速創建新作業。克隆作業將創建與作業相同的副本(除了作業ID不同)。在作業頁麵上，單擊更多…旁邊的作業名稱並選擇克隆從下拉菜單中。

克隆任務

可以通過克隆現有任務快速創建新任務:

1. 在作業頁麵上，單擊任務選項卡。

2. 選擇要克隆的任務。

3. 點擊並選擇克隆的任務．

刪除作業

若要刪除作業，請在作業頁麵上單擊更多…旁邊的作業名稱並選擇刪除從下拉菜單中。

刪除任務

刪除任務。

1. 單擊任務選項卡。

2. 選擇需要刪除的任務。

3. 點擊並選擇刪除任務．

複製任務路徑

將路徑複製到一個任務，例如，一個筆記本路徑:

1. 單擊任務選項卡。

2. 選擇包含複製路徑的任務。

3. 點擊旁邊的任務路徑，將該路徑複製到剪貼板。

使用遠程Git存儲庫中的筆記本運行作業

您可以使用位於遠程Git存儲庫中的筆記本運行作業。該特性簡化了生產作業的創建和管理，並自動化持續部署:

• 您不需要在Databricks中創建一個單獨的生產回購，管理它的權限，並保持更新。

• 您可以防止對生產作業的無意更改，例如生產回購中的本地編輯或切換分支的更改。

• 作業定義流程在遠程存儲庫中隻有一個真實源。

要在遠程Git存儲庫中使用筆記本，必須設置Git與Databricks Repos的集成．

使用位於遠程Git存儲庫中的筆記本創建任務:

1. 在類型下拉,選擇筆記本．

2. 在源下拉,選擇Git提供者．的Git信息對話框出現了。

3. 在Git信息對話框，輸入存儲庫的詳細信息。

   為路徑，輸入到筆記本位置的相對路徑，例如etl /筆記本電腦/．

   當您進入相對路徑時，不要以/或．/並且不要包含筆記本文件擴展名，例如. py．

多任務作業中的其他筆記本任務以以下方式之一引用遠程存儲庫中的同一提交:

• 沙的$分支/頭當git_branch設置

• 沙的美元的標記當git_tag設置

• 的價值git_commit

在多任務作業中，不能同時存在使用本地筆記本的任務和使用遠程存儲庫的任務。這一限製不適用於非筆記本任務。

最佳實踐

瓦爾goodSparkContext＝SparkContext．getOrCreate（）瓦爾goodSparkSession＝SparkSession．構建器（）.getOrCreate（）

試一試｛jobBody（）｝最後｛jobCleanup（）｝

瓦爾cleanupThread＝新線程｛覆蓋def運行＝jobCleanup（）｝運行時．getRuntime．addShutdownHook（cleanupThread）

%sh ls /databricks/jars .

< >的依賴< groupId >org.apache.spark< / groupId >< artifactId >spark-core_2.11< / artifactId ><版本>tripwire> < /版本< >範圍提供< / >範圍< / >的依賴< >的依賴< groupId >org.apache.hadoop< / groupId >< artifactId >hadoop核心< / artifactId ><版本>1.2.1 "> < /版本< >範圍提供< / >範圍< / >的依賴

libraryDependencies+ =“org.apache.spark”% %“spark-core”％“tripwire”％“提供”libraryDependencies+ =“org.apache.hadoop”% %“hadoop核心”％“1.2.1”％“提供”