創建、運行和管理數據作業

創建一個工作

1. 做以下其中一項:

   • 點擊工作流在側邊欄中單擊．

   • 在側邊欄中，單擊創建並選擇工作從菜單中。

   的任務選項卡將顯示創建任務對話框。

   

2. 取代為你的工作添加一個名字……寫上你的工作名稱。

3. 中為任務輸入名稱任務名稱字段。

4. 指定要運行的任務類型。在類型下拉,選擇筆記本，JAR，火花提交，Python,或管道．

   • 筆記本:在源下拉，選擇放置筆記本的位置;要麼工作空間筆記本電腦位於Databricks工作空間文件夾或Git提供者對於位於遠程Git存儲庫中的筆記本。

     工作空間:使用文件瀏覽器找到筆記本，點擊筆記本名稱，點擊確認．

     Git提供者:點擊編輯並輸入Git存儲庫信息。看到在遠程Git存儲庫中使用筆記本運行作業．

   • JAR:指定主類．使用包含main方法的類的完全限定名，例如:org.apache.spark.examples.SparkPi．然後單擊添加下依賴庫添加運行任務所需的庫。這些庫中必須有一個包含主類。

     要了解關於JAR任務的更多信息，請參見JAR的工作．

   • 火花提交:在參數文本框中，指定主類、庫JAR的路徑和所有參數，格式化為JSON字符串數組。下麵的示例配置spark-submit任務來運行DFSReadWriteTest來自Apache Spark的例子:

     ［”——階級”，“org.apache.spark.examples.DFSReadWriteTest”，“dbfs: / FileStore /圖書館/ spark_examples_2_12_3_1_1.jar”，“/ dbfs / databricks-datasets / README.md”，“/ FileStore / /輸出例子/”]

     重要的

     有幾個限製spark-submit任務:

     • 您隻能在新的集群上運行spark-submit任務。

     • Spark-submit不支持集群自動伸縮。要了解關於自動縮放的更多信息，請參見集群自動定量．

     • 不支持Spark-submit磚公用事業．要使用Databricks Utilities，請使用JAR任務。

   • Python:在路徑文本框，輸入一個Python腳本在DBFS或雲存儲上的URI;例如,dbfs: / FileStore / myscript.py．

   • 管道:在管道下拉菜單，選擇已存在的三角洲生活表管道。

     重要的

     方法隻能使用觸發管道管道的任務。作業任務不支持連續管道。要了解觸發管道和連續管道的更多信息，請參見連續和觸發管道．

   • Python輪:在包名文本框，輸入要導入的包，例如:mywheel - 1.0 - py2.py3 any.whl——沒有．在入口點文本框中，輸入啟動滾輪時要調用的函數。點擊添加下依賴庫添加運行任務所需的庫。

   • 印度生物技術部:看在Databricks作業中使用dbt查看配置DBT任務的詳細示例。

     預覽

     dbt任務完成公共預覽．

5. 配置運行任務的集群。在集群下拉,選擇新工作的集群或現有通用的集群．

   • 新工作的集群:點擊編輯在集群下拉列表，並完成集群配置．

   • 現有通用的集群:選擇中已存在的集群集群下拉。要在新頁麵中打開集群，請單擊集群名稱和描述右側的圖標。

   要了解關於選擇和配置集群以運行任務的更多信息，請參見集群配置建議．

6. 您可以為任務傳遞參數。每種任務類型對格式化和傳遞參數有不同的要求。

   • 筆記本:點擊添加並指定傳遞給任務的每個參數的鍵和值。控件手動運行任務時，可以重寫或添加其他參數運行具有不同參數的作業選擇。參數設置筆記本電腦部件由參數的鍵指定。使用任務參數變量作為參數值的一部分傳遞一組有限的動態值。

   • JAR:使用json格式的字符串數組來指定參數。這些字符串作為參數傳遞給main類的main方法。看到配置JAR作業參數．

   • 火花提交參數被指定為json格式的字符串數組。符合Apache火花spark-submit按照慣例，JAR路徑之後的參數被傳遞給main類的main方法。

   • Python:使用json格式的字符串數組來指定參數。這些字符串作為參數傳遞，可以使用argparse在Python模塊。

   • Python輪:在參數下拉,選擇位置參數以json格式的字符串數組形式輸入參數，或選擇關鍵字參數>添加輸入每個參數的鍵和值。位置參數和關鍵字參數都作為命令行參數傳遞給Python wheel任務。

7. 訪問其他選項，包括依賴庫、重試策略和超時,點擊高級選項．看到編輯一個任務．

8. 點擊創建．

9. 若要設置作業的時間表，請單擊編輯日程在工作細節麵板。看到安排一個工作．

10. 若要允許同一作業的多個並發運行，請單擊編輯並發運行在工作細節麵板。看到最大並發運行．

11. 若要指定接收作業事件通知的電子郵件地址，請單擊編輯通知在工作細節麵板。看到通知．

12. 若要有選擇地控製作業的權限級別，請單擊編輯權限在工作細節麵板。看到控製對作業的訪問．

單擊，可以添加其他任務在您剛剛創建的任務下麵。如果配置了共享集群選項，則提供了共享集群選項新工作的集群對於上一個任務。還可以在創建或編輯任務時為每個任務配置集群。要了解關於選擇和配置集群以運行任務的更多信息，請參見集群配置建議．

運行工作

1. 點擊工作流在側邊欄。

2. 選擇一個作業，然後單擊運行選項卡。您可以立即運行作業，也可以安排作業稍後運行。

如果具有多個任務的作業中的一個或多個任務不成功，可以重新運行不成功任務的子集。看到修複不成功的作業運行．

視圖的工作

點擊工作流在側邊欄。喬布斯列表出現了。Jobs頁麵列出了所有已定義的作業、集群定義、調度(如果有的話)以及上次運行的結果。

您可以在jobs列表中篩選作業:

• 使用關鍵字。如果為該工作空間啟用了增加的作業限製特性，則隻支持通過關鍵字搜索名稱、作業ID和作業標記字段。

• 隻選擇你擁有的工作。

• 選擇您具有訪問權限的所有作業。訪問此過濾器需要這樣做工作訪問控製啟用。

• 使用標簽．若要搜索僅用一個鍵創建的標記，請在搜索框中鍵入該鍵。要搜索使用鍵和值創建的標記，可以通過鍵、值或鍵和值進行搜索。例如，對於帶有鍵的標記部門和價值金融，你可以搜索部門或金融尋找匹配的工作。要同時搜索鍵和值，請輸入以冒號分隔的鍵和值;例如,部門:財務．

還可以單擊任何列標題，按該列對作業列表進行排序(降序或升序)。當增加作業限製功能啟用時，隻能按的名字，工作ID,或創建通過．默認排序是by的名字以升序排序。

視圖為作業運行

1. 點擊工作流在側邊欄。

2. 在的名字列中，單擊作業名稱。的運行選項卡將顯示活動運行和已完成運行的表格。

單擊，切換到矩陣視圖矩陣．矩陣視圖顯示作業的運行曆史，包括每個作業任務。

的工作運行矩陣的行顯示運行的總持續時間和運行的狀態。鼠標懸停在工具欄上，可以查看運行的詳細信息，包括開始時間、持續時間和狀態工作運行行。

中的每個單元格任務行表示任務和任務的相應狀態。將鼠標懸停在任務的單元格上，可以查看每個任務的詳細信息，包括開始時間、持續時間、集群和狀態。

作業運行和任務運行條以不同的顏色表示運行的狀態。成功運行為綠色，不成功運行為紅色，跳過運行為粉色。各個作業運行和任務運行條的高度提供了運行持續時間的可視化指示。

Databricks維護作業運行的曆史記錄，最長可達60天。如果您需要保留作業運行，Databricks建議您在結果過期之前導出它們。有關更多信息，請參見導出作業運行結果．

查看作業運行詳細信息

作業運行詳細信息頁麵包含作業輸出和指向日誌的鏈接，其中包括關於作業運行中每個任務成功或失敗的信息。控件訪問作業運行詳細信息運行這份工作的賬單。控件中查看作業運行詳細信息運行選項卡中運行的鏈接運行列的已完成的測試(過去60天)表格回到運行選項卡，單擊工作ID價值。

單擊某一任務，可查看任務運行詳情，包括:

• 運行任務的集群

  • 該任務的Spark UI

  • 任務日誌

  • 任務的指標

單擊工作ID返回的運行這份工作的賬單。單擊工作運行ID值返回作業運行細節。

查看最近的作業運行情況

您可以在您可以訪問的工作空間中查看所有作業的當前運行和最近完成的運行列表，包括由外部編排工具(如Apache氣流或Azure數據工廠)啟動的運行。查詢最近運行的作業列表。

1. 點擊工作流在側邊欄。喬布斯列表出現了。

2. 單擊工作運行選項卡。將出現Job runs列表。

的工作運行列表顯示:

• 跑步的開始時間。

• 與運行關聯的作業的名稱。

• 作業運行時的用戶名。

• 運行是由作業調度或API請求觸發的，還是手動啟動的。

• 當前運行的作業所花費的時間，或完成運行的總運行時間。

• 運行的狀態等待，運行，跳過，成功，失敗的，終止，終止，內部錯誤，定時出，取消了，取消,或等待為重試．

查看工作運行細節，單擊中的鏈接開始時間跑步的專欄。要查看作業的詳細信息，請單擊工作列。

導出作業運行結果

您可以導出所有作業類型的筆記本運行結果和作業運行日誌。

編輯的工作

一些配置選項可用於作業，其他選項可用於個人任務．例如，隻能在作業上設置最大並發運行次數，而必須為每個任務定義參數。

修改作業的配置。

1. 點擊工作流在側邊欄。

2. 在的名字列中，單擊作業名稱。

側麵麵板顯示工作細節．你可以改變時間表、集群配置、通知、並發運行的最大數量，以及添加或更改標記。如果工作訪問控製，您還可以編輯作業權限。

編輯一個任務

設置任務配置選項。

1. 點擊工作流在側邊欄。

2. 在的名字列中，單擊作業名稱。

3. 單擊任務選項卡。

任務依賴關係

控件定義作業中任務的執行順序取決於下拉。您可以將此字段設置為作業中的一個或多個任務。

請注意

取決於如果作業隻包含一個任務，則不可見。

配置任務依賴關係會創建一個任務執行的有向無環圖(DAG)，這是表示任務調度器執行順序的一種常見方式。例如，考慮以下由四個任務組成的工作:

• 任務1是根任務，不依賴於任何其他任務。

• Task 2和Task 3依賴於Task 1先完成。

• 最後，任務4依賴於任務2和任務3的成功完成。

Databricks在運行下遊任務之前先運行上遊任務，盡可能多地並行運行上遊任務。下麵的圖表說明了這些任務的處理順序:

{“MyJobID”：“我的工作- {{job_id}}”｝

克隆一個工作

通過克隆現有作業，可以快速創建新作業。克隆作業將創建一個完全相同的作業副本，除了作業ID。在作業頁麵上單擊更多…在工作名稱旁邊選擇克隆從下拉菜單。

克隆一個任務

通過克隆已有任務，可以快速創建新任務:

1. 在作業的頁麵上，單擊任務選項卡。

2. 選擇要克隆的任務。

3. 點擊並選擇克隆的任務．

刪除一個工作

在作業頁麵單擊，刪除作業更多…在工作名稱旁邊選擇刪除從下拉菜單。

刪除一個任務

刪除任務。

1. 單擊任務選項卡。

2. 選擇需要刪除的任務。

3. 點擊並選擇刪除任務．

複製任務路徑

將路徑複製到任務，例如筆記本路徑:

1. 單擊任務選項卡。

2. 選擇包含複製路徑的任務。

3. 點擊在任務路徑旁邊，將路徑複製到剪貼板。

在遠程Git存儲庫中使用筆記本運行作業

您可以使用位於遠程Git存儲庫中的筆記本運行作業。該特性簡化了生產作業的創建和管理，並實現了連續部署的自動化:

• 您不需要在Databricks中創建單獨的生產回購，為它管理權限，並保持更新。

• 您可以防止對生產作業的無意更改，例如生產repo中的本地編輯或切換分支的更改。

• 作業定義過程在遠程存儲庫中隻有一個真實源。

要在遠程Git存儲庫中使用筆記本，您必須設置Git與Databricks Repos的集成．

使用位於遠程Git倉庫中的筆記本創建一個任務:

1. 在類型下拉,選擇筆記本．

2. 在源下拉,選擇Git提供者．的Git信息對話框出現了。

3. 在Git信息對話框中，輸入存儲庫的詳細信息。

   為路徑，輸入到筆記本位置的相對路徑，例如etl /筆記本電腦/．

   當您輸入相對路徑時，不要以/或．/並且不要包括筆記本文件擴展名，例如. py．

多任務作業中的其他notebook任務通過以下方式之一引用遠程存儲庫中的同一個提交:

• 沙的$分支/頭當git_branch設置

• 沙的美元的標記當git_tag設置

• 的價值git_commit

在多任務作業中，不能有一個任務使用本地筆記本，而另一個任務使用遠程存儲庫。這個限製不適用於非筆記本任務。

最佳實踐

瓦爾goodSparkContext＝SparkContext．getOrCreate（）瓦爾goodSparkSession＝SparkSession．構建器()。getOrCreate（）

試一試{jobBody（）｝最後{jobCleanup（）｝

瓦爾cleanupThread＝新線程{覆蓋def運行＝jobCleanup（）｝運行時．getRuntime．addShutdownHook（cleanupThread）

% sh ls /磚/ jar

< >的依賴< groupId >org.apache.spark< / groupId >< artifactId >spark-core_2.11< / artifactId ><版本>tripwire> < /版本< >範圍提供< / >範圍< / >的依賴< >的依賴< groupId >org.apache.hadoop< / groupId >< artifactId >hadoop核心< / artifactId ><版本>1.2.1 "> < /版本< >範圍提供< / >範圍< / >的依賴

libraryDependencies+ =“org.apache.spark”% %“spark-core”％“tripwire”％“提供”libraryDependencies+ =“org.apache.hadoop”% %“hadoop核心”％“1.2.1”％“提供”