創建、運行和管理Databricks作業

創建一個工作

1. 做以下任何一件事:

   • 點擊工作流，然後單擊．

   • 在側邊欄中，單擊創建並選擇工作從菜單中。

   的任務選項卡與創建任務對話框一起出現。

   

2. 取代為你的工作添加一個名字…加上你的工作名稱。

3. 中為任務輸入名稱任務名稱字段。

4. 在類型下拉菜單，選擇要運行的任務類型。

   • 筆記本:在源下拉菜單，為筆記本選擇一個位置;要麼工作空間在Databricks工作區文件夾或Git提供者對於位於遠程Git存儲庫中的筆記本。

     工作空間:使用文件瀏覽器找到該筆記本，單擊該筆記本名稱，單擊確認．

     Git提供者:點擊編輯並輸入Git存儲庫信息。看到使用遠程Git存儲庫中的筆記本運行作業．

   • JAR:指定主類．使用包含主方法的類的完全限定名，例如，org.apache.spark.examples.SparkPi．然後單擊添加下依賴庫添加運行任務所需的庫。其中一個庫必須包含主類。

     要了解更多關於JAR任務的信息，請參見JAR的工作．

   • 火花提交:在參數文本框，指定主類、庫JAR的路徑和所有參數，格式化為JSON字符串數組。下麵的示例配置spark-submit任務以運行DFSReadWriteTest從Apache Spark的例子:

     ［”——階級”，“org.apache.spark.examples.DFSReadWriteTest”，“dbfs: / FileStore /圖書館/ spark_examples_2_12_3_1_1.jar”，“/ dbfs / databricks-datasets / README.md”，“/ FileStore / /輸出例子/”］

     重要的

     有幾個限製spark-submit任務:

     • 隻能在新的集群上運行spark-submit任務。

     • Spark-submit不支持集群自動伸縮。要了解關於自動縮放的更多信息，請參見集群自動定量．

     • Spark-submit不支持磚公用事業．要使用Databricks實用程序，請使用JAR任務。

   • Python腳本:在源下拉菜單，為Python腳本選擇一個位置工作空間對於本地工作區中的腳本，或DBFS對於位於DBFS或雲存儲上的腳本。在路徑文本框，輸入Python腳本的路徑:

     工作空間:在選擇Python文件對話框，瀏覽到Python腳本並單擊確認．你的劇本必須在磚回購．

     DBFS:在DBFS或雲存儲上輸入Python腳本的URI;例如,dbfs: / FileStore / myscript.py．

   • Delta Live表管道:在管道下拉菜單，選擇一個現有的三角洲生活表管道。

     重要的

     方法隻能使用觸發的管道管道的任務。不支持將連續管道作為作業任務。要了解有關觸發管道和連續管道的更多信息，請參見連續和觸發管道．

   • Python輪:在包名文本框中，輸入要導入的包，例如，mywheel - 1.0 - py2.py3 any.whl——沒有．在入口點文本框，輸入啟動車輪時要調用的函數。點擊添加下依賴庫添加運行任務所需的庫。

   • SQL:在SQL任務下拉菜單,選擇查詢，指示板,或警報．

     請注意

     • 的SQL任務是在公共預覽．

     • 的SQL任務需要Databricks SQL和一個Serverless SQL倉庫．

     查詢:在SQL查詢下拉菜單，選擇要在任務運行時執行的查詢。在SQL倉庫下拉菜單，選擇一個無服務器SQL倉庫來運行任務。

     指示板:在SQL儀表板下拉菜單，選擇要在任務運行時更新的儀表板。在SQL倉庫下拉菜單，選擇一個無服務器SQL倉庫來運行任務。

     警報:在SQL警告下拉菜單，選擇一個警報觸發評估。在SQL倉庫下拉菜單，選擇一個無服務器SQL倉庫來運行任務。

   • 印度生物技術部:看在Databricks作業中使用dbt有關如何配置DBT任務的詳細示例。

     預覽

     dbt任務已經完成公共預覽．

5. 配置運行任務的集群。在集群下拉菜單，選擇任何一個新工作的集群或現有通用的集群．

   • 新工作的集群:點擊編輯在集群下拉菜單並完成集群配置．

   • 現有通用的集群:選擇已存在的集群集群下拉菜單。若要在新頁麵中打開集群，請單擊集群名稱和描述右側的圖標。

   有關選擇和配置集群以運行任務的詳細信息，請參見集群配置建議．

6. 可以為任務傳遞參數。每種任務類型對格式化和傳遞參數都有不同的要求。

   • 筆記本:點擊添加並指定要傳遞給任務的每個參數的鍵和值。方法手動運行任務時，可以覆蓋或添加附加參數運行具有不同參數的作業選擇。參數設置筆記本電腦部件由參數的鍵指定。使用任務參數變量將一組有限的動態值作為參數值的一部分傳遞。

   • JAR:使用json格式的字符串數組指定參數。這些字符串作為參數傳遞給主類的主方法。看到配置JAR作業參數．

   • 火花提交task:參數被指定為json格式的字符串數組。符合Apache火花spark-submit約定，JAR路徑後的參數被傳遞給主類的主方法。

   • Python腳本:使用json格式的字符串數組指定參數。這些字符串作為參數傳遞，可以使用argparse在Python模塊。

   • Python輪:在參數下拉菜單,選擇位置參數以json格式的字符串數組形式輸入參數，或選擇關鍵字參數> Add輸入每個參數的鍵和值。位置和關鍵字參數都作為命令行參數傳遞給Python輪任務。

7. 訪問其他選項，包括依賴庫、重試策略和超時,點擊高級選項．看到編輯一個任務．

8. 點擊創建．

9. 單擊可選地設置作業的計劃編輯日程在工作細節麵板。看到安排一個工作．

10. 若要允許同一作業的多個並發運行，請單擊編輯並發運行在工作細節麵板。看到最大並發運行．

11. 若要指定接收作業事件通知的電子郵件地址，請單擊編輯通知在工作細節麵板。看到通知．

12. 單擊可選地控製作業的權限級別編輯權限在工作細節麵板。看到控製對作業的訪問．

單擊，添加新的任務在您剛剛創建的任務下麵。如果您已經配置了共享集群選項新工作的集群用於上一個任務。您還可以在創建或編輯任務時為每個任務配置一個集群。有關選擇和配置集群以運行任務的詳細信息，請參見集群配置建議．

運行工作

1. 點擊工作流在側邊欄。

2. 選擇一個作業並單擊運行選項卡。可以立即運行作業，也可以將作業安排到稍後運行。

如果具有多個任務的作業中的一個或多個任務不成功，您可以重新運行不成功任務的子集。看到修複不成功的作業運行．

視圖的工作

點擊工作流在側邊欄。出現了Jobs列表。Jobs頁麵列出了所有已定義的作業、集群定義、計劃(如果有的話)和最後一次運行的結果。

您可以在jobs列表中篩選jobs:

• 使用關鍵字。如果為該工作區啟用了增加的作業限製功能，則隻支持通過關鍵字搜索名稱、作業ID和作業標記字段。

• 隻選擇你擁有的工作。

• 選擇您有權限訪問的所有作業。訪問這個過濾器需要這樣做工作訪問控製啟用。

• 使用標簽．若要搜索僅使用鍵創建的標記，請在搜索框中鍵入鍵。要搜索用鍵和值創建的標記，可以按鍵、值或鍵和值同時搜索。例如，對於帶有鍵的標記部門和價值金融，你可以搜索部門或金融尋找匹配的工作。要通過鍵和值進行搜索，輸入鍵和值，中間用冒號隔開;例如,部門:財務．

還可以單擊任何列標題，按該列對作業列表(降序或升序)排序。當啟用了增加的作業限製特性時，您隻能按的名字，工作ID,或創建通過．默認排序是按的名字以升序排序。

視圖運行一個作業

1. 點擊工作流在側邊欄。

2. 在的名字列，單擊作業名稱。的運行選項卡顯示活動運行和已完成運行的表。

單擊，切換到矩陣視圖矩陣．矩陣視圖顯示作業的運行曆史，包括每個作業任務。

的工作運行矩陣的行顯示運行的總持續時間和運行的狀態。控件中的欄上懸停可查看運行的詳細信息，包括開始時間、持續時間和狀態工作運行行。

的每個單元格任務行表示一個任務和該任務的相應狀態。要查看每個任務的詳細信息，包括開始時間、持續時間、集群和狀態，請將鼠標懸停在該任務的計算單元上。

作業運行和任務運行欄用顏色編碼，以指示運行的狀態。成功的運行為綠色，不成功的運行為紅色，跳過的運行為粉色。單個作業運行和任務運行欄的高度提供了運行持續時間的可視化指示。

Databricks維護作業運行的曆史記錄，最長可達60天。如果需要保存作業運行，Databricks建議在結果過期前導出結果。有關更多信息，請參見導出作業運行結果．

查看作業運行詳情

作業運行詳細信息頁麵包含作業輸出和到日誌的鏈接，其中包括關於作業運行中每個任務成功或失敗的信息。控件訪問作業運行詳細信息運行TAB為該工作。控件中查看作業運行詳細信息運行選項卡中，單擊運行的鏈接運行列的已完成跑步(過去60天)表格回到運行選項卡，單擊工作ID價值。

單擊任務查看任務運行的詳細信息，包括:

• 運行任務的集群

  • 任務的Spark UI

  • 任務的日誌

  • 任務的度量

單擊工作ID的值返回運行TAB為該工作。單擊工作運行ID值返回作業運行詳細信息。

查看最近的作業運行情況

您可以查看您可以訪問的工作區中所有作業的當前運行和最近完成的運行列表，包括由外部編排工具(如Apache風流或Azure Data Factory)啟動的運行。查詢最近運行的作業列表。

1. 點擊工作流在側邊欄。出現了Jobs列表。

2. 單擊工作運行選項卡。出現作業運行列表。

的工作運行列表顯示:

• 跑步的開始時間。

• 與運行相關聯的作業的名稱。

• 作業運行時的用戶名。

• 運行是由作業調度或API請求觸發的，還是由手動啟動的。

• 當前運行作業所花費的時間，或已完成運行的總運行時間。

• 也包括運行的狀態等待，運行，跳過，成功，失敗的，終止，終止，內部錯誤，定時出，取消了，取消,或等待為重試．

查看工作運行細節，單擊頁中的鏈接開始時間列跑。中，單擊作業名稱可查看作業詳細信息工作列。

導出作業運行結果

可以導出所有作業類型的notebook運行結果和作業運行日誌。

編輯的工作

一些配置選項可用於作業，其他選項可用於個人任務．例如，隻能在作業上設置最大並發運行數，而必須為每個任務定義參數。

修改作業的配置。

1. 點擊工作流在側邊欄。

2. 在的名字列，單擊作業名稱。

側麵板顯示工作細節．您可以更改時間表、集群配置、通知、最大並發運行數以及添加或更改標記。如果工作訪問控製啟用時，還可以編輯作業權限。

編輯一個任務

設置任務配置選項。

1. 點擊工作流在側邊欄。

2. 在的名字列，單擊作業名稱。

3. 單擊任務選項卡。

任務依賴關係

方法可以定義作業中任務的執行順序取決於下拉菜單。您可以將此字段設置為作業中的一個或多個任務。

請注意

取決於如果作業隻包含一個任務，則不可見。

配置任務依賴關係會創建任務執行的有向無環圖(DAG)，這是在作業調度程序中表示執行順序的常用方法。例如，考慮以下由四個任務組成的工作:

• Task 1是根任務，不依賴於任何其他任務。

• 任務2和任務3依賴於任務1先完成。

• 最後，Task 4依賴於Task 2和Task 3的成功完成。

Databricks在運行下遊任務之前先運行上遊任務，盡可能多地並行運行它們。下圖說明了這些任務的處理順序:

｛“MyJobID”：“我的工作- {{job_id}}”｝

克隆一個工作

您可以通過克隆現有作業來快速創建新作業。克隆作業會創建相同的作業副本，隻是作業ID不同。在工作頁麵上，單擊更多…在作業名稱旁邊，然後選擇克隆從下拉菜單。

克隆一個任務

你可以通過克隆一個現有的任務來快速創建一個新任務:

1. 在職位頁麵上，單擊任務選項卡。

2. 選擇要克隆的任務。

3. 點擊並選擇克隆的任務．

刪除一個工作

若要刪除作業，請在作業頁麵單擊更多…在作業名稱旁邊，然後選擇刪除從下拉菜單。

刪除一個任務

刪除一個任務。

1. 單擊任務選項卡。

2. 選擇需要刪除的任務。

3. 點擊並選擇刪除任務．

複製任務路徑

複製一個任務的路徑，例如，一個筆記本的路徑:

1. 單擊任務選項卡。

2. 選擇包含要複製路徑的任務。

3. 點擊將路徑複製到剪貼板的任務路徑旁邊。

使用遠程Git存儲庫中的筆記本運行作業

可以使用位於遠程Git存儲庫中的筆記本運行作業。該特性簡化了生產作業的創建和管理，並實現了持續部署的自動化:

• 您不需要在Databricks中創建一個單獨的生產回購、管理它的權限並保持它的更新。

• 您可以防止對生產作業的無意更改，例如生產回購中的本地編輯或切換分支的更改。

• 作業定義過程在遠程存儲庫中有一個真實來源。

要在遠程Git存儲庫中使用筆記本，必須設置Git與Databricks Repos的集成．

使用位於遠程Git存儲庫中的筆記本創建一個任務:

1. 在類型下拉菜單,選擇筆記本．

2. 在源下拉菜單,選擇Git提供者．的Git信息對話框出現了。

3. 在Git信息對話框中，輸入存儲庫的詳細信息。

   為路徑，輸入到筆記本位置的相對路徑，例如etl /筆記本電腦/．

   當您進入相對路徑時，不要以/或．/不要包含筆記本文件擴展名，例如. py．

多任務作業中的其他筆記本任務以以下方式之一引用遠程存儲庫中的相同提交:

• 沙的$分支/頭當git_branch設置

• 沙的美元的標記當git_tag設置

• 的價值git_commit

在多任務作業中，不能存在一個使用本地筆記本的任務和另一個使用遠程存儲庫的任務。這個限製不適用於非筆記本任務。

最佳實踐

瓦爾goodSparkContext＝SparkContext．getOrCreate（）瓦爾goodSparkSession＝SparkSession．構建器()。getOrCreate（）

試一試｛jobBody（）｝最後｛jobCleanup（）｝

瓦爾cleanupThread＝新線程｛覆蓋def運行＝jobCleanup（）｝運行時．getRuntime．addShutdownHook（cleanupThread）

% sh ls /磚/ jar

<依賴>< groupId >org.apache.spark< / groupId >< artifactId >spark-core_2.11< / artifactId ><版本>tripwire> < /版本< >範圍提供< / >範圍< / >的依賴<依賴>< groupId >org.apache.hadoop< / groupId >< artifactId >hadoop核心< / artifactId ><版本>1.2.1 "> < /版本< >範圍提供< / >範圍< / >的依賴

libraryDependencies+ =“org.apache.spark”% %“spark-core”％“tripwire”％“提供”libraryDependencies+ =“org.apache.hadoop”% %“hadoop核心”％“1.2.1”％“提供”