集群庫

集群庫可以被運行在集群上的所有筆記本使用。您可以使用以前安裝的工作區庫或使用init腳本直接從公共存儲庫(如PyPI或Maven)安裝集群庫。

在集群上安裝庫

在集群上安裝庫主要有兩種方法:

  • 安裝一個工作區圖書館已經上傳到工作區。

  • 安裝僅用於特定集群的庫。

此外，如果庫需要自定義配置，則可能無法使用上麵列出的方法安裝它。相反，您可以使用init腳本它在創建集群時運行。

請注意

在集群上安裝庫時，已經附加到該集群的筆記本不會立即看到新庫。你必須首先分離然後重新接上將筆記本發送到集群。

方法之外，還可以在集群上安裝庫磚起程拓殖的提供者而且databricks_library．

工作區圖書館

請注意

從Databricks Runtime 7.2開始，Databricks按照安裝在集群上的順序處理所有工作區庫。在Databricks Runtime 7.1及以下版本上，Databricks按照Maven和CRAN庫安裝在集群上的順序處理它們。

如果庫之間存在依賴關係，您可能需要注意集群上的安裝順序。

要安裝工作空間中已經存在的庫，可以從集群UI或庫UI開始:

集群

  1. 點擊計算圖標計算在側邊欄。

  2. 單擊集群名稱。

  3. 單擊庫選項卡。

  4. 點擊安裝新．

  5. 在Library Source按鈕列表中，選擇工作空間．

  6. 選擇一個工作區庫。

  7. 點擊安裝．

  8. 配置要安裝在所有集群上的庫。

    1. 單擊庫。

    2. 選擇在所有集群上自動安裝複選框。

    3. 點擊確認．

圖書館

  1. 轉到包含庫的文件夾。

  2. 單擊庫名稱。

  3. 做以下任何一件事:

    • 要配置要安裝在所有集群上的庫，請選擇在所有集群上自動安裝複選框,然後單擊確認．

      重要的

      此選項不會在運行Databricks Runtime 7.0及以上版本的集群上安裝庫。

    • 選擇要在其上安裝庫的集群旁邊的複選框，然後單擊安裝．

庫已安裝在集群上。

Cluster-installed圖書館

可以在特定集群上安裝庫，而不將其作為工作空間庫使用。

在集群上安裝庫。

  1. 點擊計算圖標計算在側邊欄。

  2. 單擊集群名稱。

  3. 單擊庫選項卡。

  4. 點擊安裝新．

  5. 創建對象的方法之一工作區圖書館．你點擊後創建，庫已安裝在集群上。

Init腳本

如果庫需要自定義配置，則可能無法使用工作區或集群庫接口安裝它。相反，您可以使用init腳本．

下麵是一個初始化腳本示例，它在Databricks Runtime集群初始化時使用pip在集群上安裝Python庫。

# !/bin/bash/磚/ python / bin / pip安裝astropy

從集群中卸載庫

請注意

當從集群中卸載庫時，隻有在重新啟動集群時才會刪除該庫。在重新啟動集群之前，已卸載庫的狀態顯示為卸載等待重啟．

卸載庫可以從集群或庫開始:

集群

  1. 點擊計算圖標計算在側邊欄。

  2. 單擊集群名稱。

  3. 單擊庫選項卡。

  4. 選中要從中卸載庫的集群旁邊的複選框，單擊卸載,然後確認．“狀態”變為卸載等待重啟．

圖書館

  1. 轉到包含庫的文件夾。

  2. 單擊庫名稱。

  3. 選中要從中卸載庫的集群旁邊的複選框，單擊卸載,然後確認．“狀態”變為卸載等待重啟．

  4. 單擊集群名稱可進入集群詳細信息頁麵。

點擊重新啟動而且確認卸載庫。從集群的Libraries選項卡中刪除庫。

查看集群上安裝的庫

  1. 點擊計算圖標計算在側邊欄。

  2. 單擊集群名稱。

  3. 單擊庫選項卡。對於每個庫，選項卡顯示名稱和版本、類型、安裝狀態，如果上傳，則是源文件。

更新集群安裝的庫

要更新集群中安裝的庫，需要卸載舊版本的庫，然後安裝新版本的庫。