某些用例需要您安裝庫從私人PyPI存儲庫。

如果你從一個公共庫安裝,你應該檢查庫文件。

本文向您展示如何配置一個PyPI init腳本驗證和下載例子從一個私人庫庫。

創建初始化腳本

1. 創建(或驗證)一個目錄來存儲init腳本。< init-script-folder >文件夾的名稱存儲你的init腳本。

   dbutils.fs.mkdirs (“dbfs: /磚/ < init-script-folder > /”)

2. 創建初始化腳本。

   dbutils.fs.put(“/磚/ < init-script-folder > / private-pypi-install。sh”、“”“# !/bin/bash /磚/ python / bin / pip安裝——index-url = https:// $ {< repo-username >}: $ {< repo-password >} @ < private-pypi-repo-domain-name >私人醫療服務= = <版本>”“”,真的)

3. 驗證您的init腳本存在。

   顯示器(dbutils.fs.ls (“dbfs: /磚/ < init-script-folder > / private-pypi-install.sh”))

安裝一個集群級init腳本

安裝初始化腳本,您剛剛創建集群級init腳本。

你需要的完整路徑的腳本的位置(dbfs: /磚/ < init-script-folder > / private-pypi-install.sh)。

重新啟動集群

安裝後重新啟動集群init腳本。

一旦集群啟動,確認它成功安裝自定義庫從私人PyPI庫。

如果沒有安裝自定義庫,仔細檢查你的用戶名和密碼設置為私人PyPI庫在init腳本。

集群使用init腳本工作

一旦init腳本創建和驗證工作,包括它create-job.json文件在使用喬布斯API集群開始工作。

{“cluster_id”:“1202 - 211320 brick1”、“num_workers”: 1、“spark_version”:“< spark-version >”,“node_type_id”:“<節點類型>”,“cluster_log_conf”: {" dbfs ":{“目的地”:“dbfs: / cluster-logs}},“init_scripts”: [{“dbfs”:{“目的地”:“dbfs: / / < init-script-folder > / private-pypi-install磚。上海“}}}