在工作流執行PyPI圖書館有時不安裝

[xneg]

我有一個工作流運行在集群和包含一個工作任務,需要從PyPI先知庫:

{“task_key”:“my_task”、“depends_on”: [{“task_key”:“<…> "}),”notebook_task”: {“notebook_path”:“<…>”、“源”:“工作區”},“job_cluster_key”:“job_cluster”、“庫”:[{“pypi”:{“包”:“先知”= = 1.1.2}}],“timeout_seconds email_notifications“: 0: {}},

有時候工作很好但有時我得到了下麵的錯誤:

運行結果不可用:工作失敗與錯誤消息庫安裝失敗庫由於用戶錯誤pypi{包:“先知= = 1.1.2”}。錯誤消息:圖書館的司機節點集群上安裝嚐試<…>,但都以失敗告終。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:org.apache.spark。SparkException:進程列表(/磚/ python / bin /皮普,安裝、先知= = 1.1.2,——disable-pip-version-check)退出代碼1。錯誤:無法安裝包由於OSError: [Errno 2]沒有這樣的文件或目錄:/磚/ python3 / bin / f2py”

我看到建議提前這個庫安裝在一個集群中。但我開始我的工作流程的工作集群(不是一個萬能的集群)所以沒有預先安裝的能力。奇怪的是,有時很好,有時不是。

如果有一種方法來安裝圖書館100%保證集群在一個共享的工作就好了!

[匿名]

@Eugene Bikkinin:

選項1:

錯誤消息表明,安裝“先知”圖書館的磚的司機節點集群上失敗。具體地說,它看來,安裝無法找到該文件/磚/ python3 / bin / f2py。

一個可能的解決方案是再次嚐試安裝該庫,但是

——no-binary國旗。這有時會幫助如果有問題的預構建二進製包。這告訴磚使用先知pip安裝庫,和使用——no-binary國旗

[{“分類”:“皮普”、“pipPackages”:[{“包”:“先知”、“noBinary”:真正}]}]

選項2:

步驟來安裝PyPI上包磚共享集群工作如下:

1. 導航到磚工作區並單擊“集群”選項卡。
2. 點擊共享工作集群的名稱你想安裝在PyPI包。
3. 單擊“庫”選項卡,然後單擊“安裝新”按鈕。
4. 在“安裝庫”對話框中,選擇“PyPI”庫源。
5. 輸入名稱PyPI包你想要安裝的“包”字段。
6. 如果你想安裝一個特定版本的包,輸入“版本”字段。如果你想安裝最新版本,離開“版本”字段空白。
7. 單擊“安裝”按鈕安裝PyPI包。

一旦PyPI包安裝,它將提供給所有工作運行在集群共享工作。

[xneg]

謝謝@Suteja卡努裏人

為了確定第二個選項。我認為工作集群k8豆莢當你得到一些空閑的CPU和內存並排在現有集群與其他客戶。beplay体育app下载地址

但是如果我可以顯式地設置一個圖書館集群工作然後我之前的假設是不正確的。所以有什麼區別和通用集群工作?

[匿名]

@Eugene Bikkinin:

在磚,創建一個臨時集群,集群是工作按需運行一個特定的工作或任務。

類似於Kubernetes豆莢,工作上創建集群現有通用磚的集群。這些集群是短暫的工作,工作完成後終止。他們是用來隔離一個特定的工作或任務所需的資源的資源主要通用集群。

雖然可以顯式地設置一個圖書館工作集群,集群工作的主要目的是提供專用的資源為一個特定的工作或任務。相比之下,通用集群在磚長壽,用於各種工作負載運行,包括互動工作負載,流媒體,和批處理工作。

通用集群優化通用的計算和優化通常包括節點CPU和內存密集型工作負載。他們是為了提供一個靈活的和可伸縮的平台同時運行不同類型的工作負載。Beplay体育安卓版本

希望這個解釋能幫助!

[xneg]

是的,謝謝你!這是很好的解釋。

但我必須回到我最初的問題——如何保證圖書館集群將被安裝在這個短暫的工作。

我現在的解決方案是使用磚容器服務

和運行工作與預裝圖書館集群使用我的自定義圖像。