如何讓一個小DBR形象嗎?

[User16855813985]

簡而言之,我們的目標是增加一個步驟CI工作將在容器中運行測試,據說模仿DBR集群——目前我們應該使用7.3。我們考慮使用databricksruntime圖片(可能是一個標準:7。x現在,https://hub.docker.com/r/databricksruntime/standard/tags)和計劃與pytest和其他一些庫定製它這裏描述:https://docs.www.eheci.com/clusters/custom-containers.html option-1-use-a-base-built-by-databricks。

我們遇到的問題是,沒有圖片為特定小DBR版本,有一些不匹配的版本的python庫安裝在形象和那些在集群上安裝,https://docs.www.eheci.com/release-notes/runtime/7.3.html installed-python-libraries。你能建議如果有一個很好的選擇圖像特定DBR的版本,與庫版本匹配的實際DBR嗎?

[werners1]

你需要構建它自己:

https://docs.microsoft.com/en-us/azure/databricks/clusters/custom-containers

但我懷疑你可以在本地運行,文檔特別提到發射一個集群。

也隻提到的主要版本而不是未成年人,所以看起來是不可能的。

[Atanu · Accepted solution]

嗨@Sepideh Ebrahimi,由於集群是磚專用的,你這不是在本地運行它。作為@Werner Stinckens說,你也可以建立自己的形象,但必須在集群中運行。但有磚連接(https://docs.www.eheci.com/dev-tools/databricks-connect.html)基本上讓你建立你的代碼在您的IDE,並執行相同的集群磚(這將運行在您的工作空間)。